钉子の次元

Dimpurr – an artist, designer and developer from China.

校内应用个性化数据年报项目全程吐槽纪实 – 长单页面前端工程与 ECharts 图表可视化

随着校区从昌平宏福迁往西土城,一边为终于能够河北人进京城感到高兴,一边为入住人称将军冢的我校 1955 年最好的宿舍而担忧,喜忧参半的在陌生的新宿舍用 Axure 画着学院内部项目交互原型的自己,迎来了大学的第一个寒假。

恶补 React 和 ES6 知识、补习高数预习离散数学和入门 TensorFlow、组织和培训学院内团队的新人们入门 Web 前后端、在 VJudge 上参与面向 ACM 新生的 BUPT Winter Training 练习赛,前半个寒假就这么飞快的过去了。之后回到老家过年的我,其他时间就花在了这么一个 —— 类似网易云个人年报,展示校内自建应用的全局统计和用户个性化数据的单页面年报页面上。

校内应用个性化数据年报 设计稿/代码实现/图表效果

校内应用个性化数据年报 设计稿/代码实现/图表效果

当时接到这个语焉不详的任务要求之后我其实是一脸懵逼的,而且这个明显重策划设计而非技术的任务,最开始居然只安排了我和另一位(虽然非常靠谱的)后端负责。于是只好抄刀硬上,自己当策划,出了一版初步设计稿就开始动工前端,然后再想办法拜托组里的设计师们修改设计图和撰写文案。后来转念一想,虽然这个估计写出来也没多少人看 (误) 的任务不是不能随便简单点糊弄过去,但是不如也干脆作为一个重新练习快要生疏的静态页面相关前端技术们的机会。最后的结果,大概就是在一个不算很复杂的移动端长页面上,塞进去了没有必要程度的自觉好玩想复习或尝试一下的技术吧。

这篇文章就以全程实录的方式,记述了我在接到这个校内应用个性化数据年报单页面的任务之后,从初期策划和出设计稿、组织文案撰写,再到前端工程开发、处理应用统计数据、利用 ECharts 绘制可视化图表,到最后部署上线的完整过程,以及在此期间内心满满的槽点。不得不说,一个春节在老家县城天天抱着 Surface 出来找咖啡馆干活也是没谁了,而且,这些校内应用用户数据存量稀薄的凄惨现实(导员别打我 233),实在有点让人难以正确的进行小数据可视化 ……

那么,也许你可以从本文窥见一个完整有趣的项目流程,或者了解我在项目过程中收获到的经验;或者你发现了其中我犯的错误或不足,也请不吝赐教。以下。

READ MORE →

BigDataGumi 一期小记 – 浅尝爬虫数据抓取和简单可视化分析 (PySpider)

这学期在学校选修了一门名为「大数据分析技术导论」的公选课,课上纲领性的介绍了目前正处风口的大数据时代的特点,数据挖掘技术的操作过程和实际应用,并从统计分析基础和数据分析工具介绍两方面介绍了一些实践性质的内容。因为是导论性质的课程,课堂内容侧重介绍和应用的性质居多,而对围绕 Hadoop 和 Spark 的实际大数据技术栈,只简单按分类介绍了 MapReduce 、 NoSQL 类数据库、数据集成等常用工具的功能和使用场景,除了最后一节课以 Weka 为例示范了简单的数据集统计分析和经典机器学习模型训练,其他并没有深入讲解到实践操作部分。

作为课程考核的一部分,在分析论文、利用数据集进行分析实验两个选题中,我选择了后者。因为不可能有合适的平台练习分布式存储、批处理和持续集成,最后决定自己爬取一份数据,把简单数据可视化分析的流程跑通。中间踩坑的过程非常多,实际上大部分的想法都没有成功,但是尝试的过程中,对大数据领域工作流和技术栈的加深了解,应该算是达到了这个导论课本身的意义。

BigDataGumi 动画评分数据可视化分析

BigDataGumi 动画评分数据可视化分析

这篇文章记录了利用 Bangumi 番组计划 (bgm.tv) 网站的动画条目和评分数据,进行数据统计分析的项目「BigDataGumi」的初步进展,包括设计网页爬虫抓取数据、利用可视化分析工具尝试获取有价值信息的实际操作部分。一些没有实现的想法和没有呈现在结果中的可能的学习方向,也会作为学习经历的一部分记录。项目的下一步想法是训练一个 tag-orinted 的机器学习模型,能够计算动画的 STAFF 构成和 TAG 标签属性对评分影响的权重,并根据 STAFF 和 TAG 数据预测新番的最终稳定评分,在撰写本文时仍在进行中。

尽管这个项目目前的进展不怎么大数据,不过如果你和之前的我一样从未接触过数据挖掘这个领域,从这篇文章你可以看到简单的数据爬取和可视化分析的操作流程,并且了解到数据分析部分领域的概貌。涉及到的都是非常粗浅的内容,见笑。 READ MORE →

使用 TiddlyWiki 打造轻便个人 Wiki 知识库

这篇文章将简要介绍 TiddlyWiki 的特点,并且分享一些常用的参考链接、资源、插件和常见问题的解决方案,以方便有相近需求的小伙伴们。

TiddlyWiki ,按官方说法是一个「非线性个人 Web 笔记本」。相比其他笔记和 Wiki 系统,其最大的特点之一是程序本体和数据全部都在一个单 html 文件内,与此同时仍然有着非常强大的功能和插件系统。在我看来,管理以文字、代码和数学公式为主的个人知识库, TiddlyWiki 可谓是最好的选择之一。

可以在我的知识库站点「Dimpurr’s Knowledge Base #1」:http://note.dimpurr.com/ 体验一下 TiddlyWiki 的使用和效果。

注意,任意访客都可以体验到 TiddlyWiki 的全部功能,包括编辑和设置。不用担心,你可以随意折腾,因为你无法将更改保存到我的服务器上,只能下载到本地。

TiddlyWiki 效果预览

TiddlyWiki 效果预览

READ MORE →

Django 学习手记 三 数据操作的常用方法

上一篇中,我们已经建立了基本的 Model 数据模型,并且熟悉了关于数据结构的存取、更新操作。本篇中主要介绍了对 Model 数据进行操作的常用方法,包含有许多示例 参见 ,亲自操作一下就很容易明白。

为了方便,我们可以通过 Python 在终端提供的交互式 Shell 来尝试和熟悉各种数据接口类的 API 。

python manage.py shell

使用这个命令会启动 Python 的交互式 Shell ,并且预先加载好 Django 所需的环境和变量。

示例:创建和修改新对象

涉及到的新方法:

  • all() 列出所有对象
  • save() 将该对象存入数据库

READ MORE →

HTML Head Generator – 纯 CSS 实现的头部元标签代码生成器

前段时间突发奇想,捣鼓出了这个纯 CSS 选择器实现的在线 HTML <head> Meta 标签生成器,以解决每次要写 HTML 头都得去找个之前的文档复制,还得琢磨半天需要哪些的麻烦。没有到用一行 JavaScript ,基本原理是 CSS 3 的 + 紧邻选择器和 ~ 同级后继选择器。前端攻城狮们可以用短链接 http://find.moe/headgen 快速访问,也可以拖到收藏夹备用。

感谢 电灵 酱对最终样式的建议。

Dimpurr's <head> Generator

Dimpurr’s Head Tag Generator

写的时候感觉槽点一大堆,过了一周什么都忘了 …… 简单说明一下实现的要点吧。如果有更好的实现思路或觉得有可以改进的地方敬请指教,不过,前提是无 JavaScript 。

READ MORE →

Slackview – 多级响应式 WordPress 主题

Slackview 是一个黑色扁平大气风格、 HTML5 多级响应式三栏布局的 WordPress 主题。她是 Clearision 的姐妹主题,也将是我的第二款长期自用主题。

Slackview

Slackview

READ MORE →

Django 学习手记 二 建立模型层

这篇文章记录了如何创建 Django 项目的一个子应用并编写 models.py 。如有错误,请不吝赐教。

Django 框架同样遵循 MVC 开发模式。在 Django 中,我们定义 Model 数据模型并自动同步生成数据库和后台,由 Template 和 Views 处理界面并转交 URLconf 控制器。

因为 MVC 中 C (Controller) 的部分主要交给框架进行,我们也将 Django 称为 MTV (Model, Template, Views) 模式。 参见

一个 Django 项目有两种层级,称为 project 项目 和 app 应用。一般来说,一个 project 就是一个完整的站点,比如一个大型论坛或者门户站点。而一个 app 就是一个有完整功能、可复用的应用,比如一个私信组件,一个投票组件或者一个讨论版。

一个 project 即使没有 app 也能独立运行,但是一个独立的 app 可以在不同的 project 中复用。另外,如果你要使用 Django 的模型功能即数据库层,模型必须存放在 app 中。

创建应用并建立模型

执行 ./manage.py startapp polls 命令,来创建一个名为 polls 的 app 。同样, Django 会自动在项目根目录下创建一个名为 polls 的目录和一系列文件。我们会以 Django 官方教程为例,先编写一个投票应用。

在这个应用中,我们需要 Quesntion 问题和 Choice 选项两个类,并且添加一系列的属性。

首先,我们编辑 polls/models.py ,这个文件就是你的模型:

READ MORE →

Django 学习手记 一 安装和配置

Django 是一款知名的 Python Web 框架,最初为 CMS 设计,现在已经发展成为了一个能快速根据抽象数据模型生成和维护数据库、后台、和模版系统,同时自带用户系统、地址重写等大量实用功能的大型框架。

本文为个人在 Django 学习中的一些心得体会,主要是官方教程和参考文档的一些整理和归纳,并非完全依照原教程翻译而来,因此如有错误,请不吝赐教。

由于本文力求语言精简、参考方便,因此很多较为基础的内容,并没有特别详细的进行解释。不过在容易混淆的部分,大部分都提供了有对应的详细解释说明的「参见」链接,应当注意。

参考资料

安装 Django

首先,安装 Python 的包管理器 pip 。首先尝试使用 Python 自带的 easy_install 模块安装:

READ MORE →

Tuneiz – 清新文字向单栏 Ghost 主题

这是一个简洁清新、注重阅读体验的轻量级 Ghost 主题。自用主题,庆祝 Clearision 用户数破千特别释出 ……

Tuneiz

Tuneiz

READ MORE →

Adagiio V1.1.1 – 宽屏大图 ACG 风格单栏 WordPress 主题

Adagiio 是一个 HTML5 的宽屏大图 ACG 风格单栏 WordPress 主题,又名 Sankarea ,配色灵感来自绣球花的叶。适合文艺向、动漫向个人博客和大图风格 CMS 站点。附带移动版响应式页面,支持中英文。感谢 (null) 群的各位在开发过程中的帮助,没有你们这个主题也做不出来 ……

Adagiio 首页

Adagiio 首页

欢迎在此页提出相关问题和建议!

READ MORE →

madoro – 扁平黑色自适应窄单栏 WordPress 主题

madoro 是我花了一个下午一个晚上单曲循环「まどろみの约束」速成的以星空为主题的新单栏主题,没有用背景以外的任何一张图片素材,大概可以用在文字为主或想自定义背景的简洁风格博客。附带移动版响应式页面。

madoro

madoro

千反田える (佐藤聡美) & 伊原摩耶花 (茅野愛衣) – まどろみの約束

READ MORE →

OpenSUSE (Linux) 下安装 Sublime Text

Sublime Text 作为某人御用的编辑器已经到了没有 ST 就不想写代码的地步了 …… 当然因为是 Python 编写, ST 在 Linux 下的安装使用实际上非常简单,唯一需要注意的是输入法 bug 的修复。

Sublime Text 3 with OpenSUSE & fcitx & Google Pinyin

Sublime Text 3 with OpenSUSE & fcitx & Google Pinyin

一 下载主程序

首先进入官网下载官方提供的 Linux 版 tar 压缩包:http://www.sublimetext.com/

READ MORE →