Linux 服务器性能排查：四个命令定位瓶颈
我的服务器是最低配的 2 核 2G，跑着 Nginx、PHP-FPM、MySQL 三套服务。配置这么紧，出问题是常事——最严重的一次是 MySQL 半夜被系统杀掉，第二天早上网站打不开。这篇笔记整理排查这类问题要用的命令。不追求覆盖所有工具，只记我实际用过、并且真正帮我定位到问题的那几个。第一...
用 scikit-learn 做价格预测：540 条数据到模型
数据看板上画完历史价格曲线之后，我想再往前一步：能不能预测未来几个月的价格走势。这个需求正好把我课上学到的东西用上了——线性回归。这篇文章讲怎么用 scikit-learn 把它落地，以及这个做法有哪些我没能解决的局限。目标需求很明确：给一个农产品，根据它过去的价格记录，预测未来 3 个月的零...
Nginx 日志分析：用 awk 统计 PV/UV
博客上线之后我一直在用自己写的访问统计插件看数据。但那套东西是"存进数据库再查"，而服务器上其实还有一份更原始、更完整的记录——Nginx 的访问日志。这篇笔记整理怎么用几个命令直接分析日志。不需要装任何软件，Linux 自带的 awk、sort、uniq 就够了。日志长什么样Nginx 默认...
Django + ECharts：农产品数据可视化大屏
做农产品平台这个项目时，老师提的第一个要求是"要能看出数据"。后台光有增删改查的表格不够，得有一个能直观看出分布、趋势、排行的看板。最后做出来的是 6 张图表：一张中国地图热力图，加上饼图、横向柱状图、多系列折线图、纵向柱状图、面积图各一张。这篇文章讲它的架构和实现。整体架构：服务端只出数据最...
Spark 核心概念笔记
前面整理完 Hadoop 之后，自然要问一个问题：既然有 MapReduce 了，为什么还需要 Spark？这篇笔记试图回答的就是这个。理清之后我发现，Spark 相比 MapReduce 的改进，核心其实只有一件事——把中间结果放在内存里。但由这一个改动带来的连锁反应，才是它真正的价值所在。...