数据质量四维鉴别
完整性(无缺失)+ 准确性(无错误)+ 一致性(格式统一)+ 时效性(足够新)。四维中任一维度出问题,分析结果都不可信。
分析的先决条件从质量鉴别到价值挖掘再到方法选择——三个框架层层递进,构成了数据分析的完整方法论。
完整性(无缺失)+ 准确性(无错误)+ 一致性(格式统一)+ 时效性(足够新)。四维中任一维度出问题,分析结果都不可信。
分析的先决条件找趋势(有什么在变?)+ 找差异(谁和谁不一样?)+ 找关联(A和B有什么关系?)+ 找异常(什么数据反常?)。四个方向对应四种典型新闻故事。
从数据中找故事对比/分组/平均/矩阵/网络/相关性/贡献度/周期性/回归。从描述统计到推论统计,由浅入深。不必全用,根据问题选择1-3种最合适的。
分析工具箱无缺失值
无错误数据
格式统一
足够新
有什么在变?是上升还是下降?变化速度如何?——适合时间序列分析
谁和谁不一样?不同群体/地区/时期的差异有多大?——适合对比分析
A和B有什么关系?是正相关还是负相关?——适合相关性分析
什么数据反常?偏离正常范围多远?——适合异常值检测
揭示差异
群体特征
总体水平
二维定位
关系图谱
变量关系
因素权重
规律循环
预测模型
点击任意术语展开详细定义。
用类比理解数据分析的本质。
数据分析像给社会现象拍X光片,穿透表面看清内在结构和关联。肉眼只能看到表象,数据X光能看到骨骼和病变。
描述统计是"体检报告"——告诉你"看起来怎么样";推论统计是"诊断书"——告诉你"为什么会这样"。前者是基础,后者是深入。
数据分析环节最危险的三个陷阱。
发现两件事在数据上相关就直接下因果结论。这是数据分析中最经典、最常见的错误。
失败原因:混淆了相关与因果。冰淇淋销量和溺水率相关,但不能说冰淇淋导致溺水——真正的原因是夏天高温。
只展示支持预设结论的数据,忽略反面证据。"樱桃挑选"式分析。
失败原因:违背了数据新闻最基本的客观性原则。数据新闻的力量在于让数据说话,而不是让数据说你想说的话。
在简单问题上堆砌复杂模型,用回归分析解决一个对比分析就能搞定的问题。
失败原因:增加理解门槛却未提供额外价值。分析方法是手段不是目的,够用就好。
三层分析法的典型应用。
记者使用警方犯罪统计数据进行分析,采用了从浅到深的三层分析法:
第一层 · 描述统计:发现某些区域犯罪率下降幅度较大——回答"发生了什么"
第二层 · 相关性分析:将犯罪率与社区警务投入数据进行交叉分析——回答"为什么发生"
第三层 · 定性补充:通过采访揭示社区警务发展的具体机制——回答"怎么发生的"
案例意义:三层分析从"发现现象"到"揭示原因"逐步深入,展示了数据分析不是一步到位的,而是层层递进的。每一层分析回答一个层次的问题,最终形成完整的故事链条。
五个核心要点。