数据收集与清理:由问卷到干净数据
进阶问卷设计要清晰无引导;原始数据要先清理(删重复、查错误值、处理缺失)才统计;收集个人资料要守最少需要原则,展示时匿名化。
- 问卷题目要清晰、选项要完整、避免引导性字眼。
- 统计前必须清理数据:删重复、查错误值、处理缺失值。
- 排序和 MAX/MIN 是快速找出异常数值的方法。
文体小知识:数据素养课讲如何负责任地处理资料 — 由收集、清理到保护私隐,都是做专题研习的实用基本功。
§课文原文 Passage
1做专题研习时,收集数据最常用的方法是问卷(Questionnaire)和访问。设计问卷要题目清晰、选项完整,例如「你每周使用手机多少小时?」最好提供范围选项(0-1、2-3、4 小时以上),受访者容易答,之后统计也整齐;同时要避免引导性的字眼。
2收集回来的原始数据(Raw data)通常又乱又「脏」:有重复的填写(同一人交了两次)、明显的错误(年龄填了 200 岁)、漏答的空白。直接拿去统计会得出错误结论,所以要先做数据清理(Data cleaning)。
3清理的三个基本步骤:第一,删除重复记录,令每人的意见只计一次;第二,检查错误值 — 年龄 200、身高 5 米这类明显不合常理的数字要核实或剔除;第三,处理缺失值,可以补问、删除该笔记录,或在报告中清楚说明。
4数据涉及真人,就涉及私隐(Privacy)。收集个人资料前要先说明用途,并且只收集需要的最少资料;报告展示时应把姓名变成编号(例如 A01、A02),既保护同学,也符合香港《个人资料(私隐)条例》的精神。
1重点摘要 Summary
问卷设计要清晰无引导;原始数据要先清理(删重复、查错误值、处理缺失)才统计;收集个人资料要守最少需要原则,展示时匿名化。
2生字卡 Vocabulary
一系列预先设计的问题,用来向多人收集数据,题目和选项必须清晰。
刚收集回来、未经整理的资料,通常有重复、错误和缺失。
统计前修正数据的过程:删重复、查错误值、处理缺失值。
同一人被记录多于一次的资料,会令其意见被重复计算,必须只保留一笔。
明显不合常理的数值,例如年龄 200、身高 5 米,要核实或剔除。
受访者漏答的空白栏位;可补问、剔除或在报告中说明,绝不可编造。
用编号代替姓名等可识别个人的资料,令数据无法追溯至个人身分。
可以识别个人身分的资料,例如姓名、电话、地址、相片。
收集资料前先向受访者说明目的和用途,对方明白后自愿同意参与。
3逐步讲解 Steps
- 设计问卷问卷是专题研习收集数据最常用的工具,设计得好坏直接影响之后统计的难易。以调查全班作息时间为例,封闭式题目「你每晚睡多少小时?□6 以下 □6-7 □8 以上」提供固定选项,受访者容易作答,统计时也整齐;开放式题目答案五花八门,难以归类。同时要避免引导性问题,例如「你也同意太迟睡有害吧?」会暗示受访者跟风作答,所得数据便失真。
- 收集与记录收集回来的数据要有系统地记录,最常用的是试算表:每一行代表一位同学,每一栏代表一条问题,格式整齐才方便之后清理。输入时要全表统一单位和格式,例如身高一律以厘米记录,避免 1.6 米和 160 厘米混在一起;日期也应统一写法。输入资料时小心核对,宁愿慢一点也不要错,因为源头记错了,之后所有统计结果都会受影响。
- 找出重复重复记录是原始数据最常见的问题,多数因为同一人交了两次问卷。例如编号 A07 出现两次、答案完全一样,便可以判断是重复提交,保留一笔即可;如果两次的答案不同,就不能随便删,要先核实哪一次属实,例如向该位同学查询。放着重复记录不处理,该同学的意见便被计算了两次,全班平均和其他统计都会出现偏差。
- 检查错误值错误值是明显不合常理的数字,例如年龄栏出现 200、身高栏出现 5,多半是受访者乱填或输入时打错。检查方法很直接:用 =MAX(B2:B41) 找出该栏最大值,得出 200 便知道有问题,再用 MIN 检查最小值。发现错误值后要先设法核实,能改正便改正;无法核实的明显乱填数据应整笔剔除,并在报告说明剔除的原因和数量。
- 处理缺失值缺失值指受访者漏答某些题目,例如 40 份问卷中有 3 份漏答「每日运动时间」。处理方法有三种:尽量补问;就该题剔除这 3 份;或在报告中清楚注明「本题有效样本 37 份」。千万不要自己编一个数字填上去,那样等于伪造数据;也不可以默默当作零处理,因为漏答不等于答案是零。缺失值的处理方式必须在报告交代,让读者判断结果的可信程度。
- 排序快速检查排序是检查数据最快捷的方法之一:把年龄栏由小至大排序,头尾的异常值便一目了然,例如出现 0 岁或 999 岁,立即可以锁定问题记录。排序配合最大值和最小值函数,是找出异常值的两大法宝,先排序扫一遍,再用函数核实。检查不必逐格细看全部 40 行,善用这些工具,几分钟便能扫清整份数据集,之后才开始统计。
- 匿名化展示数据涉及真人,展示时必须保护私隐。报告中应以编号 A01、A02 代替同学姓名,只展示全班平均等整体数字,不展示可识别个人的资料;成绩、住址、健康状况等敏感资料更要格外小心,能不展示便不展示。这既保护受访同学,也符合香港《个人资料(私隐)条例》只收集最少资料、用途受限的精神。公开报告前,先想像自己是其中一位受访者,检查有没有任何资料可以追认到个人。
4图解 Diagrams
5例题示范 Example
例题:40 份问卷中发现 2 份重复、1 份年龄填了 150、3 份漏答第 3 题。第 3 题的有效样本有多少份?
- 先删除 2 份重复记录,令每人的意见只计算一次:40 − 2 = 38 份有效问卷。
- 年龄 150 是明显不合常理的错误值,尝试核实但不成功,按规定剔除:38 − 1 = 37 份。
- 漏答第 3 题的 3 份问卷,就第 3 题而言不算有效样本:37 − 3 = 34 份。
- 报告必须写明「第 3 题有效样本 34 份」,并交代重复、错误、缺失各剔除多少,不可笼统说 40 份。
- 答案:第 3 题的有效样本为 34 份(40 − 2 重复 − 1 错误 − 3 缺失)。清理数据时每剔除一笔都要有依据,并在报告中如实交代,这样读者才能判断统计结果的可信程度。
6常见错误 Mistakes
75 题快测 Quick check
Q1原始数据中有两笔完全相同的记录,应该如何处理?
Q2年龄栏出现「200」,这属于哪类问题?应该怎样做?
Q350 份问卷中 5 份漏答某题,该题的有效样本是多少?报告要怎样写?
Q4为什么展示问卷结果时要用编号代替姓名?
Q5以下哪条问卷题目设计较好?为什么?A.「你同意熬夜伤身吗?」B.「你昨晚多少点入睡?□10 前 □10-11 □11-12 □12 后」
8重点回顾 Recap
- 问卷题目要清晰、选项要完整、避免引导性字眼。
- 统计前必须清理数据:删重复、查错误值、处理缺失值。
- 排序和 MAX/MIN 是快速找出异常数值的方法。
- 缺失值可以补问、剔除或注明,绝不可编造。
- 个人资料收集要守最少需要原则,展示时匿名化。