數據收集與清理:由問卷到乾淨數據
進階問卷設計要清晰無引導;原始數據要先清理(刪重複、查錯誤值、處理缺失)才統計;收集個人資料要守最少需要原則,展示時匿名化。
- 問卷題目要清晰、選項要完整、避免引導性字眼。
- 統計前必須清理數據:刪重複、查錯誤值、處理缺失值。
- 排序和 MAX/MIN 是快速找出異常數值的方法。
文體小知識:數據素養課講如何負責任地處理資料 — 由收集、清理到保護私隱,都是做專題研習的實用基本功。
§課文原文 Passage
1做專題研習時,收集數據最常用的方法是問卷(Questionnaire)和訪問。設計問卷要題目清晰、選項完整,例如「你每週使用手機多少小時?」最好提供範圍選項(0-1、2-3、4 小時以上),受訪者容易答,之後統計也整齊;同時要避免引導性的字眼。
2收集回來的原始數據(Raw data)通常又亂又「髒」:有重複的填寫(同一人交了兩次)、明顯的錯誤(年齡填了 200 歲)、漏答的空白。直接拿去統計會得出錯誤結論,所以要先做數據清理(Data cleaning)。
3清理的三個基本步驟:第一,刪除重複記錄,令每人的意見只計一次;第二,檢查錯誤值 — 年齡 200、身高 5 米這類明顯不合常理的數字要核實或剔除;第三,處理缺失值,可以補問、刪除該筆記錄,或在報告中清楚說明。
4數據涉及真人,就涉及私隱(Privacy)。收集個人資料前要先說明用途,並且只收集需要的最少資料;報告展示時應把姓名變成編號(例如 A01、A02),既保護同學,也符合香港《個人資料(私隱)條例》的精神。
1重點摘要 Summary
問卷設計要清晰無引導;原始數據要先清理(刪重複、查錯誤值、處理缺失)才統計;收集個人資料要守最少需要原則,展示時匿名化。
2生字卡 Vocabulary
一系列預先設計的問題,用來向多人收集數據,題目和選項必須清晰。
剛收集回來、未經整理的資料,通常有重複、錯誤和缺失。
統計前修正數據的過程:刪重複、查錯誤值、處理缺失值。
同一人被記錄多於一次的資料,會令其意見被重複計算,必須只保留一筆。
明顯不合常理的數值,例如年齡 200、身高 5 米,要核實或剔除。
受訪者漏答的空白欄位;可補問、剔除或在報告中說明,絕不可編造。
用編號代替姓名等可識別個人的資料,令數據無法追溯至個人身分。
可以識別個人身分的資料,例如姓名、電話、地址、相片。
收集資料前先向受訪者說明目的和用途,對方明白後自願同意參與。
3逐步講解 Steps
- 設計問卷問卷是專題研習收集數據最常用的工具,設計得好壞直接影響之後統計的難易。以調查全班作息時間為例,封閉式題目「你每晚睡多少小時?□6 以下 □6-7 □8 以上」提供固定選項,受訪者容易作答,統計時也整齊;開放式題目答案五花八門,難以歸類。同時要避免引導性問題,例如「你也同意太遲睡有害吧?」會暗示受訪者跟風作答,所得數據便失真。
- 收集與記錄收集回來的數據要有系統地記錄,最常用的是試算表:每一行代表一位同學,每一欄代表一條問題,格式整齊才方便之後清理。輸入時要全表統一單位和格式,例如身高一律以厘米記錄,避免 1.6 米和 160 厘米混在一起;日期也應統一寫法。輸入資料時小心核對,寧願慢一點也不要錯,因為源頭記錯了,之後所有統計結果都會受影響。
- 找出重複重複記錄是原始數據最常見的問題,多數因為同一人交了兩次問卷。例如編號 A07 出現兩次、答案完全一樣,便可以判斷是重複提交,保留一筆即可;如果兩次的答案不同,就不能隨便刪,要先核實哪一次屬實,例如向該位同學查詢。放着重複記錄不處理,該同學的意見便被計算了兩次,全班平均和其他統計都會出現偏差。
- 檢查錯誤值錯誤值是明顯不合常理的數字,例如年齡欄出現 200、身高欄出現 5,多半是受訪者亂填或輸入時打錯。檢查方法很直接:用 =MAX(B2:B41) 找出該欄最大值,得出 200 便知道有問題,再用 MIN 檢查最小值。發現錯誤值後要先設法核實,能改正便改正;無法核實的明顯亂填數據應整筆剔除,並在報告說明剔除的原因和數量。
- 處理缺失值缺失值指受訪者漏答某些題目,例如 40 份問卷中有 3 份漏答「每日運動時間」。處理方法有三種:盡量補問;就該題剔除這 3 份;或在報告中清楚註明「本題有效樣本 37 份」。千萬不要自己編一個數字填上去,那樣等於偽造數據;也不可以默默當作零處理,因為漏答不等於答案是零。缺失值的處理方式必須在報告交代,讓讀者判斷結果的可信程度。
- 排序快速檢查排序是檢查數據最快捷的方法之一:把年齡欄由小至大排序,頭尾的異常值便一目了然,例如出現 0 歲或 999 歲,立即可以鎖定問題記錄。排序配合最大值和最小值函數,是找出異常值的兩大法寶,先排序掃一遍,再用函數核實。檢查不必逐格細看全部 40 行,善用這些工具,幾分鐘便能掃清整份數據集,之後才開始統計。
- 匿名化展示數據涉及真人,展示時必須保護私隱。報告中應以編號 A01、A02 代替同學姓名,只展示全班平均等整體數字,不展示可識別個人的資料;成績、住址、健康狀況等敏感資料更要格外小心,能不展示便不展示。這既保護受訪同學,也符合香港《個人資料(私隱)條例》只收集最少資料、用途受限的精神。公開報告前,先想像自己是其中一位受訪者,檢查有沒有任何資料可以追認到個人。
4圖解 Diagrams
5例題示範 Example
例題:40 份問卷中發現 2 份重複、1 份年齡填了 150、3 份漏答第 3 題。第 3 題的有效樣本有多少份?
- 先刪除 2 份重複記錄,令每人的意見只計算一次:40 − 2 = 38 份有效問卷。
- 年齡 150 是明顯不合常理的錯誤值,嘗試核實但不成功,按規定剔除:38 − 1 = 37 份。
- 漏答第 3 題的 3 份問卷,就第 3 題而言不算有效樣本:37 − 3 = 34 份。
- 報告必須寫明「第 3 題有效樣本 34 份」,並交代重複、錯誤、缺失各剔除多少,不可籠統說 40 份。
- 答案:第 3 題的有效樣本為 34 份(40 − 2 重複 − 1 錯誤 − 3 缺失)。清理數據時每剔除一筆都要有依據,並在報告中如實交代,這樣讀者才能判斷統計結果的可信程度。
6常見錯誤 Mistakes
75 題快測 Quick check
Q1原始數據中有兩筆完全相同的記錄,應該如何處理?
Q2年齡欄出現「200」,這屬於哪類問題?應該怎樣做?
Q350 份問卷中 5 份漏答某題,該題的有效樣本是多少?報告要怎樣寫?
Q4為什麼展示問卷結果時要用編號代替姓名?
Q5以下哪條問卷題目設計較好?為什麼?A.「你同意熬夜傷身嗎?」B.「你昨晚多少點入睡?□10 前 □10-11 □11-12 □12 後」
8重點回顧 Recap
- 問卷題目要清晰、選項要完整、避免引導性字眼。
- 統計前必須清理數據:刪重複、查錯誤值、處理缺失值。
- 排序和 MAX/MIN 是快速找出異常數值的方法。
- 缺失值可以補問、剔除或註明,絕不可編造。
- 個人資料收集要守最少需要原則,展示時匿名化。