數據收集與清理:由問卷到乾淨數據

進階

問卷設計要清晰無引導;原始數據要先清理(刪重複、查錯誤值、處理缺失)才統計;收集個人資料要守最少需要原則,展示時匿名化。

適合:中二資訊及通訊科技 · 單元:數據處理 · 建議學習路徑第 3/12 課

學完呢課,你會識:
  • 問卷題目要清晰、選項要完整、避免引導性字眼。
  • 統計前必須清理數據:刪重複、查錯誤值、處理缺失值。
  • 排序和 MAX/MIN 是快速找出異常數值的方法。
文體:數據素養課有聲朗讀

文體小知識:數據素養課講如何負責任地處理資料 — 由收集、清理到保護私隱,都是做專題研習的實用基本功。

資訊及通訊科技Information & Communication Technology

§課文原文 Passage

1做專題研習時,收集數據最常用的方法是問卷(Questionnaire)和訪問。設計問卷要題目清晰、選項完整,例如「你每週使用手機多少小時?」最好提供範圍選項(0-1、2-3、4 小時以上),受訪者容易答,之後統計也整齊;同時要避免引導性的字眼。

2收集回來的原始數據(Raw data)通常又亂又「髒」:有重複的填寫(同一人交了兩次)、明顯的錯誤(年齡填了 200 歲)、漏答的空白。直接拿去統計會得出錯誤結論,所以要先做數據清理(Data cleaning)。

3清理的三個基本步驟:第一,刪除重複記錄,令每人的意見只計一次;第二,檢查錯誤值 — 年齡 200、身高 5 米這類明顯不合常理的數字要核實或剔除;第三,處理缺失值,可以補問、刪除該筆記錄,或在報告中清楚說明。

4數據涉及真人,就涉及私隱(Privacy)。收集個人資料前要先說明用途,並且只收集需要的最少資料;報告展示時應把姓名變成編號(例如 A01、A02),既保護同學,也符合香港《個人資料(私隱)條例》的精神。

1重點摘要 Summary

問卷設計要清晰無引導;原始數據要先清理(刪重複、查錯誤值、處理缺失)才統計;收集個人資料要守最少需要原則,展示時匿名化。

2生字卡 Vocabulary

Q
Questionnaire問卷

一系列預先設計的問題,用來向多人收集數據,題目和選項必須清晰。

R
Raw data原始數據

剛收集回來、未經整理的資料,通常有重複、錯誤和缺失。

D
Data cleaning數據清理

統計前修正數據的過程:刪重複、查錯誤值、處理缺失值。

D
Duplicate重複資料

同一人被記錄多於一次的資料,會令其意見被重複計算,必須只保留一筆。

E
Error value錯誤值

明顯不合常理的數值,例如年齡 200、身高 5 米,要核實或剔除。

M
Missing value缺失值

受訪者漏答的空白欄位;可補問、剔除或在報告中說明,絕不可編造。

A
Anonymisation匿名化

用編號代替姓名等可識別個人的資料,令數據無法追溯至個人身分。

P
Personal data個人資料

可以識別個人身分的資料,例如姓名、電話、地址、相片。

I
Informed consent知情同意

收集資料前先向受訪者說明目的和用途,對方明白後自願同意參與。

3逐步講解 Steps

  1. 設計問卷問卷是專題研習收集數據最常用的工具,設計得好壞直接影響之後統計的難易。以調查全班作息時間為例,封閉式題目「你每晚睡多少小時?□6 以下 □6-7 □8 以上」提供固定選項,受訪者容易作答,統計時也整齊;開放式題目答案五花八門,難以歸類。同時要避免引導性問題,例如「你也同意太遲睡有害吧?」會暗示受訪者跟風作答,所得數據便失真。
  2. 收集與記錄收集回來的數據要有系統地記錄,最常用的是試算表:每一行代表一位同學,每一欄代表一條問題,格式整齊才方便之後清理。輸入時要全表統一單位和格式,例如身高一律以厘米記錄,避免 1.6 米和 160 厘米混在一起;日期也應統一寫法。輸入資料時小心核對,寧願慢一點也不要錯,因為源頭記錯了,之後所有統計結果都會受影響。
  3. 找出重複重複記錄是原始數據最常見的問題,多數因為同一人交了兩次問卷。例如編號 A07 出現兩次、答案完全一樣,便可以判斷是重複提交,保留一筆即可;如果兩次的答案不同,就不能隨便刪,要先核實哪一次屬實,例如向該位同學查詢。放着重複記錄不處理,該同學的意見便被計算了兩次,全班平均和其他統計都會出現偏差。
  4. 檢查錯誤值錯誤值是明顯不合常理的數字,例如年齡欄出現 200、身高欄出現 5,多半是受訪者亂填或輸入時打錯。檢查方法很直接:用 =MAX(B2:B41) 找出該欄最大值,得出 200 便知道有問題,再用 MIN 檢查最小值。發現錯誤值後要先設法核實,能改正便改正;無法核實的明顯亂填數據應整筆剔除,並在報告說明剔除的原因和數量。
  5. 處理缺失值缺失值指受訪者漏答某些題目,例如 40 份問卷中有 3 份漏答「每日運動時間」。處理方法有三種:盡量補問;就該題剔除這 3 份;或在報告中清楚註明「本題有效樣本 37 份」。千萬不要自己編一個數字填上去,那樣等於偽造數據;也不可以默默當作零處理,因為漏答不等於答案是零。缺失值的處理方式必須在報告交代,讓讀者判斷結果的可信程度。
  6. 排序快速檢查排序是檢查數據最快捷的方法之一:把年齡欄由小至大排序,頭尾的異常值便一目了然,例如出現 0 歲或 999 歲,立即可以鎖定問題記錄。排序配合最大值和最小值函數,是找出異常值的兩大法寶,先排序掃一遍,再用函數核實。檢查不必逐格細看全部 40 行,善用這些工具,幾分鐘便能掃清整份數據集,之後才開始統計。
  7. 匿名化展示數據涉及真人,展示時必須保護私隱。報告中應以編號 A01、A02 代替同學姓名,只展示全班平均等整體數字,不展示可識別個人的資料;成績、住址、健康狀況等敏感資料更要格外小心,能不展示便不展示。這既保護受訪同學,也符合香港《個人資料(私隱)條例》只收集最少資料、用途受限的精神。公開報告前,先想像自己是其中一位受訪者,檢查有沒有任何資料可以追認到個人。

4圖解 Diagrams

數據清理:由亂到淨四步 Data cleaning1收集問卷・量表2檢查搵錯漏3清理刪改統一4整理分類排序常見垃圾:重複答卷・空白格・打錯字(「中三」「中3」混用)・極端值格言:Garbage in, garbage out——入面嘅數據垃圾,出嚟結論都係垃圾私隱提醒:收集數據要話明用途;個人資料要匿名處理
圖 1:數據清理四步

5例題示範 Example

例題:40 份問卷中發現 2 份重複、1 份年齡填了 150、3 份漏答第 3 題。第 3 題的有效樣本有多少份?

  1. 先刪除 2 份重複記錄,令每人的意見只計算一次:40 − 2 = 38 份有效問卷。
  2. 年齡 150 是明顯不合常理的錯誤值,嘗試核實但不成功,按規定剔除:38 − 1 = 37 份。
  3. 漏答第 3 題的 3 份問卷,就第 3 題而言不算有效樣本:37 − 3 = 34 份。
  4. 報告必須寫明「第 3 題有效樣本 34 份」,並交代重複、錯誤、缺失各剔除多少,不可籠統說 40 份。
  5. 答案:第 3 題的有效樣本為 34 份(40 − 2 重複 − 1 錯誤 − 3 缺失)。清理數據時每剔除一筆都要有依據,並在報告中如實交代,這樣讀者才能判斷統計結果的可信程度。

6常見錯誤 Mistakes

✗ 「數據收集了就直接計平均,省時間。」
✓ 未清理的原始數據有重複和錯誤,計出的平均會失真;清理是統計前必要的一步。
✗ 「見到奇怪數字直接刪,不用告訴別人。」
✓ 剔除數據要有理由(明顯錯誤、無法核實),並在報告說明刪了多少、為什麼;不可悄悄改數。
✗ 「缺失值自己填個平均數進去就可以。」
✓ 編造數據是最嚴重的造假;缺失可以補問、剔除或註明,但絕不可偽造。
✗ 「問卷要收集姓名電話,才能找回受訪者。」
✓ 個人資料按「最少需要」原則收集;用編號代替姓名已足夠分析,還保護私隱。
✗ 「同一人填兩次,兩筆都算樣本,樣本多些好些。」
✓ 重複記錄會令某人的意見被重複計算,扭曲結果;必須只保留一筆。

75 題快測 Quick check

Q1原始數據中有兩筆完全相同的記錄,應該如何處理?

Q2年齡欄出現「200」,這屬於哪類問題?應該怎樣做?

Q350 份問卷中 5 份漏答某題,該題的有效樣本是多少?報告要怎樣寫?

Q4為什麼展示問卷結果時要用編號代替姓名?

Q5以下哪條問卷題目設計較好?為什麼?A.「你同意熬夜傷身嗎?」B.「你昨晚多少點入睡?□10 前 □10-11 □11-12 □12 後」

8重點回顧 Recap

  • 問卷題目要清晰、選項要完整、避免引導性字眼。
  • 統計前必須清理數據:刪重複、查錯誤值、處理缺失值。
  • 排序和 MAX/MIN 是快速找出異常數值的方法。
  • 缺失值可以補問、剔除或註明,絕不可編造。
  • 個人資料收集要守最少需要原則,展示時匿名化。

同級其他科

同一科其他級別