公衛體檢系統的數據質(zhì)量直接影響分析結果的可靠性，而數據清洗與去噪是剔除 “臟數據” 的關(guān)鍵步驟。以下是一套簡(jiǎn)潔易懂的操作流程，幫助系統高效凈化數據：

一、明確清洗目標：先定標準，再動(dòng)手

數據清洗不是 “一刀切”，需先根據業(yè)務(wù)需求設定清洗規則：

基礎規則：如年齡需＞0 歲且＜150 歲，血壓收縮壓需在 90-180mmHg 之間，超出范圍直接標記為 “待處理”。

業(yè)務(wù)定制規則：例如糖尿病分析中，空腹血糖＞11.1mmol/L 且糖化血紅蛋白＞6.5% 才判定為 “疑似糖尿病”，單一指標異常需復核。

關(guān)鍵邏輯：先通過(guò)規則過(guò)濾 “明顯錯誤”，再處理 “模糊異?！?，避免過(guò)度清洗導致數據失真。

二、六步清洗法：從粗到細，層層過(guò)濾

1. 缺失值處理：補漏或舍棄

小范圍缺失：

數值型數據：用均值 / 中位數填充；

分類(lèi)數據：用眾數填充。

大范圍缺失：直接剔除該字段或樣本。

2. 異常值識別：用醫學(xué)邏輯 “抓 outliers”

統計法：

繪制箱線(xiàn)圖，剔除超出 Q3+1.5IQR 或 Q1-1.5IQR 范圍的數據；

計算Z-score，絕對值＞3 的標記為異常。

醫學(xué)常識法：

直接排除矛盾數據：如 “年齡 18 歲，診斷為前列腺癌”；

核查邏輯沖突：如 “身高 170cm，體重 50kg，BMI=17.3，但標注‘肥胖’”。

3. 重復值處理：去重留一

按唯一標識字段篩選重復記錄，保留最新或完整度最高的一條。

4. 數據一致性校準：統一 “語(yǔ)言”

單位統一：如血壓?jiǎn)挝挥械挠?“mmHg” 有的用 “kPa”，需全部轉換為 mmHg（1kPa≈7.5mmHg）；

分類(lèi)統一：如 “吸煙史” 字段存在 “是 / 否 / 偶爾 / 經(jīng)?！?，需映射為 “吸煙（是 / 否）”，“偶爾 / 經(jīng)?！?歸為 “是”。

5. 邏輯校驗：用規則鏈排除隱性錯誤

建立多層規則校驗：

第一層：基礎格式校驗；

第二層：指標關(guān)聯(lián)校驗；

第三層：跨表校驗。

6. 人工復核：機器之外的 “最后防線(xiàn)”

對機器標記的異常數據，由公衛人員人工核查原始表單：

例：某條記錄 “年齡 25 歲，血壓 220/110mmHg”，機器標記為異常，人工核對紙質(zhì)表發(fā)現實(shí)為 “120/80mmHg”，系錄入時(shí)誤觸鍵盤(pán)。

三、清洗效果評估：用指標檢驗成果

清洗后需驗證數據質(zhì)量是否提升，核心指標：

缺失率：目標＜3%；

異常值占比：目標＜1%；

邏輯沖突率：目標＜0.3%。

四、自動(dòng)化與標準化：讓清洗可持續

建立清洗模板：將常用規則固化為系統默認規則，新數據導入時(shí)自動(dòng)觸發(fā)清洗流程；

記錄清洗日志：詳細記錄每條數據的清洗操作，便于追溯和審計；

定期更新規則：根據醫學(xué)指南變化，及時(shí)調整清洗規則，避免 “刻舟求劍”。