跳到內容
課程地圖/04 清洗與管線

概念班 · 第 4 關 · 約 8 分鐘

清洗與管線

每天手動下載,等於管線還沒接上。

震旦示例週報為教學用虛構案例,資料、數字、人物、公式、權限與流程皆為合成示例,不代表震旦正式資料、制度或 KPI。

Excel:Power Query、手動整理儀表板:定時把資料洗好寫進資料庫
實作:待練習測驗:待通過兩項完成後可記入進度

主圖 · 第 04 課

重傳也不應變成重複

資料進來後先清洗、去重,再寫進共用資料;每一站都留下可核對的筆數。

  1. 01取資料
  2. 02清洗
  3. 03去重
  4. 04寫入

💡 原始筆數、有效筆數、重複筆數要分開看。

Power Query 你們已經會:下載、拆欄、合併、去掉不要的列。儀表板要的是同一件事,只是不要每天早上由人按一次。

這條自動流程叫 。人還是要定義「什麼叫乾淨」;重複按的那一段,交給定時任務。

動手:模擬每天 07:00

震旦示例週報 · 模擬夜間入庫

  1. 抽取向客服系統、工單系統取前一日資料
  2. 清洗欄名對齊、去掉合計列、事業部寫進欄位
  3. 入庫寫進資料表,用單號更新或新增
  4. 可查儀表板這時查到的才是今天的數

還沒跑完以前,儀表板若顯示昨天的數,不一定是壞掉,可能是管線還沒到點。

這解釋了兩件以後一定會發生的事:一、數字跟你手動做的舊表差一點,先對「清洗規則」而不是先怪畫面。二、來源系統延遲,儀表板再漂亮也沒有新資料。

人要留下來的,是例外:這週有特案、這批內部件不要進滿意度。例外寫進規則,不要每天用手刪列。

換成 DNIS:6、7、8 月分批匯入

先對每月去識別化測試檔確認月份、原始列數、有效筆數、空值與排除原因,再看匯入紀錄和最近更新時間。若 7 月檔又上傳一次,應確認同月份防重規則;「冪等」就是重做後不會多算一份。

7 月測試檔可能含跨到 8 月的列,應依檔名目標月份與匯入稽核確認;不能只依檔案總列數推斷 7 月有效進線。

想一想:重傳後 Dashboard 多一筆,是重複、跨月、空值,還是清洗規則不同?先找證據再下結論。

小測驗

窗口說「儀表板還是昨天的數」,最先該檢查哪一段?

真實專案怎麼用到這一課?

Report-Dashboard · DNIS 電話進線分析

去識別化測試資料/MVP 驗證;以下不含公司正式明細與真實數字。

這堂課對應
6、7、8 月匯入與冪等
專案情境
三個月份的去識別化測試報表分批匯入;重傳 7 月檔,不能讓 7 月總數多算一次。冪等就是同一動作重做,結果仍一致。
想一想
7 月重傳後,要看哪些匯入紀錄?
驗收證據
列出原始、有效、排除與重複筆數、原因和更新時間;不把重傳直接加總。

資料血緣:這個數字從哪裡來?

下列是教學用流程示意。找差異時,沿每一站核對輸入、輸出與排除原因。

  1. 01CRM 原始資料
  2. 02DNIS Excel
  3. 03Power Query 基準
  4. 04整理後資料
  5. 05Dashboard 匯入
  6. 06SQLite 資料庫
  7. 07統計規則
  8. 08畫面
  9. 09人工驗收

這一關帶走的一句話

每天手動下載,等於管線還沒接上。

帶回工作練一遍

假設週報檔重送一次,列出匯入前後要比對的數字。

看參考檢查點

原始列數、唯一工單數、重複件、空值與更新時間有紀錄。

容易忽略:去除重複前先定義唯一鍵及保留規則,不只相信畫面排序。

筆記會先保存在這個瀏覽器;連結同步帳號後也會安全同步。

先完成上面的互動實作並答對測驗,再完成本關。