Channel Master 品質複檢

2026-03-25 post-rebuild 對照：Master 已重建至 2,490,077 筆（+66 通路），440,414 有 barcode (17%)，361,222 不重複條碼。新增通路含 ETMall (455K)、iHerb (51.5K, 100% BC)、家樂福 enrichment (29.3K valid EAN) 等。本文分析邏輯與建議仍適用，但數字已非最新；最新數字見 crawlers/CHANNELS.md L1/L2/L3 統計。

• 檢核日期：2026-03-19
• 檢核範圍：output/channel_master.csv 與其建置邏輯 build/build_channel_master.py
• 檢核目的：重新確認目前 channel_master 的整體可用性、barcode 品質、來源差異與高風險區段

1. 摘要

• 目前 channel_master 共 1,389,934 筆資料，其中 127,032 筆有條碼，佔 9.1%；共有 94,101 個不重複條碼。
• 所有非空條碼在本次複檢中都通過長度與校驗碼驗證，格式錯碼數為 0。
• 主要風險已從「格式錯碼」轉為「語義錯碼」：1,002 筆為 200 prefix 疑似店內碼或零售商碼，5,856 筆為 978/979 書碼，另有 38 筆全零 placeholder 條碼。
• 條碼名稱衝突偏高：23,878 個條碼對應到多個不同品名；其中 21,552 個條碼出現在 2 個以上來源。
• 目前 channel_master 可作為廣覆蓋通路商品池與候選條碼池，但若要當正式 item master，至少還需要 prefix 閘門、組合包/箱購過濾，以及條碼名稱正規化。

2. 方法

• 本次複檢以 channel_master.csv 為單一事實基礎，直接對最終整合輸出做統計，不以各 crawler 自述覆蓋率代替結果。
• 檢核項目包含：總量、欄位完整度、條碼長度分布、校驗碼 複驗、GS1 prefix 分布、跨來源重疊、名稱衝突、來源別衝突率、與異常樣本抽查。
• channel_master 的條碼清洗邏輯目前來自 build_channel_master.py 中的 clean_barcode()，規則為只保留數字、長度 8/12/13/14、且通過校驗碼。
• confidence 欄位目前仍是整合腳本以來源規則直接指定的固定值或簡單條件值，並非由跨來源共識動態計算。

3. 整體量化結果

下表所有數值皆由 channel_master.csv 直接計算。

欄位完整度

下表反映最終整合檔內容，不代表上游網站一定有更完整欄位。

條碼長度分布

非空 barcode 全數通過長度與 校驗碼，但合法格式不等於語義正確。

4. 來源別評估

下表聚焦 barcode 相關的重要來源，而非所有 51 個來源。

5. 主要發現

5.1 格式品質高，但語義品質仍需治理

• channel_master 中保留下來的 127,032 筆條碼全部通過格式複驗。
• 這表示整合層已成功過濾大量上游 原始資料 錯碼，例如家樂福 原始資料 中曾有大量非標準長度與非數字碼，但未殘留在最終 master。
• 因此現階段最該處理的不是 校驗碼，而是「合法但不是 消費品 GTIN」與「合法 GTIN 但被拿去標組合包/箱購」。

5.2 200 prefix 是第一個必須加閘的風險群

• 200 prefix 共 1,002 筆，來源集中在 rakuten-amart (913)、carrefour (45)、tomods (22)、rakuten (12)。
• 抽樣顯示這批資料常對應到組合包、鮮食、限定通路品或零售商專用商品碼，例如 2009001047258 對應白蘭氏雞精 6 入組。
• 若你要做可跨通路比對的 item master，200 prefix 應預設列為隔離池，而不是直接進正式條碼池。

5.3 978/979 prefix 幾乎都是 ISBN，尤其集中在 cosmed

• 978/979 共 5,856 筆，其中 5,810 筆來自 cosmed。
• 抽樣品名包括字典、童書、漫畫、劇本書等，符合 ISBN 特徵。
• 若下游目標是 FMCG、OTC 或日用品，應將 978/979 與一般消費品條碼分池管理。

5.4 全零 placeholder 代表目前清洗規則仍有漏洞

• channel_master 目前保留了 38 筆全零碼，值為 00000000 與 0000000000000，且都來自 treebuy。
• 這些值會通過目前的數字長度與 校驗碼 清洗，但不具有真實商品識別價值。
• 除了 prefix gating 外，還需要加入 placeholder pattern gating。

5.5 來源內衝突主要由 組合包、箱購、贈品與 variant 文案造成

• ckcare 來源內衝突率最高，為 13.4%；yourchance 為 8.4%；pxbox 為 7.1%；dingding 為 4.0%。
• 代表性案例：4710054532117 在 ckcare 同時對到 XL38片*4包 與 NB56片*4包/箱；4710054513512 在 ckcare 同時對到單包與箱購促銷敘述。
• 這類問題通常不是 barcode parser 壞掉，而是上游商家本來就把同一 GTIN 套在不同促銷/箱購頁。

5.6 多來源重疊是優勢，但不能直接等同 canonical seed

• 有 21,552 個 barcode 至少出現在兩個來源，4,536 個 barcode 至少出現在三個來源。 / 21,552 barcodes appear in at least two channels, and 4,536 appear in at least three.
• 抽樣如 4903301240990 在 jpmed、pxbox、pxmart_mega、dingding、tomods、weixinrx、rakuten、rakuten-amart 都指向同一支獅王洗手慕斯。
• 但若再加上「非風險 prefix + >=3 來源 + 本次簡單名稱標準化後僅 1 個名稱」條件，實際只剩 2 個條碼。
• 因此，多來源重疊本身可作為強證據，但不能直接被當成低風險 canonical seed。

6. 異常樣本

以下樣本皆直接取自 channel_master.csv 或其來源抽查。

7. 結論

• 若只看最終 channel_master，條碼的格式品質已經足夠好，因為保留下來的值全部通過校驗碼與長度複驗。
• 若看實際可用性，主要問題集中在四類：200 prefix 零售碼、978/979 ISBN、全零 placeholder，以及 GTIN 被重用在組合包、箱購或多規格頁。
• 目前 channel_master 適合拿來做探索、候選比對與來源覆蓋盤點；若要做正式 item master，還不能直接把所有非空條碼視為同等可信。

8. 建議動作

1. 先在整合層新增閘門：預設隔離 200、978/979 與全零 placeholder，必要時再依品類例外放行。
2. 對 ckcare、yourchance、pxbox、dingding 建立組合包、箱購、贈品文案規則，將 箱、x4包、贈、多件優惠 類字樣與單品正式名稱分離。
3. 對 cosmed 建立 ISBN 專池，不要與 FMCG 條碼混用。
4. 不要把 >=3 來源重疊直接當成正式 seed；較務實的條件應至少包含非風險 prefix、可信來源先驗、名稱 alias 清洗，必要時再加人工覆核。
5. 後續若要讓 confidence 變成真正可用欄位，應改為「來源可信度 + prefix 類型 + 跨來源共識 + 衝突率」的組合分數，而不是固定來源權重。

9. 依據檔案

• output/channel_master.csv
• output/channel_master.json
• build/build_channel_master.py
• docs/R01-barcode.md
• crawlers/{pxgo,pxmart_mega,pxbox,carrefour,cosmed,jpmed,ckcare,yourchance,rakuten,rakuten-amart,tomods,weixinrx,costco}/data/*.json