Phase 0: Changedetection.io 部署 — 通路變更監控（notify-only）

Context

Item Master 專案有 60+ 已完成的通路爬蟲，但全部是手動一次性觸發，無法偵測通路何時上架新品。Codex review 確認方向：用 changedetection.io 當「眼睛」監控分類頁/sitemap 變化，webhook 通知 n8n，Phase 0 只通知不自動抓，人工驗證 7 天後再談自動化。

成功條件

• 10 watchers 穩定運行 7 天
• 無通知風暴（同通路 1hr 內不超過 10 次）
• 20+ 次觸發有真實頁面差異（非 session token/廣告噪音）

Architecture

changedetection.io (Docker, plain HTTP)
  監控 10 通路 sitemap/分類頁
       ↓ webhook (POST JSON, shared secret)
n8n (existing, same Docker network)
  validate → normalize → 30min dedup → audit log → 通知

網路拓撲

• changedetection 加入 n8n_n8n-internal 網路（已驗證 172.20.0.0/16）
• Webhook 走內部 DNS：http://n8n:5678/webhook/cdio-notify?secret=<TOKEN>
• UI port bind 127.0.0.1:5000，僅 Tailscale SSH tunnel 可存取
• 不對外暴露任何端口

10 POC 通路

排除說明：

• PXGo → 需 Playwright 取 auth token，Phase 1 再加
• DingDing → 需 CSRF token，Phase 1 再加
• 大全聯 → 與 PXGo 共用資料源，重複監控無價值
• ETMall / iHerb → baseline 未完成，不進第一批
• 91APP 類（日藥/康是美）→ 需 relay-node 住宅 IP，Phase 2

Step 1: Docker Compose

建立 /home/ubuntu/docker/changedetection/docker-compose.yml

name: changedetection

services:
  changedetection:
    image: dgtlmoon/changedetection.io:latest
    container_name: changedetection
    restart: unless-stopped
    mem_limit: 512m
    cpus: 1.0
    pids_limit: 256
    ports:
      - "127.0.0.1:5000:5000"
    volumes:
      - ./data:/datastore
    environment:
      - TZ=Asia/Taipei
      - PORT=5000
      - PUID=1000
      - PGID=1000
    healthcheck:
      test: ["CMD-SHELL", "wget -q --spider http://127.0.0.1:5000 || exit 1"]
      interval: 30s
      timeout: 10s
      retries: 3
      start_period: 30s
    logging:
      driver: json-file
      options:
        max-size: "10m"
        max-file: "3"
    networks:
      - n8n_n8n-internal
    labels:
      - "com.centurylinklabs.watchtower.enable=true"

networks:
  n8n_n8n-internal:
    external: true

設計決策：

• 不裝 Playwright（省 ~500MB），10 個 watcher 全是 plain HTTP
• 127.0.0.1:5000 不對外暴露，透過 ssh -L 5000:127.0.0.1:5000 100.73.24.43 存取
• 加入 n8n_n8n-internal 讓 webhook 走容器內部 DNS
• 估計記憶體使用 ~200MB（10 watchers, text-only snapshots）

Step 2: 部署與驗證

# 建目錄 + 寫 compose
mkdir -p ~/docker/changedetection

# 啟動
cd ~/docker/changedetection && docker compose pull && docker compose up -d

# 驗證健康
docker ps --filter name=changedetection
docker logs changedetection --tail 20

# 驗證內部網路可達 n8n
docker exec changedetection wget -q -O- http://n8n:5678 2>&1 | head -3

Step 3: n8n Workflow

名稱：CDIO Phase0 — Change Notify

節點拓撲

Webhook Trigger → Validate Secret → Parse & Normalize → Dedup (fs-based, 30min) → Audit Log → 通知

Webhook Secret

openssl rand -hex 16  # → 寫入 changedetection 全域通知 URL

changedetection 全域通知設定

json://n8n:5678/webhook/cdio-notify?secret=<SECRET>

Dedup 實作（filesystem，不額外依賴 Redis）

• n8n Code node 用 fs 模組（已確認 NODE_FUNCTION_ALLOW_BUILTIN=fs,net）
• 寫入 /home/node/.n8n/cdio-dedup.json，30 分鐘 TTL
• 同通路 30 分鐘內的重複觸發靜默丟棄

Audit Log

• 路徑：/home/node/.n8n/cdio-audit.jsonl（host: ~/docker/n8n/data/cdio-audit.jsonl）
• 格式：{ts, channel, url, diff_preview}
• append-only JSONL

通知

• Phase 0 先以 audit log 為主，每日人工檢查
• 可選加 LINE Notify / Telegram bot（如已有 webhook）

Step 4: 設定 10 個 Watcher

透過 changedetection UI 逐一新增：

• 貼 URL、設 interval
• Costco：用 JSONPath filter 只追蹤 $.pagination.totalResults
• Homeda：用 CSS selector 隔離商品列表區塊，排除 header/footer 噪音
• 其餘 sitemap 類：整份 XML diff 即可

Step 5: 7 天驗證期

每日巡檢（~5 分鐘）

# 容器健康
docker inspect --format='{{.State.Health.Status}}' changedetection

# 觸發次數
wc -l ~/docker/n8n/data/cdio-audit.jsonl

# 通路分佈
cat ~/docker/n8n/data/cdio-audit.jsonl | python3 -c "
import json, sys
from collections import Counter
c = Counter()
for line in sys.stdin:
    c[json.loads(line)['channel']] += 1
for ch, n in c.most_common():
    flag = ' ⚠️' if n > 20 else ''
    print(f'  {ch}: {n}{flag}')
"

需調整的情境

Step 6: 更新文檔

1. ~/INBOX.md：changedetection 項目標記「Phase 0 deployed, 7-day trial started YYYY-MM-DD」
2. ~/VPS-ALL.md：JP 容器清單加入 changedetection
3. crawlers/CHANNELS.md：不改（Phase 0 不影響爬蟲）

資源影響

不做的事（Phase 0 邊界）

• ❌ 不自動觸發 crawler
• ❌ 不修改 products.json 資料契約
• ❌ 不加 Playwright/browser engine
• ❌ 不加 91APP / relay-node 依賴的通路
• ❌ 不加 baseline 未完成的通路（ETMall, iHerb）