Develop v2.1.0

.github/workflows/api-inventory-drift.yml

@@ -17,6 +17,13 @@
 # 個人アカウントに紐づかないため(PAT より事故時の影響が小さい)。
 # 未設定なら、このジョブは何もせずスキップする(fork からの PR でも安全)。
 #
+# 網羅性は二段で見る:
+#   reconcile.py     実機 url_map ↔ 台帳(この環境で登録されている経路)
+#   detect_routes.py ソース(AST) ↔ 台帳(config で無効な経路まで含む)
+# 前者だけだと、config で無効・プラグイン未導入の経路が台帳から落ちても気付けない。
+#
+# ツールそのものの単体テストは api-inventory-tests.yml(Secret も Docker も不要)。
+#
 # 設置手順: tools/api-inventory/ci/README.md
 
 name: API Inventory Drift
@@ -106,6 +113,68 @@ jobs:
         with:
           python-version: '3.11'
 
+      # 台帳は「どのリビジョンを測ったか」とセットでしか意味を持たない
+      # (docs/RULE.md 規則 2-3)。inproc_callers と sec_evidence は
+      # `ファイル:行番号` を持つので、PR の HEAD と突き合わせると
+      # **中身の問題ではなくバージョン違いだけで落ちる**。実測では、版を1つ
+      # 上げるだけで台帳の位置参照 410 箇所のうち 250 箇所が変更ファイルを指す。
+      # 台帳が測ったリビジョンを worktree に出して、そこを解析対象にする。
+      - name: Pin analysis source to the measured revision
+        id: pin
+        if: steps.cfg.outputs.enabled == 'true'
+        run: |
+          set -eu
+          REV=$(python3 -c "import json;print(json.load(open('.api-inventory-data/api_snapshot.json'))['meta'].get('revision') or '')" 2>/dev/null || echo '')
+          if [ -z "$REV" ]; then
+            echo "::warning::台帳に meta.revision がありません。位置参照と inproc_callers の検査をスキップします。スキップを PASS と読まないこと。"
+            echo "weko_root=" >> "$GITHUB_OUTPUT"
+            exit 0
+          fi
+          git cat-file -e "${REV}^{commit}" 2>/dev/null || git fetch --no-tags origin "$REV" 2>/dev/null || true
+          if git cat-file -e "${REV}^{commit}" 2>/dev/null; then
+            git worktree add --detach .ledger-src "$REV" >/dev/null
+            echo "測定リビジョン ${REV} を .ledger-src に展開した"
+            echo "weko_root=${GITHUB_WORKSPACE}/.ledger-src" >> "$GITHUB_OUTPUT"
+          else
+            echo "::warning::台帳の測定リビジョン ${REV} をこのリポジトリで解決できません。位置参照と inproc_callers の検査をスキップします。スキップを PASS と読まないこと。"
+            echo "weko_root=" >> "$GITHUB_OUTPUT"
+          fi
+
+      # ソース(AST)と台帳だけで済むので、コンテナを立てる前に流す。
+      # ビュー関数が HTTP を通らず別モジュールから直接呼ばれる「第二の入口」は
+      # ルート単位の台帳に現れず、認可を足す作業で素通りする(issue62807)。
+      # 台帳の inproc_callers に無い呼び出し元が現れたら止める。
+      - name: Check in-process view callers
+        if: steps.cfg.outputs.enabled == 'true' && steps.pin.outputs.weko_root != ''
+        env:
+          WEKO_API_INVENTORY_DIR: ${{ github.workspace }}/.api-inventory-data
+          WEKO_ROOT: ${{ steps.pin.outputs.weko_root }}
+        run: |
+          python3 tools/api-inventory/scripts/refresh_callers.py \
+            --summary-only --gate
+
+      # 所見は private 側にしか書けないぶん、未修正が台帳の中だけで滞留して
+      # 忘れられる。ここが出すのは**チケット番号と件数だけ**で、経路名も所見も
+      # 出さない(docs/RULE.md §1)。記入漏れと、未起票の増加で落とす。
+      - name: Check open findings
+        if: steps.cfg.outputs.enabled == 'true'
+        env:
+          WEKO_API_INVENTORY_DIR: ${{ github.workspace }}/.api-inventory-data
+        run: |
+          python3 tools/api-inventory/scripts/open_findings.py \
+            --summary-only --gate
+
+      # 台帳の検査(private 側)は形と語彙しか見ない。sec_evidence の行番号を
+      # 実在しない値にしても data_op を誤った値にしても全部通る。ここで突き合わせる。
+      - name: Check ledger evidence against source
+        if: steps.cfg.outputs.enabled == 'true' && steps.pin.outputs.weko_root != ''
+        env:
+          WEKO_API_INVENTORY_DIR: ${{ github.workspace }}/.api-inventory-data
+          WEKO_ROOT: ${{ steps.pin.outputs.weko_root }}
+        run: |
+          python3 tools/api-inventory/scripts/audit_evidence.py \
+            --summary-only --gate
+
       - name: Start WEKO containers
         if: steps.cfg.outputs.enabled == 'true'
         run: |
@@ -147,6 +216,13 @@ jobs:
             --snapshot /tmp/api_snapshot.new.json \
             --summary-only --gate --out /tmp/reconcile.md
 
+          # 実機 url_map は「この環境で登録された経路」しか映さない。config で無効・
+          # プラグイン未導入・設定値が真のときだけ登録される経路は、API として
+          # 存在するのに reconcile では見えない。ソースからの検知で二段目を張る。
+          python3 $T/detect_routes.py \
+            --weko-root "$PWD" --cross-check \
+            --summary-only --gate --out /tmp/detect.md
+
       - name: Probe changed endpoints
         if: always() && steps.cfg.outputs.enabled == 'true'
         env:
@@ -175,6 +251,7 @@ jobs:
           path: |
             /tmp/drift.md
             /tmp/reconcile.md
+            /tmp/detect.md
 
       - name: Comment on PR (counts only)
         if: always() && steps.cfg.outputs.enabled == 'true' && github.event_name == 'pull_request'
@@ -206,6 +283,7 @@ jobs:
               + '該当箇所はプライベートリポジトリ側の台帳・レポートで確認してください。';
             body += read('/tmp/drift.md', 'ベースラインとの差分');
             body += read('/tmp/reconcile.md', '台帳との突き合わせ');
+            body += read('/tmp/detect.md', 'ソース由来の経路検知');
             await github.rest.issues.createComment({
               issue_number: context.issue.number,
               owner: context.repo.owner,

.github/workflows/api-inventory-tests.yml

@@ -0,0 +1,60 @@
+# WEKO3 リポジトリ(RCOSDP/weko)の .github/workflows/ に配置する。
+#
+# 台帳ツールの単体テスト。**Docker も実機も台帳も要らない**ので数秒で終わる。
+# api-inventory-drift.yml(実機を起こして突き合わせる。60分枠)とは役割が違う:
+#
+#   このワークフロー   … 台帳を作る側(スクリプト・手順書)が壊れていないか
+#   drift ワークフロー … 台帳の中身が実機とずれていないか
+#
+# ツールが壊れたまま drift だけ回すと、検知器が黙って死んでいても緑で通る。
+# 先にこちらを通すこと。Secret も不要なので fork からの PR でも動く。
+
+name: API Inventory Tests
+
+# 対象は tools/api-inventory/ だけなので、そこを触ったときだけ回す。
+# push と pull_request でパスの並びを揃えること(片方だけ古びると、
+# 「PR では回るが push では回らない」といった説明のつかない差になる)。
+on:
+  pull_request:
+    paths: &paths
+      - 'tools/api-inventory/**'
+      - '.github/workflows/api-inventory-tests.yml'
+      - '.github/workflows/api-inventory-drift.yml'
+  push:
+    branches: ['**']
+    paths: *paths
+  workflow_dispatch:
+
+jobs:
+  unit:
+    runs-on: ubuntu-latest
+    timeout-minutes: 10
+    steps:
+      - uses: actions/checkout@v4
+
+      - uses: actions/setup-python@v5
+        with:
+          python-version: '3.11'
+
+      - name: Install pytest
+        run: python3 -m pip install --disable-pip-version-check pytest
+
+      - name: Run unit tests
+        working-directory: tools/api-inventory
+        run: python3 -m pytest -q
+
+      # 台帳が無くても、ソースからの経路検知そのものは動く。
+      # 検知件数が 0 に落ちていれば、検知器が壊れている。
+      - name: Smoke check the static detector
+        run: |
+          set -o pipefail
+          python3 tools/api-inventory/scripts/detect_routes.py \
+            --weko-root "$PWD" --summary-only | tee /tmp/detect.md
+          python3 - <<'PY'
+          import re, sys
+          text = open('/tmp/detect.md', encoding='utf-8').read()
+          total = int(re.search(r'\*\*計\*\* \| \*\*(\d+)\*\*', text).group(1))
+          print(f'detections={total}')
+          # 経路が数百ある前提のリポジトリ。2桁に落ちたら検知器の故障を疑う。
+          sys.exit(0 if total >= 300 else 1)
+          PY