fix(tools): enrich_git.py を列名対応にし、台帳の更新手順へ組み込む

tools/api-inventory/scripts/README.md

@@ -46,6 +46,13 @@ cd /path/to/weko          # ツールは WEKO3 リポジトリ側にある
   (`security_finding` / `dynamic_verified` / `data_op` / `deprecated` 等)を直すか、
   `prioritize.py` のルールを変える。
 - **実行順がある。** `prioritize.py` は `test_gap` を参照するので `test_coverage.py` が先。
+- **git 由来の列は放っておくと古びる。** `impl_line` と
+  `last_commit` / `last_commit_date` / `last_commit_subject` / `release_tag` は
+  ソースが変われば実態とずれるが、上の3本では更新されない。
+  **実装に手が入ったら `refresh_impl.py --write` → `enrich_git.py --write` を回すこと**
+  (v2.0.3 → v2.0.4 では、この2本が手順に無かったために台帳の release_tag が
+  v2.0.3 生成時のまま据え置かれ、issue62569 で認可を足した30行が
+  「v0.1.0b1 で最後に変更」と表示され続けた)。
 
 ## ケース1: 派生列を再計算するだけ(最も多い)
 
@@ -131,11 +138,21 @@ python3 tools/api-inventory/scripts/add_authmech.py      # auth_mechanism / bola
 
 ```bash
 vi "$WEKO_API_INVENTORY_DIR/weko3_api_list_full.tsv"   # 本体列(1-57)だけを直す
+
+# 実装(modules/*.py)にも手が入っているなら、先にこの2本 ★順序が重要
+python3 tools/api-inventory/scripts/refresh_impl.py --write   # impl_line を引き直す
+python3 tools/api-inventory/scripts/enrich_git.py   --write   # last_commit / release_tag
+
 python3 tools/api-inventory/scripts/test_coverage.py
 python3 tools/api-inventory/scripts/prioritize.py
 python3 tools/api-inventory/scripts/build_checklist.py
 ```
 
+`enrich_git.py` は `impl_line` の指す関数のコミットを引くので、`impl_line` がずれたまま
+回すと**手前の関数のコミットを拾う**(no.480 `publish` は行がずれた状態だと
+直前の `get_version` を見て 2019 年のコミットを返した)。必ず `refresh_impl.py` が先。
+台帳だけを直して実装は触っていない(注記の追加など)なら、この2本は不要。
+
 派生列(58-65)は手で直しても次の実行で消える。優先度を変えたいときは、
 判定の入力側(`security_finding` / `dynamic_verified` / `data_op` / `deprecated`)を
 直すか、`prioritize.py` のルールを変える。
@@ -494,12 +511,18 @@ python3 .../changed_rows.py <前回タグ> HEAD --out /tmp/rerun.txt
 ### 7. 再計算してゲートを通す
 
 ```bash
+python3 .../refresh_impl.py --write  # impl_line を新バージョンのソースへ追随させる
+python3 .../enrich_git.py   --write  # last_commit / date / subject / release_tag
 python3 .../test_coverage.py
 python3 .../prioritize.py
 python3 .../build_checklist.py
 python3 .../reconcile.py --gate     # exit 0 を確認
 ```
 
+バージョンアップでは行番号が必ずずれるので、先頭2本を飛ばすと台帳の
+`release_tag` が前バージョンのまま残る。**`release_tag` に今回のタグが
+1行も出てこなかったら、この2本を回し忘れている。**
+
 > 実績(v2.1.0 / 931行): 特定617 特定不能314 /
 > P1=82 P2=150 P3=450 P4=4 P5=64 整理対象=20 環境依存=11 対象外=150 / reconcile ✅ 0件。
 
@@ -535,6 +558,7 @@ git push origin main --follow-tags
 | `snapshot.py` | 実機 url_map + ソース | `api_snapshot.json` |
 | `reconcile.py` | snapshot + full.tsv | 何も書かない(差分を報告するだけ) |
 | `refresh_impl.py` | full.tsv + 実装ソース(AST) | full.tsv の `impl_line`(`--write` 時のみ) |
+| `enrich_git.py` | full.tsv + `git log -L` / `git tag --contains` | full.tsv の `last_commit` / `last_commit_date` / `last_commit_subject` / `release_tag`(`--write` 時のみ)。**`refresh_impl.py` の後に回す** |
 | `changed_rows.py` | git diff + full.tsv | 再確認対象の `no` 一覧 + 変更ヘルパ関数の報告 |
 | `test_coverage.py` | full.tsv + テストコード | full.tsv の 60-64列 |
 | `prioritize.py` | full.tsv | full.tsv の 58-59, 65列 + 末尾列順の正規化 |
@@ -548,6 +572,7 @@ git push origin main --follow-tags
 
 `test_coverage.py` → `prioritize.py` → `build_checklist.py` は**何度流しても結果が変わらない**
 (冪等)。24列版は full.tsv から完全に再現できることを確認済み。
+`refresh_impl.py` → `enrich_git.py` も、解析対象リビジョンが同じなら冪等。
 
 ---
 
@@ -669,10 +694,18 @@ docker exec weko-web-1 bash -lc 'source ~/.virtualenvs/invenio/bin/activate; cd
 
 ### git情報の付与
 ```bash
-python3 tools/api-inventory/enrich_git.py body.tsv body_enriched.tsv
+python3 tools/api-inventory/scripts/refresh_impl.py --write        # 先に impl_line
+python3 tools/api-inventory/scripts/enrich_git.py                  # 差分の確認だけ
+python3 tools/api-inventory/scripts/enrich_git.py   --write        # 台帳へ書き戻す
+python3 tools/api-inventory/scripts/enrich_git.py --tsv body.tsv --out body_enriched.tsv
 ```
 `git log -L <開始>,<終了>:<file>` で**実装関数の行範囲**の最終コミットを取得(ファイル単位より正確)。
-`git tag --sort=creatordate --contains <sha>` で導入リリースタグ。
+`git tag --sort=creatordate --contains <sha>` で導入リリースタグ。どのタグにも入っていなければ
+`(未リリース)`、`impl_file` が実ファイルでない行(Flask-Admin ModelView の総称表記 /
+framework 自動生成 / site-packages)は `-`。
+
+対象は列名で引く(`last_commit` / `last_commit_date` / `last_commit_subject` / `release_tag`)。
+解析対象リポジトリは `WEKO_ROOT`、台帳は `WEKO_API_INVENTORY_DIR`。
 
 ## Phase 3: 動的検証(実測で裏取り) ★静的だけでは不正確
 

tools/api-inventory/scripts/enrich_git.py

@@ -1,20 +1,45 @@
 # -*- coding: utf-8 -*-
-"""TSV の 36-39列 (last_commit / date / subject / release_tag) を git から埋める。
+"""台帳の git 由来4列を引き直す。
 
-使い方: python3 enrich_git.py <in.tsv> <out.tsv>
-- 14列目 impl_file (repo相対), 15列目 impl_line を見て、その行を含む
-  def/class の行範囲を AST で特定し `git log -1 -L a,b:file` で最終コミットを取る。
-- release_tag は `git tag --sort=creatordate --contains <sha>` の先頭 (最初に入ったリリース)。
+    last_commit / last_commit_date / last_commit_subject / release_tag
+
+    python3 enrich_git.py                      # 差分を表示するだけ
+    python3 enrich_git.py --write              # 台帳に書き戻す
+    python3 enrich_git.py --tsv in.tsv --out out.tsv   # 別ファイルへ出す(初回生成向け)
+
+`impl_file`(リポジトリ相対) と `impl_line` が指す def/class の行範囲を AST で特定し、
+`git log -1 -L <開始>,<終了>:<file>` でその範囲を最後に変更したコミットを取る
+(ファイル単位で見るより正確)。`release_tag` は
+`git tag --sort=creatordate --contains <sha>` の先頭 = 最初に入ったリリース。
+コミットがどのタグにも入っていなければ `(未リリース)`。
+
+`impl_file` が実ファイルでない行(Flask-Admin ModelView の総称表記 / framework 自動生成 /
+site-packages)は git で追えないので4列とも `-` にする。
+
+★ `impl_line` がずれていると手前の関数のコミットを拾う。**必ず `refresh_impl.py --write`
+  を先に回すこと。** バージョンアップでデコレータが増えると行番号は簡単にずれる。
+
+解析対象リポジトリは `WEKO_ROOT`、台帳は `WEKO_API_INVENTORY_DIR` で指す。
 """
-import ast, os, subprocess, sys, functools
+import argparse
+import ast
+import functools
+import os
+import subprocess
+import sys
+
+sys.path.insert(0, os.path.dirname(os.path.abspath(__file__)))
+from paths import data_path  # noqa: E402
+from changed_rows import default_weko_root  # noqa: E402
+
+COLS = ('last_commit', 'last_commit_date', 'last_commit_subject', 'release_tag')
+EMPTY = ('-', '-', '-', '-')
 
-ROOT = '/home/mhaya/wekov2'
-NCOL = 41
 
 @functools.lru_cache(maxsize=None)
-def def_ranges(path):
-    """ファイル内の全 def/class の (start, end) をリストで返す。"""
-    fp = os.path.join(ROOT, path)
+def def_ranges(root, path):
+    """ファイル内の全 def/class の (開始, 終了) を返す。開始はデコレータ行を含む。"""
+    fp = os.path.join(root, path)
     if not os.path.isfile(fp):
         return ()
     try:
@@ -28,69 +53,103 @@ def def_ranges(path):
             out.append((s, getattr(n, 'end_lineno', n.lineno)))
     return tuple(out)
 
-def enclosing(path, line):
+
+def enclosing(root, path, line):
     """line を含む最小の def/class 範囲。無ければ (line, line)。"""
     best = None
-    for s, e in def_ranges(path):
-        if s <= line <= e:
-            if best is None or (e - s) < (best[1] - best[0]):
-                best = (s, e)
+    for s, e in def_ranges(root, path):
+        if s <= line <= e and (best is None or (e - s) < (best[1] - best[0])):
+            best = (s, e)
     return best or (line, line)
 
+
 @functools.lru_cache(maxsize=None)
-def git_last(path, start, end):
+def git_last(root, path, start, end):
     try:
         r = subprocess.run(
-            ['git', '-C', ROOT, 'log', '-1', '--format=%h\x1f%ad\x1f%s', '--date=short',
+            ['git', '-C', root, 'log', '-1', '--format=%h\x1f%ad\x1f%s', '--date=short',
              '-L', f'{start},{end}:{path}'],
-            capture_output=True, text=True, timeout=60)
+            capture_output=True, text=True, timeout=120)
     except Exception:
         return ('', '', '')
     line = r.stdout.split('\n', 1)[0] if r.stdout else ''
     parts = line.split('\x1f')
     if len(parts) != 3:
         return ('', '', '')
-    subj = parts[2].replace('\t', ' ').strip()
-    return (parts[0], parts[1], subj[:120])
+    return (parts[0], parts[1], parts[2].replace('\t', ' ').strip()[:120])
+
 
 @functools.lru_cache(maxsize=None)
-def git_tag(sha):
+def git_tag(root, sha):
     if not sha:
         return ''
-    r = subprocess.run(['git', '-C', ROOT, 'tag', '--sort=creatordate', '--contains', sha],
-                       capture_output=True, text=True, timeout=60)
-    tags = [t for t in r.stdout.split('\n') if t.strip()]
+    try:
+        r = subprocess.run(['git', '-C', root, 'tag', '--sort=creatordate', '--contains', sha],
+                           capture_output=True, text=True, timeout=120)
+    except Exception:
+        return ''
+    tags = [t.strip() for t in r.stdout.split('\n') if t.strip()]
     return tags[0] if tags else '(未リリース)'
 
-def main(src, dst):
-    out = []
-    bad = 0
-    for i, raw in enumerate(open(src, encoding='utf-8'), 1):
-        raw = raw.rstrip('\n')
-        if not raw.strip():
-            continue
-        c = raw.split('\t')
-        if len(c) < NCOL:
-            c += [''] * (NCOL - len(c))
-        elif len(c) > NCOL:
-            sys.stderr.write(f'WARN line {i}: {len(c)} cols (>41), truncating tail into notes\n')
-            c = c[:NCOL - 1] + [' | '.join(c[NCOL - 1:])]
-            bad += 1
-        path, ln = c[13].strip(), c[14].strip()
-        sha = date = subj = tag = ''
+
+def main():
+    p = argparse.ArgumentParser()
+    p.add_argument('--tsv', default=None, help='入力の台帳(既定: $WEKO_API_INVENTORY_DIR の57列版)')
+    p.add_argument('--out', default=None, help='出力先(既定: --tsv と同じ = 上書き)')
+    p.add_argument('--write', action='store_true', help='書き戻す(付けないと差分表示のみ)')
+    a = p.parse_args()
+
+    tsv = a.tsv or data_path('weko3_api_list_full.tsv')
+    dst = a.out or tsv
+    root = default_weko_root()
+
+    rows = [l.rstrip('\n').split('\t') for l in open(tsv, encoding='utf-8') if l.rstrip('\n')]
+    head = {n: i for i, n in enumerate(rows[0])}
+    for c in ('impl_file', 'impl_line') + COLS:
+        if c not in head:
+            sys.exit(f'列が無い: {c}')
+    i_file, i_line = head['impl_file'], head['impl_line']
+    idx = [head[c] for c in COLS]
+
+    changed, same, nofile = [], 0, 0
+    for r in rows[1:]:
+        if len(r) < len(rows[0]):
+            r += [''] * (len(rows[0]) - len(r))
+        path, ln = r[i_file].strip(), r[i_line].strip()
         try:
             line = int(ln)
         except ValueError:
             line = None
-        if path and line and os.path.isfile(os.path.join(ROOT, path)):
-            s, e = enclosing(path, line)
-            sha, date, subj = git_last(path, s, e)
-            tag = git_tag(sha)
-        c[35], c[36], c[37], c[38] = sha or '-', date or '-', subj or '-', tag or '-'
-        out.append('\t'.join(x.replace('\t', ' ') for x in c))
-    with open(dst, 'w', encoding='utf-8') as f:
-        f.write('\n'.join(out) + '\n')
-    print(f'rows={len(out)} col_fixups={bad}')
+        if path and line and os.path.isfile(os.path.join(root, path)):
+            s, e = enclosing(root, path, line)
+            sha, date, subj = git_last(root, path, s, e)
+            new = (sha or '-', date or '-', subj or '-', git_tag(root, sha) or '-')
+        else:
+            nofile += 1
+            new = EMPTY
+        old = tuple(r[i] for i in idx)
+        if old != new:
+            changed.append((r[0], path, ln, old, new))
+            for i, v in zip(idx, new):
+                r[i] = v
+        else:
+            same += 1
+
+    print(f'{tsv} (root={root})')
+    print(f'  更新 {len(changed)} / 変化なし {same} / 追えない行 {nofile}')
+    for no, path, ln, old, new in changed[:40]:
+        print(f'  no={no:<5} {path}:{ln}')
+        print(f'         {old[0]} / {old[3]}  ->  {new[0]} ({new[1]}) / {new[3]}')
+    if len(changed) > 40:
+        print(f'  ... 他 {len(changed) - 40} 件')
+
+    if a.write:
+        with open(dst, 'w', encoding='utf-8') as f:
+            f.write('\n'.join('\t'.join(x.replace('\t', ' ') for x in r) for r in rows) + '\n')
+        print(f'  → {dst} に書き戻した')
+    else:
+        print('  (--write を付けると書き戻す)')
+
 
 if __name__ == '__main__':
-    main(sys.argv[1], sys.argv[2])
+    main()