そこで4つに分けました ──
① (担当所属, 作成所属名) の組ごとの実績 ② 作成所属名そのものの実績
③ 字面の近さ（名称変更ほど高い・5段階） ④ その作成所属名が、いまの担当所属の一覧に無いか（＝すでに消えた所属）。
実績はすべて学習側の半分だけから作り、評価側には渡していません（2分割交差検証）。
歴史的文書の仮選別支援 ― 全体像と経緯Pre-screening Historical Public Records — Overview and Timeline
大阪府 府民文化部 府政情報室 情報公開課 × 株式会社IGREKplus ／ AIエージェント実証（2026年8月〜）Osaka Prefecture, Information Disclosure Division × IGREKplus Inc. — AI agent proof-of-concept, since August 2026
1一言でいうとIn one sentence
保存期間が満了した行政文書 約64,000件のなかから、歴史的・文化的価値をもつ 約1,100件を選び出す。
その一次スクリーニングをAIが担う取り組みです。Out of roughly 64,000 administrative record files whose retention period has expired, about 1,100 must be identified as having historical and cultural value. This project puts an AI in charge of that first screening pass.
64,454
令和7年度末の満了簿冊（検証対象）Expired record files under evaluation
1,095
実際に引き渡された簿冊（1.70%）Files actually transferred to the archive (1.70%)
240 h
現在の選別作業（年間・担当2名）Current manual effort per year (2 staff)
2なぜ難しいのかWhy this is hard
誤りの代償が、左右で釣り合っていないThe two kinds of error are not symmetric
引き渡すべき文書を落とせば、廃棄されて二度と戻りません。
一方、余計に拾いすぎても職員の方が見て外すだけです。
したがって設計の原則は「拾いすぎてでも見逃さない」。迷ったものは必ず「要確認」に倒します。
精度の主指標も、正答率ではなく見逃し件数に置いています。If a file that should have been kept is dropped, it is destroyed and cannot be recovered.
If too many files are picked up, a member of staff simply sets them aside.
So the design rule is: over-collect rather than miss. Anything uncertain is pushed into a "needs review" bucket, and the headline metric is the number of misses, not overall accuracy.
対象が希少であるThe target is rare
引き渡されるのは全体の 1.70%。100件見て2件あるかどうかという密度です。
この希少性のため、信頼度が80%を超える簿冊は1件も存在せず、最も高いものでも20%台にとどまります。Only 1.70% of files are transferred — fewer than two in a hundred. At that density no file reaches a confidence score above 80%; the highest sit in the low twenties.
見えるのは見出しだけOnly the label is visible
判断材料は簿冊の見出し情報（名称・分類記号・保存期間・所属・年度など）のみで、
中に綴じられた文書は見えません。職員の方は1件あたり約12秒で判断されています。The only evidence available is the file's metadata — title, classification code, retention period, owning division, fiscal year. The documents inside are not visible. Staff currently decide in about 12 seconds per file.
3進め方の原則How we work
数字は必ず母数とセットで出す。一致率だけを単独で出さない。Never a rate without its denominator. No accuracy figure is shown on its own.
印象の良い数字を選ばない。割り引きと上限は、聞かれる前にこちらから言う。No cherry-picking. Caveats and ceilings are stated before anyone asks.
到達点と上限を、両方数字で出す。先に上限を測ることで「では何があれば超えられるか」に話を進められる。Report both where we are and how far the data can go. Measuring the ceiling first turns the conversation into "what would it take to go further".
線引きは発注者のご判断。私どもの仕事は、選択肢とその代償を実データの数字で並べるところまで。Where to draw the line is the client's call. Our job ends at laying out the options and their costs, measured on real data.
間違えたら、自分から言う。公文書の廃棄は取り返しがつかない仕事なので、ここを信用いただけるかが全部だと考えています。When we are wrong, we say so first. Destroying public records is irreversible, so being trusted on this point is everything.
4経緯Timeline
2026-08
初版｜簿冊名のキーワード照合v1 — keyword matching on file titles
該当16語・非該当11語で判定。見逃しは1件に抑えられたものの、非該当に落とせたのは0.4%。実質的に絞り込めていませんでした。16 positive and 11 negative keywords. Only one miss, but just 0.4% of files could be ruled out — effectively no narrowing at all.
2026-09-08
規程の別表19項目＋細目との照合へv3 — matching against the 19 statutory criteria
キーワードではなく、収集基準の19項目と細目に当てて根拠条項を出力する形に。見逃しは0件になりましたが、絞り込みは2.0%止まり。Instead of keywords, files are matched against the 19 statutory collection criteria and their sub-items, and the system outputs the clause it relied on. Misses fell to zero, but narrowing stalled at 2.0%.
2026-09-08
分類記号の実績を加えるv5 — adding classification-code history
文書分類コードごとの過去の引渡実績を倍率として持たせたところ、48.6%を非該当に落とせるようになりました。代わりに42件を見逃すようになっています。絞り込みを取って見逃しを許容する方向へ、意図的に動かした地点です。Historical transfer rates per classification code were added as multipliers. 48.6% of files could now be ruled out — at the cost of 42 misses. This is the point where we deliberately traded some recall for real narrowing.
2026-09-09
第1回ワーキンググループFirst working group session
実機デモと議論。「簿冊名で内容が判断できない案件は、中を確認して判断している」というご指摘をいただき、これが後の分析の芯になります。Live demo and discussion. Staff noted that when a title does not reveal the content, they open the file and look inside — an observation that became the spine of the later analysis.
2026-09-17
ステアリングコミッティ｜到達点と上限を初めて提示Steering committee — first report of both reach and ceiling
確度の高い順に並べ、上位3,000件（全体の4.8%）で正解の67.9%が見つかる水準を報告。あわせて「同じ情報を持つのに判断が分かれた組」を数え、到達できる上限を89.0%として提示しました。Ranking files by confidence, the top 3,000 (4.8% of the whole) reached 67.9% of the correct set. We also counted pairs of files carrying identical information but opposite decisions, and reported a reachable ceiling of 89.0%.
2026-09-25
追加データの受領Additional data received
正解データ本体、各部局の沿革、組織機構図、未提供だった1ファイルをご提供いただきました。The ground-truth list itself, divisional histories, organisation charts, and one data file that had been missing from the first delivery.
2026-09-30
再測定と、説明の訂正Re-measurement, and a correction
母数を64,454件に付け替えて測り直し、上位3,000件で71.7%に。あわせて「上限89.0%」の説明が不正確だったことが分かり、訂正しています（次節）。Re-run on the corrected population of 64,454, the top 3,000 now reach 71.7%. In the process we found that our "89.0% ceiling" had been described incorrectly, and corrected it (see below).
5いまの到達点Where we are now
全簿冊を「歴史的文書の可能性が高い順」に並べ替えたとき、上から何件まで確認すれば、
引き渡すべき1,095件のうち何件が見つかるか。学習と評価を分けた2分割交差検証による実測値です。Files are sorted by likelihood. The table shows how many of the 1,095 correct files you meet by the time you have reviewed the top N. Measured with two-fold cross-validation, training and evaluation kept separate.
確認する件数Files reviewed
全体比Share
見つかった正解Correct files met
割合Share of 1,095
後ろに残るStill further down
1,000
1.6%
561
51.2%
534
3,000
4.7%
785
71.7%
310
6,457
10.0%
897
81.9%
198
12,891
20.0%
985
90.0%
110
20,000
31.0%
1,049
95.8%
46
64,454
100%
1,095
100%
0
この表の読み方How to read this
全部見れば当然100%になりますが、それは現在の作業と同じです。
意味があるのは「少ない件数で高い割合に届くこと」だけ。
どこで止めるかは発注者のご判断で、私どもは交換比率を数字でお示しします。Reviewing everything reaches 100% — but that is exactly today's workload.
The only thing that matters is reaching a high share after reviewing few files.
Where to stop is the client's decision; our role is to quantify the trade-off.
6「到達できる上限」という考え方The idea of a reachable ceiling
同じ情報を持つ簿冊が、引渡と廃棄に分かれている場合があります。
たとえば名称・分類記号・保存期間・所属がまったく同じ2件のうち、片方だけが引き渡されている。
その4項目しか見ていない限り、機械にはどちらか一方しか選べません。
この「どうしても取り違える件数」を全体から差し引いたものが、到達できる上限です。Sometimes two files carry identical information yet received opposite decisions — same title, classification code, retention period and owning division, but only one was transferred. Looking at those four fields alone, no machine can separate them. Subtracting these unavoidable confusions from the total gives the reachable ceiling.
訂正｜9/17の「上限89.0%」は正確ではありませんでしたCorrection — the "89.0% ceiling" we reported on 17 Sep was not accurate
89.0%は4項目だけで機械的に分けられる範囲であって、到達できる上限そのものではありませんでした。
使う列を増やせば、上限そのものが上がります。89.0% was the range separable using four fields only — not the ceiling itself. Add more fields and the ceiling itself rises.
判定に使う情報Fields used
判断が分かれた組Conflicting groups
到達上限Ceiling
簿冊名・分類記号・保存期間・所属（9/17で「上限」と説明した4項目）Title, classification code, retention period, division — the four fields behind the 17 Sep figure
85 / 334
89.1%
＋ グループ+ sub-unit
82 / 323
89.5%
＋ 作成所属名+ originating division
74 / 299
90.2%
＋ 簿冊年度（いただいている全列）+ fiscal year — every field available
33 / 195
94.3%
ただし、上限が上がったことと精度が上がることは別ですBut a higher ceiling is not higher accuracy
簿冊年度を判定材料として足しても、精度は上がりませんでした（基準64.9%に対し59.1%）。
上限が先に上がったのは「まだ伸びる余地があると分かった」という意味に留まります。
この一文を省くと、過大な期待を与えてしまいます。Adding fiscal year as a model feature did not improve accuracy (59.1% against a 64.9% baseline). The ceiling rising simply tells us there is still headroom. Leaving this sentence out would overstate what we have.
残る5.7%（33通り・195件）は、いただいている全列がすべて同じでも判断が分かれた簿冊です。
中身を見て判断されている領域で、AIが肩代わりすべきところではないと考えています。The remaining 5.7% (33 groups, 195 files) are cases where every available field is identical yet the decisions differ. That is where a person opens the file and looks — not somewhere an AI should take over.
7効いたもの、効かなかったものWhat worked, and what did not
効いたものWhat worked
同じ簿冊名の過去の扱い 64.9% → 67.9%How the same title was handled before — 64.9% → 67.9%
分類記号ごとの実績 絞り込みが2% → 48.6%へPer-classification-code history — narrowing from 2% to 48.6%
所管が移った簿冊かどうか 67.9% → 70.4%Whether custody moved between divisions — 67.9% → 70.4%
その「移り方」の種類分け 70.4% → 71.7%Distinguishing the kind of move — 70.4% → 71.7%
各部局の沿革20本 所属221種のうち84%が未収録で、ほぼ効かずTwenty divisional history documents — 84% of the 221 divisions do not appear in them; almost no effect
いちばん面白かった発見The most interesting finding
「所管が移った簿冊は歴史的文書になりやすい」ことは分かっていました。
ところが移り方の組み合わせごとに見ると、該当率が0%から19.6%まで割れていたのです。 課の名称が変わっただけのものは、1件も引き渡されていませんでした。
一方、仕事そのものが別の課へ移ったものだけが、全体平均の10倍を超えていました。
職員の方が中身を見て判断されている内容が、組織の変遷という形でデータに残っていたということだと考えています。We already knew that files whose custody had moved were more likely to be archived. But broken down by the specific move, the rate ranged from 0% to 19.6%. Where a division had merely been renamed, not a single file was transferred. Only where the function itself had moved to another division did the rate exceed ten times the overall average.
What staff decide by opening the file appears to have left a trace in the data — in the shape of the organisation's own history.
8データの取り扱いHow the data is handled
簿冊の名称には個人名が含まれうるため、外部のクラウドAIには一切渡していません。
集計はすべて庁内または弊社環境内で実行し、外に出すのは件数・分布・列名といった集計値のみです。
受領のたびに日付つきのフォルダを切り、実データはバージョン管理の対象外としています。
この運用はリポジトリの規約に明文化し、コミット前の自動チェックで機械的に止める仕組みを置いています。Record titles can contain personal names, so they are never sent to an external cloud AI. All aggregation runs inside the client's environment or ours, and only counts, distributions and column names leave it. Each delivery goes into its own dated folder, and raw data is excluded from version control — a rule written into the repository and enforced mechanically by a pre-commit check.
9これからWhat comes next
やることNext step
何のためにWhy
所属コードの新旧対応表をいただくObtain the mapping of old to new division codes
所属を名前ではなく系譜で持てるようになり、組織改編をまたいでも判定が壊れなくなりますLets divisions be tracked by lineage rather than name, so reorganisations no longer break the model
簿冊内の文書情報Document-level data from inside the files
全列を使った上限94.3%の先へ進む唯一の道ですThe only route past the 94.3% ceiling
庁内で動く言語モデルによる意味理解On-premise language model for semantic reading
「対策本部会議」と「相談記録」のような、語では区別できない違いを読む。個人情報を含むためクラウドは使えませんTo tell apart things words alone cannot — a policy meeting record versus a routine consultation log. Cloud services are ruled out by the personal data involved
職員の判断の蓄積Accumulating staff decisions
確定結果を学習に戻すことで、年を追うごとに精度が上がる仕組みにしますFeeding confirmed outcomes back into training so accuracy compounds year on year