AIに支援事業の公募を尋ねると、締切日を正しく教えてくれるのか

本稿は翻訳版です。基準版は韓国語版、バージョン1です。

小さな店の店主がAIアシスタントに「この支援事業、今申請できますか。締切はいつですか」と尋ねたとき、正しい答えが返ってくるかを測りました。正解は韓国政府の支援事業ポータルである企業マダン(기업마당、bizinfo.go.kr)の公募一覧としました。進行中100件と締切済み100件、中央省庁100件と地方自治体100件になるよう200件を層化抽出し、ウェブ検索を使うClaude Sonnet 5.5に韓国語で1件ずつ尋ねました。回答は収集前に固定した規則で判定しました。締切日を正しく述べた回答は200件中78件(39.0%)で、中央省庁40.0%と地方自治体38.0%の差は-2.0ポイントとなり、事前登録した仮説H1(地方自治体の方が低い)は支持されませんでした。申請可否については200件中142件(71.0%)が確認できないと答え、結論を出した58件はすべて正しい方向でした。締切済みの公募を今申請できると述べた回答と、進行中の公募を締め切られたと述べた回答はいずれも0件で、H2も支持されませんでした。申請可否の判定規則は収集後に欠陥が見つかって修正し、元の規則による結果は付録にそのまま掲載しました。

調査情報

企業マダン(기업마당)の支援事業公募200件について、ウェブ検索を使うAIアシスタントに韓国語で尋ね、締切日・申請可否・実施機関を公募一覧と照合しました

• 著者: 金夏原(キム・ハウォン、Define404 Research)
• 日付: 2026-10-29
• 種別: 測定報告。公募200件を新たに質問し、規則で判定しました。
• 事前登録: 研究リポジトリのコミット35fac08(2026-10-28 23:41 ICT)。収集前に仮説・標本・判定規則・分析方法を記したprereg.mdをコミットしました。
• DOI: https://doi.org/10.5281/zenodo.23739022
• 利益相反: 著者が所属するDefine404は、AI回答モニタリングと店舗別AI露出診断のサービスを準備しています。自社製品は調査対象に含めていません。

主な結果

• 締切日を正しく述べた回答は200件中78件、39.0%(95%信頼区間32.5~45.9)でした。中央省庁の公募は40.0%(30.9~49.8)、地方自治体の公募は38.0%(29.1~47.8)で、差は-2.0ポイント(-15.5~11.5)です。H1は支持されず。
• 申請可否については、200件中142件(71.0%; 64.4~76.8)が結論を出さずに確認できないと答えました。結論を出した58件(29.0%; 23.2~35.6)はすべて正しい方向でした。
• 締切済みの公募100件を今申請できると述べた回答は0件、進行中の公募100件を締め切られたと述べた回答は0件です。両方の誤りが0のため、H2(締切済みの公募を申請可能と述べる側が多い)は支持されませんでした。
• 締切日・申請可否・実施機関をすべて正しく述べた厳格スコアは200件中46件(23.0%; 17.7~29.3)です。締切日だけを見る緩やかなスコアとの対差は16.0ポイント(10.9~21.1)です。

1 はじめに

韓国の小規模事業者向け支援事業は公募が多く、期間が短いです。企業マダンだけでも2026-10-28時点で進行中の公募が1,445件ありました。店主がこの一覧を全部読むのは難しく、そのためAIアシスタントに「これ、今申請できますか」と尋ねることが増えています。AIが締切日を間違って伝えると、店主は用意した書類を出せなかったり、終わった事業に時間を使ったりすることになります。

米国の福祉制度についてはAI回答の正確さを測った研究がありますが(2節)、韓国の支援事業公募について、正解が公開一覧で固定される項目(締切日、実施機関、進行中かどうか)をウェブ検索を使う一般的なAIアシスタントに尋ねて測った報告は、確認した範囲では見つかりませんでした。

本調査はその空白を測ろうとしたものです。貢献は三つです。企業マダンの公募一覧を正解として公募200件を層化抽出し、AIアシスタントの締切日正答率を測りました。締切済みの公募と進行中の公募で、AIが申請可否をどちらの方向に間違えるかを調べました。標本抽出コード、判定規則、分析コードを収集前にリポジトリにコミットし、同じ手順を再実行できるようにしました。

仮説は二つです。H1(一次)は、締切日を正しく述べる割合が地方自治体の公募では中央省庁の公募より低いという仮説です。H2(二次)は、締切済みの公募を今申請できると断定する割合が、進行中の公募を締め切られたと断定する割合より高いという仮説です。

2 関連研究

公的制度に関するAI回答の正確さを測った研究は、ほとんどが米国の福祉制度を扱っています。Gosciakら(2026)は米国のSNAP(食料支援)に関する770問に専門家が正解を付け、チャットボットの正確さが相談員の正確さに与える影響を実験しました。Vals AI(2026)はSNAPの459シナリオに専門家ルーブリック2,931項目を置き、LLM判定者で採点して、最高モデルが76.93%でした。Simpsonら(2026)は規制ルールの225シナリオで、最新モデルが例外条項を誤って処理する事例を報告しました。Kennanら(2025)はSNAPとMedicaidについて7州で、チャットボットの通常回答と検索補強回答を比較しました。

これらの研究は正解を専門家の判断で定め、制度の受給要件のように解釈が必要な質問を扱いました。本調査は逆に、解釈が不要な項目だけを選びました。締切日と実施機関は公募一覧に記された値なので、規則で照合できます。判定方式はFreshQA(Vuら 2023)の緩やかなスコアと厳格スコアを、信頼区間と対差はMiller(2024)に従いました。標本40未満のセルを解釈しない基準はPopQA(Mallenら 2023)から取りました。同じ方法で近所の店の営業状況を測った第2号Local404(Define404 Research 2026)と設計が続いています。

3 調査方法

3.1 母集団と標本

正解の出所は企業マダンの支援事業公募のExcelダウンロードです(2026-10-28受信、進行中1,445行、過去の公募26,425行)。列は所管省庁、事業実施機関、支援分野、公募名、申請開始日、申請終了日、登録日、公募詳細URLです。正解はこのファイルの値に固定し、収集中に企業マダンが公募を修正しても正解は変えませんでした。

除外した行は、同じ公募名が2回以上あるもの699件、申請日付がないもの68件、まだ申請が始まっていないもの16件、進行中だが締切が2026-11-18から2027-06-30の間にないもの360件(常時・通年の公募を含む)、過去の公募だが締切が2026-08-01から10-21の間にないもの23,522件です。締切の範囲は、収集期間中に状態が変わらないよう前後に7日の余裕を置きました。

層は状態(進行中、締切済み)と所管(中央省庁、地方自治体)を掛け合わせた4セルです。所管省庁の名称が特別市・広域市・特別自治市・特別自治道・道で終わるものは地方自治体、それ以外は中央省庁(庁・委員会を含む)としました。セルごとに候補を公募IDで整列し、シード20261028でシャッフルして先頭50件を取り、合計200件です。標本サイズは、H1で20ポイントの差を有意水準5%、検出力80%で捉えるのに必要なグループあたり98件に合わせました。公募1件につき回答1つなので、公募数200が有効標本です。

3.2 質問

公募ごとに質問を一つ韓国語で作りました。質問の型は「'{公募名}' 지원사업, 지금 신청할 수 있나요? 신청 마감일이 언제이고 어느 기관이 사업을 수행하는지도 알려 주세요.」(「'{公募名}'支援事業、今申請できますか。申請締切日はいつで、どの機関が事業を実施するのかも教えてください。」)です。公募名は企業マダンの登録名そのまま(地域の接頭辞を含む)を入れ、締切日・機関・進行状況は判定対象なので質問に入れませんでした。質問は10問ずつ20バッチに分け、バッチファイルには質問だけがあります。

3.3 回答システム

回答システムは一つです。Claude Sonnet 5.5にウェブ検索を付けた条件で、人が実際に使う形に近いため選びました。1回の呼び出しが1バッチ(10問)を担当し、回答者は調査目的と正解を知りません。指示文には、問ごとに検索すること、質問の言語で答えること、検索上限のメッセージが来たら止めて検索した問だけを記録することを書きました。収集は2026-10-28の夜から10-29まで行い、200件すべてが検索を1回以上行ったため無効な回答はありませんでした。回答の原文と検索ソースはバッチ別のファイルに残しました。

3.4 判定

判定は収集前に固定した規則コードで行いました。項目は三つです。

• 申請可否: 可能と断定、締切と断定、不明(確認不可または結論なし)の三つです。正解は層の状態です。
• 締切日: 回答に出てくる日付のうち、締切の文脈(前後40字以内に締切・まで・終了・申請期間・受付期間に当たる韓国語、または期間表記の終わり)にある日付が正解の申請終了日と同じなら正解、他の日付だけなら誤り、締切の文脈の日付がなければ無しです。
• 実施機関: 事業実施機関(基礎自治体・直接実施の場合は所管省庁と公募名の先頭にある市郡区)が略称を含めて回答にあれば正解、他の機関だけを述べていれば誤りです。

緩やかなスコアは締切日の正解です。厳格スコアは締切日の正解、申請可否の正解、実施機関が誤りでないことをすべて満たす場合です。LLM判定者と人間2名による判定は使いませんでした。

申請可否の判定は収集後に1回修正しました(3.6節)。修正後の規則(v1.1)でハブが直接判定した回答は0件です。元の規則(v1.0)では、可能と締切の表現が同じ文にあり直接判定の対象として印を付けた回答が1件あり、その回答はv1.0の結果表(付録B)では不明として入っています。

3.5 分析

すべての割合にWilsonの95%信頼区間を付けました。公募ごとに回答が一つなので、対象単位のクラスター区間と同じです。H1は、地方自治体の公募の緩やかなスコアの割合から中央省庁の割合を引いた差の95%信頼区間と片側z検定です。H2は、締切済みの公募を可能と断定した割合から進行中の公募を締切と断定した割合を引いた差です。二つの仮説のp値はHolm補正を行いました。同じ公募の緩やかなスコアと厳格スコアの差は対差として報告します。状態と所管を掛け合わせた4セル(セルあたり50件)と、締切日の誤り・無しの区分は、事前登録にない探索的分析です。標本40未満のセルは解釈しません。

3.6 事前登録からの変更点

収集が終わった後に判定標本を読んでいて、登録した申請可否の判定規則(v1.0)の実装に欠陥があることを確認しました。v1.0は回答を文に分け、可能・締切の表現が最後に出た文を結論としていましたが、「신청 가능성은 사실상 없어 보입니다」(申請できる可能性は事実上ないと思われます)を可能と読み、同じ事業の前回募集が締め切られたという言及を対象公募の締切の結論として読んでいました。そのため、分析結果を解釈する前に規則をv1.1に修正しました。v1.1は回答の最初の文を結論の文と見なし、最初の文に締切側の表現(「申請できない」「締切」「終了」「過ぎた」「可能性はない」など)があれば締切と断定、可能側の表現(「申請可能」「申請できる」「受付中」など)があれば可能と断定、どちらもなければ不明とします。200件すべてが最初の文に結論または確認不可を書いていました。締切日と実施機関の規則は変えていません。

事前登録の8節に従い、v1.0の結果を付録Bにそのまま掲載しました。v1.0ではH2が+34.0ポイントで支持され、v1.1では両方の誤りが0件のため支持されません。二つの結果の差は判定の欠陥から生じたもので、この差が本調査で最も注意して読むべき部分です(5節)。

4 結果

4.1 締切日

締切日を正しく述べた回答は200件中78件(39.0%)です。残りの122件のうち、締切の文脈で他の日付だけを述べた回答が58件、締切の文脈の日付がない回答が64件でした。進行中の公募では正解45件、誤り20件、無し35件で、締切済みの公募では正解33件、誤り38件、無し29件でした。この区分は探索的分析です。誤りには、似た名前の別の公募や前回募集の日付を述べた回答も含まれています(6節)。

4.2 事前登録仮説H1: 地方自治体の公募の方が低いのか

地方自治体の公募の締切日正答率は中央省庁より2.0ポイント低かったものの、信頼区間が-15.5から11.5までで0を広く含んでいます。この標本サイズは20ポイントの差を捉えるよう設計したので、それより小さな差はあっても見えなかった可能性があります。地方自治体の公募の方が難しいという仮説は、このデータでは支持されません。

4.3 申請可否と仮説H2

200件中142件(71.0%)は、最初の文で公募が見つからなかった、または確認できないと述べました。結論を出した58件はすべて正しい方向でした。締切済みの公募100件で今申請できると述べた回答は0件(Wilson 95%上限3.7%)、進行中の公募100件で締め切られたと述べた回答も0件(上限3.7%)です。両方の割合が0のためH2の差は0.0ポイントで、仮説は支持されません。仮説が誤りだと分かったのではなく、この条件の回答には比較すべき誤りがなかったという結果です。

締切済みの公募では35件が締め切られたと結論を出し、進行中の公募では23件だけが今申請できると結論を出しました。進行中の公募では不明が77件と多くなりました。公募を見つけても、進行中という結論を最初の文に書くより、機関に確認するよう促す回答が多かったのです。

4.4 探索: 厳格スコアと4セル比較

同じ公募で、緩やかなスコア(39.0%)と厳格スコア(23.0%)の対差は16.0ポイント(10.9~21.1)です。締切日を正しく述べた78件のうち申請可否まで正しく断定した回答は47件で、そのうち1件は実施機関を誤って述べたため厳格スコアは46件です。実施機関は200件中161件で正しく述べ、39件は別の機関を述べました。この節の数字は探索的分析です。

進行中の地方自治体の公募は締切日正答率が50.0%で最も高かった一方、不明が82.0%で最も多く、すべて正解は14.0%で最も低くなりました。締切日は突き止めたのに、今申請できるという結論は出さなかった回答がそれだけ多かったということです。セルあたり50件なので、セル間の差の信頼区間は広く、この表は次の調査の仮説候補としてのみ読むべきです。

5 考察

本調査でAIアシスタントは、支援事業公募の締切日を10回中4回ほど正しく述べ、申請可否は10回中7回ほど確認できなかったと答えました。誤った方向に断定した回答はありませんでした。第2号Local404でClaude系のモデルが近所の店の営業状況をほとんど断定しなかったのと同じ方向です。ただし今回は公募名をそのまま入れてウェブ検索を使ったため、締切日のような具体的な値は半分近く見つけ出しました。

店主にとって危険なケースは二つです。一つは締切日が誤った回答です。200件中58件は締切の文脈で正解でない日付を述べました。このうち一部は似た名前の別の公募や前回募集の日付であり、店主がその日付を今年のこの公募の締切と受け取れば、書類を出すのが遅れます。もう一つは答えがないケースです。進行中の公募100件のうち77件は申請できるかどうかの結論がありませんでした。この場合、店主はいずれにせよ公募の原文を開いて見るしかありません。

判定規則を収集後に修正した点は別に記しておく必要があります。登録した規則のまま走らせると、締切済みの公募100件のうち43件を今申請できると述べたものとして集計し、H2が支持されます(付録B)。しかしその43件には「신청 가능성은 사실상 없어 보입니다」(申請できる可能性は事実上ないと思われます)のように反対の意味の回答が含まれていました。修正した規則は最初の文の結論だけを見るため、その結果、誤った方向の断定は0件になりました。修正した規則の方が回答の意味に近いと考えますが、規則を修正した後に結果が仮説と反対の方向に変わったという事実はそのままです。次の調査では最初の文の規則を収集前に登録し、同じ設計を再実行して確認する必要があります。

お店で今日からできること

• AIが教えてくれた締切日は、企業マダンの公募原文でもう一度確認してください。本調査で締切日を正しく述べた回答は200件中78件で、58件は別の日付を述べました。
• AIが「確認できません」と言っても、その公募が終わったという意味ではありません。進行中の公募100件のうち77件で、AIは申請できるかどうかの結論を出しませんでした。
• 公募名は企業マダンに登録された名前のまま入れて尋ねてください。本調査はそのように尋ねても、締切日は10回中4回ほどしか当たりませんでした。短く呼ぶと、似た名前の別の公募の日付が出てくることがあります。

6 限界

1. 回答システムがClaude Sonnet 5.5のウェブ検索条件一つなので、モデル間の比較はありません。一つのエージェントが10問を続けて答えたため、前の問が後の問に影響した可能性があります。
2. 申請可否の判定規則を収集後に修正しました(3.6節)。修正後の規則は最初の文だけを見るため、最初の文で確認できないと述べた後に本文で結論を出した回答があれば不明として数えます。元の規則の結果は付録Bにあります。
3. 締切日の判定は、締切の文脈にある日付をすべて対象公募の締切の主張と見なします。そのため、似た名前の別の公募や前回募集の締切日を述べた回答、別の公募を代わりに紹介してその締切日を述べた回答も誤りに入ります。誤り58件のうちどれだけがこうしたケースかは、今回の規則では分けられませんでした。
4. 正解の出所が企業マダン一つです。企業マダンにない公募(小商工人24(소상공인24)のみ掲載、地方自治体の独自サイトのみ掲載)は母集団の外です。小商工人24は収集日に点検中で確認できませんでした。
5. 公募名をそのまま入れて尋ねました。店主が実際に曖昧に尋ねる状況より易しい条件です。
6. 支援対象の要件、金利、限度額は自由記述のため判定しませんでした。締切日と実施機関が合っていても、店主に必要な答えがすべて合っていたという意味ではありません。
7. 収集は2026-10-28から29日までの一時点です。検索結果は日々変わるため、同じ質問を再び行えば数字が変わる可能性があります。

7 倫理と利益相反

公募名と公募のURLは企業マダンが公開している情報なので、公開データにそのまま載せました。個人を識別できる情報は扱っていません。AIの回答原文は公開データに含めていません。著者が所属するDefine404は、AI回答モニタリングと店舗別AI露出診断のサービスを準備しています。自社製品は調査対象に含めていません。外部からの助成金はありません。

8 再現方法

• 公開リポジトリ: https://github.com/johndefine404/define404-research-public (パス004-support-programs/)。標本、判定結果、分析コード、図のスクリプトを公開しています。AIの回答原文は除いています。
• 正解の出所: 企業マダンの支援事業公募Excel(2026-10-28受信)sampling/raw/bizinfo_ongoing_20261028.xlsx、bizinfo_expired_20261028.xlsx。ハッシュはsampling/raw/SHA256SUMS
• 標本: sampling/draw_sample.py(シード20261028)、結果sampling/sample.csv(SHA-256 893f36426392a7fddee39ed59d8a960df959dbc2df6603a8ed0b919fe4a86df5、2回の実行で一致)
• 質問: collect/question_templates.json v1.0、バッチcollect/batches/
• 判定: judge/auto_judge.py(登録規則v1.0、結果judge/judged_v10.csv)、judge/status_v11.py(改訂v1.1、結果judge/judged.csv)。規則の本文はjudge/rules.md
• 分析: analysis/run_analysis.py。結果はanalysis/out/(v1.1)、analysis/out_v10/(v1.0)のresults.json、tables.md。原稿の数字はこのファイルからのみ転記しました
• 図: analysis/make_figures.pyがanalysis/out/results.jsonから数字を読み、report/figures/*.svgを作ります
• 事前登録: 研究リポジトリのコミット35fac08415747034b71e0be72186a46c8964a352(2026-10-28 23:41 ICT)。収集前にprereg.mdをコミットしました
• 依存関係: 標準ライブラリのみ使用
• 公募別要約データ(CSV): 公募ID、状態、所管、公募名、申請期間、URLと判定結果(v1.1とv1.0)を収めました。AIの回答原文はありません

参考文献

• Gosciak, J. ほか (2026). LLMs in social services: How does chatbot accuracy affect human accuracy? arXiv:2603.11213. https://arxiv.org/abs/2603.11213
• Vals AI (2026). Public Benefits Bench v1.1. https://www.vals.ai/benchmarks/snap (2026-10-28確認)
• Simpson, R. ほか (2026). Confidently Wrong: Exception Chain Collapse in Frontier LLM Rule Evaluation. arXiv:2607.23386. https://arxiv.org/abs/2607.23386
• Kennan, E. ほか (2025). AI-Powered Rules as Code: Experiments with Public Benefits Policy. Georgetown Beeck Center. https://beeckcenter.georgetown.edu/the-digital-benefits-network-and-massive-data-institute-experiment-with-ai-to-translate-public-benefits-policies-into-software-code/
• Vu, T. ほか (2023). FreshLLMs: Refreshing Large Language Models with Search Engine Augmentation. arXiv:2310.03214. https://arxiv.org/abs/2310.03214
• Mallen, A. ほか (2023). When Not to Trust Language Models: Investigating Effectiveness of Parametric and Non-Parametric Memories. arXiv:2212.10511. https://arxiv.org/abs/2212.10511
• Miller, E. (2024). Adding Error Bars to Evals: A Statistical Approach to Language Model Evaluations. arXiv:2411.00640. https://arxiv.org/abs/2411.00640
• Define404 Research (2026). Local404: AIは閉店した近所の店をまだ営業中だと言うのか(韓国語). https://define404.com/report/002-local404-closed-shops/

付録A 判定規則の要約

• 申請可否(v1.1): 回答の最初の文を結論の文と見なします。最初の文に締切側の表現があれば締切と断定、可能側の表現があれば可能と断定、どちらもなければ不明です。「~と思われます」のような推定の結論もその方向に数えます。正解は層の状態(進行中なら可能、締切済みなら締切)です。
• 申請可否(v1.0、登録規則): 回答を文に分け、可能・締切の表現が最後に出た文を結論と見なします。条件文(「締切日が過ぎていれば申請できません」)は結論ではありません。同じ文に両方の表現があれば直接判定の対象として印を付けます。
• 締切日: 2026-11-09、2026.11.09、2026년 11월 9일、11월 9일のような韓国語の日付表記をすべて取り出します。日付の前後40字以内に締切、まで、終了、申請期間、受付期間、申請は、受付はに当たる韓国語のいずれかがあるか、直前に期間表記(~、から)があれば締切の文脈です。正解の申請終了日と同じ日付が締切の文脈にあれば正解、他の日付だけなら誤り、なければ無しです。
• 実施機関: 事業実施機関の名称を基準とします。基礎自治体・直接実施の場合は所管省庁と公募名の先頭にある市郡区を基準に加えます。空白・括弧・財団法人などの表記を除き、よく使われる略称(소진공、중기부、중진공、KOTRAなど)を同一と見なします。基準の名称が回答にあれば正解、他の機関だけを実施・主管機関として述べていれば誤りです。
• スコア: 緩やかなスコアは締切日の正解、厳格スコアは締切日の正解と申請可否の正解と実施機関が誤りでないことをすべて満たす場合です。

付録B 登録規則v1.0の結果

事前登録の8節に従い、登録した判定規則(v1.0)をそのまま適用した結果を掲載します。締切日と実施機関の判定は両版で同じなので緩やかなスコアは本文と同じで、申請可否と厳格スコアだけが異なります。

v1.0では、締切済みの公募100件のうち43件が可能断定、37件が締切断定、20件が不明と集計され、進行中の公募100件のうち72件が可能断定、9件が締切断定、19件が不明と集計されました。H2の差は43.0%から9.0%を引いた+34.0ポイントです。v1.1では同じ回答が、締切済みの公募で可能断定0件、締切断定35件、不明65件、進行中の公募で可能断定23件、締切断定0件、不明77件です。両版の緩やかなスコアと厳格スコアの対差はそれぞれ16.5ポイント(11.3~21.7)と16.0ポイント(10.9~21.1)です。v1.0で直接判定の対象として印を付けた1件はこの表では不明として入っており、v1.1の規則では最初の文が締切側なので規則だけで締切断定と判定されました。

付録C 事前登録との差異