向AI询问政府扶持项目公告，它能说对截止日期吗

本文为译本。基准版为韩文原文，版本1。

我们测量了小店店主向AI助手询问"这个扶持项目现在还能申请吗？截止日期是什么时候？"时，能否得到正确答案。正确答案以韩国政府扶持项目门户企业广场(기업마당，bizinfo.go.kr)的公告列表为准。我们分层抽取了200条公告，使进行中100条、已截止100条，中央部委100条、地方政府100条，并用韩语向具备网络搜索功能的Claude Sonnet 5.5逐条提问一次。回答按采集前固定的规则判定。说对截止日期的回答为200条中的78条(39.0%)，中央部委40.0%与地方政府38.0%相差-2.0个百分点，预注册假设H1(地方政府更低)未获支持。关于是否可申请，200条中有142条(71.0%)回答无法确认，给出结论的58条方向全部正确。把已截止公告说成现在还能申请的回答，和把进行中公告说成已截止的回答均为0条，H2也未获支持。是否可申请的判定规则在采集后发现缺陷并作了修正，原规则的结果原样载于附录。

调查信息

我们就企业广场(기업마당)上的200条扶持项目公告，用韩语向具备网络搜索功能的AI助手提问，并将回答中的截止日期、是否可申请、执行机构与公告列表逐一核对

• 作者：金夏原(Define404 Research)
• 日期：2026-10-29
• 类型：测量报告。新提问200条公告，按规则判定。
• 预注册：研究仓库提交35fac08(2026-10-28 23:41 ICT)。在采集前提交了包含假设、样本、判定规则和分析方法的prereg.md。
• DOI: https://doi.org/10.5281/zenodo.23739022
• 利益关系：作者所属的Define404正在筹备AI回答监测和按店铺的AI曝光诊断服务。本公司产品未纳入调查对象。

核心结果

• 说对截止日期的回答为200条中的78条，39.0%(95%置信区间32.5~45.9)。中央部委公告40.0%(30.9~49.8)，地方政府公告38.0%(29.1~47.8)，相差-2.0个百分点(-15.5~11.5)。H1未获支持。
• 关于是否可申请，200条中有142条(71.0%; 64.4~76.8)未下结论，回答无法确认。给出结论的58条(29.0%; 23.2~35.6)方向全部正确。
• 把100条已截止公告说成现在还能申请的回答为0条，把100条进行中公告说成已截止的回答为0条。两种错误均为0，H2(把已截止公告说成可申请的一方更多)未获支持。
• 截止日期、是否可申请、执行机构全部答对的严格分数为200条中的46条(23.0%; 17.7~29.3)。与只看截止日期的宽松分数的配对差为16.0个百分点(10.9~21.1)。

1 引言

韩国面向小微企业的扶持项目公告多、期限短。仅企业广场一处，截至2026-10-28进行中的公告就有1,445条。店主很难把这个列表全部读完，于是向AI助手询问"这个现在还能申请吗"的情况越来越多。如果AI把截止日期说错，店主要么交不上准备好的材料，要么把时间花在已经结束的项目上。

关于美国福利制度，已有测量AI回答准确度的研究(第2节)；但就韩国扶持项目公告而言，针对正确答案由公开列表固定的项目(截止日期、执行机构、是否进行中)，向使用网络搜索的普通AI助手提问并加以测量的报告，在我们查证的范围内尚未找到。

本调查试图测量这一空白。贡献有三项。以企业广场公告列表为正确答案，分层抽取200条公告，测量了AI助手的截止日期正确率。考察了在已截止公告和进行中公告上，AI在是否可申请这一点上朝哪个方向出错。将抽样代码、判定规则、分析代码在采集前提交到仓库，使同一流程可以重新运行。

假设有两个。H1(主假设)是说对截止日期的比例在地方政府公告上低于中央部委公告。H2(次假设)是断定已截止公告现在还能申请的比例高于断定进行中公告已截止的比例。

2 相关研究

测量AI对公共制度回答准确度的研究大多针对美国福利制度。Gosciak等(2026)就美国SNAP(食品援助)的770道题由专家标注正确答案，并实验了聊天机器人准确度对咨询员准确度的影响。Vals AI(2026)为SNAP的459个情景设置了2,931项专家评分标准，用LLM评判者打分，最佳模型为76.93%。Simpson等(2026)报告了在225个监管规则情景中，最新模型错误处理例外条款的情况。Kennan等(2025)在7个州就SNAP和Medicaid比较了聊天机器人的普通回答与检索增强回答。

这些研究以专家判断确定正确答案，处理的是制度资格条件这类需要解释的问题。本调查则相反，只选取无需解释的项目。截止日期和执行机构是公告列表中写明的值，可以按规则核对。判定方式沿用FreshQA(Vu等 2023)的宽松分数与严格分数，置信区间和配对差沿用Miller(2024)。不解释样本不足40的单元格，这一标准取自PopQA(Mallen等 2023)。本调查的设计承接以同样方式测量社区店铺是否营业的第2期Local404(Define404 Research 2026)。

3 调查方法

3.1 总体与样本

正确答案的来源是企业广场扶持项目公告的Excel下载文件(2026-10-28接收，进行中1,445行，过往公告26,425行)。列包括主管部门、项目执行机构、扶持领域、公告名、申请开始日期、申请截止日期、登记日期、公告详情URL。正确答案以此文件的值为准固定下来，采集期间即使企业广场修改了公告，也不改动正确答案。

排除的行有：同一公告名出现两次以上的699条，没有申请日期的68条，申请尚未开始的16条，进行中但截止日期不在2026-11-18至2027-06-30之间的360条(含常年、全年受理的公告)，过往公告但截止日期不在2026-08-01至10-21之间的23,522条。截止日期范围前后各留了7天余量，以免采集期间状态发生变化。

分层是状态(进行中、已截止)与主管(中央部委、地方政府)相乘的4个单元格。主管部门名称以特别市、广域市、特别自治市、特别自治道、道结尾的视为地方政府，其余(含厅、委员会)视为中央部委。每个单元格内将候选按公告ID排序，用种子20261028打乱后取前50条，共200条。样本量按H1在5%显著性水平、80%检验力下检出20个百分点差异所需的每组98条设定。每条公告对应一个回答，因此公告数200即为有效样本。

3.2 提问

每条公告用韩语写一个问题。问题模板为"'{公告名}' 지원사업, 지금 신청할 수 있나요? 신청 마감일이 언제이고 어느 기관이 사업을 수행하는지도 알려 주세요."("'{公告名}'扶持项目现在能申请吗？也请告诉我申请截止日期是什么时候、由哪个机构执行。")公告名按企业广场登记的名称原样填入(含地区前缀)；截止日期、机构、进行状态是判定对象，因此不写进问题。问题按每批10题分为20批，批次文件中只有问题。

3.3 回答系统

回答系统只有一个：Claude Sonnet 5.5加网络搜索，因其接近人们实际使用的形态而选定。一次调用负责一批(10题)，回答方不知道调查目的和正确答案。指令中写明每题都要搜索、用提问的语言作答、收到搜索上限提示时停止并只记录已搜索的题目。采集从2026-10-28夜间进行到10-29，200条全部至少搜索了1次，没有无效回答。回答原文和搜索来源按批次保存在文件中。

3.4 判定

判定使用采集前固定的规则代码。共三项。

• 是否可申请：分为断定可申请、断定已截止、未知(无法确认或没有结论)三种。正确答案是所在层的状态。
• 截止日期：回答中出现的日期里，处于截止语境(前后40个字符内有截止、为止、结束、申请期间、受理期间等韩语词，或处于期间表述的末尾)的日期与正确答案的申请截止日期相同则为正确，只有其他日期则为错误，截止语境中没有日期则为无。
• 执行机构：项目执行机构(由基层自治团体执行或直接执行的，则为主管部门加上公告名开头的市郡区)含简称在内出现在回答中则为正确，只提到其他机构则为错误。

宽松分数即截止日期正确。严格分数要求截止日期正确、是否可申请正确、执行机构不为错误三者同时满足。未使用LLM评判者和双人人工判定。

是否可申请的判定在采集后修正过一次(第3.6节)。在修正后的规则(v1.1)下，由中枢直接判定的回答为0条。在原规则(v1.0)下，有1条回答因可申请与已截止的表述出现在同一句而被标记为直接判定对象，该回答在v1.0结果表(附录B)中计为未知。

3.5 分析

所有比例均附Wilson 95%置信区间。每条公告只有一个回答，因此与按对象单位的聚类区间相同。H1检验的是地方政府公告的宽松分数比例减去中央部委比例之差的95%置信区间和单侧z检验。H2是断定已截止公告可申请的比例减去断定进行中公告已截止的比例之差。两个假设的p值作了Holm校正。同一公告的宽松分数与严格分数之差以配对差报告。状态与主管相乘的4个单元格(每格50条)以及截止日期错误与无的区分属于预注册之外的探索性分析。样本不足40的单元格不作解释。

3.6 与预注册的差异

采集结束后阅读判定样本时，我们确认已注册的是否可申请判定规则(v1.0)在实现上存在缺陷。v1.0把回答拆成句子，以最后一个出现可申请或已截止表述的句子为结论，结果把"신청 가능성은 사실상 없어 보입니다"(申请的可能性实际上看来没有)读成了可申请，也把同一项目上一轮已截止的提及读成了目标公告已截止的结论。因此在解释分析结果之前，我们把规则修正为v1.1。v1.1把回答的第一句视为结论句：第一句有已截止一侧的表述("不能申请""截止""结束""已过""没有可能性"等)则断定已截止，有可申请一侧的表述("可以申请""能申请""受理中"等)则断定可申请，两者都没有则为未知。200条回答的第一句全部写有结论或无法确认。截止日期和执行机构的规则未作改动。

按预注册第8节，v1.0的结果原样载于附录B。按v1.0，H2以+34.0个百分点获得支持；按v1.1，两种错误均为0条，未获支持。两个结果的差异源于判定缺陷，这是本调查中最需要谨慎阅读的部分(第5节)。

4 结果

4.1 截止日期

说对截止日期的回答为200条中的78条(39.0%)。其余122条中，在截止语境里只说了其他日期的回答有58条，截止语境里没有日期的回答有64条。进行中公告为正确45条、错误20条、无35条；已截止公告为正确33条、错误38条、无29条。这一区分属于探索性分析。错误中也包括说了名称相似的其他公告或上一轮日期的回答(第6节)。

4.2 预注册假设H1: 地方政府公告是否更低

地方政府公告的截止日期正确率比中央部委低2.0个百分点，但置信区间从-15.5到11.5，宽泛地包含0。本样本量是按检出20个百分点差异设计的，比这更小的差异即使存在也可能没有观察到。地方政府公告更难这一假设，用这些数据无法得到支持。

4.3 是否可申请与假设H2

200条中有142条(71.0%)在第一句说没找到公告或无法确认。给出结论的58条方向全部正确。在100条已截止公告中说现在还能申请的回答为0条(Wilson 95%上限3.7%)，在100条进行中公告中说已截止的回答也为0条(上限3.7%)。两个比例均为0，H2的差为0.0个百分点，假设未获支持。这并不是说假设被证明错误，而是在此条件下的回答中没有可供比较的错误。

对已截止公告，有35条下了已截止的结论；对进行中公告，只有23条下了现在还能申请的结论。进行中公告的未知更多，有77条。即使找到了公告，很多回答也不在第一句下进行中的结论，而是让用户去向机构确认。

4.4 探索：严格分数与4个单元格比较

在同一批公告上，宽松分数(39.0%)与严格分数(23.0%)的配对差为16.0个百分点(10.9~21.1)。说对截止日期的78条中，连是否可申请也断定正确的回答有47条，其中1条把执行机构说错，因此严格分数为46条。执行机构在200条中有161条说对，39条说了其他机构。本节数字属于探索性分析。

进行中的地方政府公告截止日期正确率最高，为50.0%，但未知也最多，为82.0%，因此全部正确最低，为14.0%。这说明有不少回答查到了截止日期，却没有下现在还能申请的结论。每格50条，单元格之间差异的置信区间很宽，本表只应作为下一次调查的假设候选来读。

5 讨论

在本调查中，AI助手说对扶持项目公告截止日期的比例约为10次中的4次，关于是否可申请则约有10次中的7次回答没能确认。没有朝错误方向断定的回答。这与第2期Local404中Claude系列模型几乎不断定社区店铺是否营业的结果方向一致。不过这次因为原样填入了公告名并使用了网络搜索，截止日期这类具体的值找到了将近一半。

对店主来说，风险有两种。一种是截止日期错误的回答：200条中有58条在截止语境里说了不正确的日期。其中一部分是名称相似的其他公告或上一轮的日期，店主如果把那个日期当作今年这条公告的截止日期，材料就会交晚。另一种是没有答案：进行中的100条公告里有77条没有能否申请的结论，这种情况下店主反正还得打开公告原文查看。

判定规则在采集后作了修正，这一点需要单独说明。如果按注册的规则原样运行，100条已截止公告中有43条会被计为说现在还能申请，H2获得支持(附录B)。但这43条中包含了"신청 가능성은 사실상 없어 보입니다"(申请的可能性实际上看来没有)这样意思相反的回答。修正后的规则只看第一句的结论，结果朝错误方向的断定变为0条。我们认为修正后的规则更接近回答的本意，但规则修正之后结果朝假设相反方向改变，这一事实不变。下一次调查应在采集前注册第一句规则，并重新运行同样的设计加以确认。

店主今天就能做的事

• AI告诉你的截止日期，请到企业广场的公告原文再核对一遍。本调查中说对截止日期的回答为200条中的78条，有58条说了其他日期。
• AI说"无法确认"，并不代表那个项目已经结束。在100条进行中公告里，有77条AI没有就能否申请下结论。
• 提问时请按企业广场登记的公告名原样输入。本调查即使这样提问，截止日期也只说对了10次中的4次左右。如果用简称，可能会得到名称相似的其他公告的日期。

6 局限

1. 回答系统只有Claude Sonnet 5.5加网络搜索这一个条件，没有模型间比较。一个代理连续回答10题，前面的题目可能影响后面的题目。
2. 是否可申请的判定规则在采集后作了修正(第3.6节)。修正后的规则只看第一句，因此如果有回答在第一句说无法确认、随后在正文中下了结论，会被计为未知。原规则的结果见附录B。
3. 截止日期判定把截止语境中的所有日期都视为对目标公告截止日期的主张。因此，说了名称相似的其他公告或上一轮截止日期的回答，以及转而介绍其他公告并说了其截止日期的回答，也都算入错误。58条错误中有多少属于这种情况，本次规则无法区分。
4. 正确答案的来源只有企业广场一个。企业广场上没有的公告(仅在小工商业者24(소상공인24)或仅在地方政府自有网站上发布的)不在总体之内。小工商业者24在采集当日处于检修中，未能确认。
5. 提问时原样输入了公告名。这比店主实际含糊提问的情形容易。
6. 扶持对象条件、利率、额度为自由陈述，未作判定。截止日期和执行机构正确，不代表店主需要的答案全部正确。
7. 采集是2026-10-28至29日这一个时点。搜索结果每天都在变化，再问同样的问题数字可能不同。

7 伦理与利益关系

公告名和公告网址是企业广场公开的信息，因此原样载入公开数据。未处理可识别个人的信息。AI回答原文未放入公开数据。作者所属的Define404正在筹备AI回答监测和按店铺的AI曝光诊断服务。本公司产品未纳入调查对象。没有外部资助。

8 复现方法

• 公开仓库：https://github.com/johndefine404/define404-research-public (路径004-support-programs/)。公开样本、判定结果、分析代码、绘图脚本。不含AI回答原文。
• 正确答案来源：企业广场扶持项目公告Excel(2026-10-28接收)sampling/raw/bizinfo_ongoing_20261028.xlsx、bizinfo_expired_20261028.xlsx。哈希见sampling/raw/SHA256SUMS
• 样本：sampling/draw_sample.py(种子20261028)，结果sampling/sample.csv(SHA-256 893f36426392a7fddee39ed59d8a960df959dbc2df6603a8ed0b919fe4a86df5，两次运行一致)
• 提问：collect/question_templates.json v1.0，批次collect/batches/
• 判定：judge/auto_judge.py(注册规则v1.0，结果judge/judged_v10.csv)，judge/status_v11.py(修订v1.1，结果judge/judged.csv)。规则正文见judge/rules.md
• 分析：analysis/run_analysis.py。结果为analysis/out/(v1.1)、analysis/out_v10/(v1.0)中的results.json、tables.md。稿中数字仅从这些文件转录
• 图：analysis/make_figures.py从analysis/out/results.json读取数字，生成report/figures/*.svg
• 预注册：研究仓库提交35fac08415747034b71e0be72186a46c8964a352(2026-10-28 23:41 ICT)。在采集前提交了prereg.md
• 依赖：仅使用标准库
• 按公告的汇总数据(CSV)：包含公告ID、状态、主管、公告名、申请期间、网址及判定结果(v1.1与v1.0)。不含AI回答原文

参考文献

• Gosciak, J. 等 (2026). LLMs in social services: How does chatbot accuracy affect human accuracy? arXiv:2603.11213. https://arxiv.org/abs/2603.11213
• Vals AI (2026). Public Benefits Bench v1.1. https://www.vals.ai/benchmarks/snap (2026-10-28查阅)
• Simpson, R. 等 (2026). Confidently Wrong: Exception Chain Collapse in Frontier LLM Rule Evaluation. arXiv:2607.23386. https://arxiv.org/abs/2607.23386
• Kennan, E. 等 (2025). AI-Powered Rules as Code: Experiments with Public Benefits Policy. Georgetown Beeck Center. https://beeckcenter.georgetown.edu/the-digital-benefits-network-and-massive-data-institute-experiment-with-ai-to-translate-public-benefits-policies-into-software-code/
• Vu, T. 等 (2023). FreshLLMs: Refreshing Large Language Models with Search Engine Augmentation. arXiv:2310.03214. https://arxiv.org/abs/2310.03214
• Mallen, A. 等 (2023). When Not to Trust Language Models: Investigating Effectiveness of Parametric and Non-Parametric Memories. arXiv:2212.10511. https://arxiv.org/abs/2212.10511
• Miller, E. (2024). Adding Error Bars to Evals: A Statistical Approach to Language Model Evaluations. arXiv:2411.00640. https://arxiv.org/abs/2411.00640
• Define404 Research (2026). Local404: AI会把已关门的社区店铺说成还在营业吗(韩文). https://define404.com/report/002-local404-closed-shops/

附录A 判定规则摘要

• 是否可申请(v1.1)：把回答的第一句视为结论句。第一句有已截止一侧的表述则断定已截止，有可申请一侧的表述则断定可申请，两者都没有则为未知。"看来是"之类的推测性结论也按其方向计算。正确答案是所在层的状态(进行中为可申请，已截止为已截止)。
• 是否可申请(v1.0，注册规则)：把回答拆成句子，以最后一个出现可申请或已截止表述的句子为结论。条件句("如果截止日期已过则不能申请")不是结论。同一句中两种表述都有的，标记为直接判定对象。
• 截止日期：提取2026-11-09、2026.11.09、2026년 11월 9일、11월 9일等所有韩语日期写法。日期前后40个字符内有截止、为止、结束、申请期间、受理期间、申请为、受理为等韩语词之一，或紧前方有期间标记(~、起)的，即为截止语境。与正确答案的申请截止日期相同的日期出现在截止语境中则为正确，只有其他日期则为错误，没有则为无。
• 执行机构：以项目执行机构名称为基准。由基层自治团体执行或直接执行的，把主管部门和公告名开头的市郡区加入基准。去掉空格、括号、财团法人等标记，把常见简称(소진공、중기부、중진공、KOTRA等)视为相同。基准名称出现在回答中则为正确，只把其他机构说成执行或主管机构则为错误。
• 分数：宽松分数为截止日期正确；严格分数为截止日期正确、是否可申请正确、执行机构不为错误三者同时满足。

附录B 注册规则v1.0的结果

按预注册第8节，载入原样应用注册判定规则(v1.0)的结果。截止日期和执行机构的判定两个版本相同，因此宽松分数与正文一致，只有是否可申请和严格分数不同。

在v1.0下，100条已截止公告中43条计为断定可申请、37条断定已截止、20条未知；100条进行中公告中72条断定可申请、9条断定已截止、19条未知。H2的差为43.0%减去9.0%，即+34.0个百分点。在v1.1下，同样的回答在已截止公告中为断定可申请0条、断定已截止35条、未知65条，在进行中公告中为断定可申请23条、断定已截止0条、未知77条。两个版本的宽松分数与严格分数的配对差分别为16.5个百分点(11.3~21.7)和16.0个百分点(10.9~21.1)。在v1.0下被标记为直接判定对象的1条在本表中计为未知，按v1.1规则其第一句属于已截止一侧，仅凭规则即判定为断定已截止。

附录C 相对于预注册的变更