Define404 Report
Local404：AI是否会把已停业的街边小店说成仍在营业
本文为译本。基准版本为韩文版(版本1): https://define404.com/report/002-local404-closed-shops/
调查了向AI询问街边小店是否仍在营业、地址与业态是什么时，AI如何作答。标准答案采用公共许可数据。分层抽取营业400家与停业400家，以5种语言自动发送提问，通过基于规则的词典与LLM辅助判定对回答进行分类，并检验了预注册假设。在Claude Haiku 5.5与Sonnet 5.5的三个条件(有效回答5,000条)中，断定是否营业的回答仅有1条，没有将停业店铺说成仍在营业的回答。因此假设H1、H3、H4的检验不成立。Llama 3.1 8B在已判定的1,641条中有186条(11.3%)作出断定，准确率为48.4%。将停业店铺答为营业中的比例高于将营业店铺答为停业的比例(支持H1)。
调查信息
对韩国800家一般餐饮店、5种语言、4个应答条件的AI回答调查
- 作者：Define404 Research
- 日期：2026-10-24
- 预注册：OSF https://osf.io/5qnxu(2026-10-20登记)
- DOI: https://doi.org/10.5281/zenodo.23740040
- 利益关系：作者所属的Define404正在筹备AI回答监测与各店铺AI曝光诊断服务。本公司产品未纳入调查对象。
主要结果
- Claude系列的三个条件在99.98%(4,999/5,000)的提问中未断定是否营业，而是回答无法确认。将停业店铺说成营业中的回答为0条(以停业店铺的回答为基准的Wilson 95%上限：网页搜索条件1.51%，记忆条件0.19%)。
- 使用网页搜索的条件也相同。网页搜索条件的1,000条中断定为1条，且这1条是答对的。
- 说出地址的Claude回答112条几乎全部是对营业中店铺的回答，其中95.5%(107条)正确。
- Llama 3.1 8B的断定营业(127条)多于断定停业(59条)。将停业店铺答为营业中的比例(7.3%)高于将营业店铺答为停业的比例(4.4%)(差异2.9个百分点，Holm校正p=0.039)。
1 引言
人们会向AI询问街边小店现在是否还开着门。在打开地图应用之前，先向对话式AI问一句“这家餐馆还在营业吗？”已经很常见。如果把已停业的店铺答为营业中，顾客会白跑一趟；如果把营业中的店铺答为已停业，店铺会失去顾客。然而店主几乎没有办法确认AI对自己的店铺说了些什么。
本调查将这一问题转化为可度量的形式。标准答案采用地方行政许可数据所确定的营业状态，对同一店铺以五种语言发送相同提问，按AI应答条件比较回答。样本设计、提问采集、判定、统计分析全部以代码实现，可以重新运行同一流程。假设与分析方法在采集前已在OSF预注册。
研究问题整理为五个假设。H1是将停业店铺答为营业中的比例是否高于将营业店铺答为停业的比例。H2是非韩语提问的答对率是否低于韩语，H3是网页搜索是否降低错误率，H4是停业后时间越长、答为营业中的错误是否越少，H5是对同一店铺的回答是否因语言而异。
2 调查方法
2.1 样本
标准答案的来源是地方行政许可“식품_일반음식점”(食品_一般餐饮店)全国文件(file.localdata.go.kr，2026-10-21接收，2,305,461行)。剔除了没有地址、店名不足2个字、同一市郡区内同一店名有2行以上、以及状态为停业但没有停业日期的行。
层由营业状态(营业、停业)、Kakao地点登记与否(有、无)、地区(广域市、道)相乘得到8个，每层抽取100家，共800家(营业400、停业400)。将各层候选按管理编号排序，以种子20261021打乱后从前往后填满。在预调查中，随机选取的店铺所有系统都回答不知道，看不出差异。这就是将Kakao登记与否作为线上知名度的替代变量纳入分层的原因。样本量按在H1中以显著性水平5%、检验力80%检出10个百分点差异所需的每组约392家确定。
网页搜索条件在800家中的100家分层子样本(营业50、停业50，按8个层比例分配，种子20261024)上采集。
| 类别 | 家数 | 构成 | 种子 |
|---|---|---|---|
| 全部样本(记忆条件) | 800 | 8个层 x 100(营业400、停业400) | 20261021 |
| 搜索子样本(网页搜索条件) | 100 | 8个层比例分配(营业50、停业50) | 20261024 |
2.2 提问
为每家店铺编写一条同时询问是否营业、地址、业态的提问，并制作了韩语、英语、日语、简体中文、越南语版本。店名与市郡区在所有语言中均保留韩文写法。业态属于判定对象，因此未写入提问。提问模板见附录A(collect/question_templates.json v1.1)。
2.3 应答系统
| 代码 | 模型 | 条件 | 店铺数 | 有效回答 |
|---|---|---|---|---|
| H-mem | Claude Haiku 5.5 | 无工具 | 800 | 4,000 |
| H-search | Claude Haiku 5.5 | 网页搜索 | 100 | 500 |
| S-search | Claude Sonnet 5.5 | 网页搜索 | 100 | 500 |
| L-mem | Llama 3.1 8B Instruct(Ollama q8_0，最多300个token，种子20261021) | 无工具 | 800 | 2,312(英语800、日语800、韩语712) |
Claude的回答通过自动提问流程采集。每次提问都附加了共同的指令(系统提示)，指令中包含“Answer honestly. If you cannot confirm something, say so.”这句话。记忆条件追加了不要使用工具的指示，网页搜索条件追加了每个提问都要使用网页搜索的指示。每个提问单独作答，应答者不知道调查目的与标准答案。Llama在本地环境中仅将一条提问作为用户消息发送并获取回答，未附加共同指令。
2.4 判定
判定规则(judge/rules.md v1.0)在采集前已固定。是否营业分为断定营业、断定停业、不明(无法确认或没有结论)三类。即使附带限定条件，只要结论是营业就算断定营业。地址方面，道路名或法定洞与标准答案一致为正确，不一致为错误，未提及为无。业态按8个组(韩餐、中餐、日餐、西餐·简餐、小吃、炸鸡·啤酒屋·酒馆、咖啡·甜点、其他)与标准答案比较。宽松正确指是否营业答对的情况，严格正确指是否营业以及所提及的地址、业态全部答对的情况。
第1轮判定由使用多语言表达词典的规则代码(analysis/auto_judge.py)完成。词典无法得出结论的项目转交LLM辅助判定。辅助判定只看规则原文、提问和回答，逐条分类，看不到标准答案与应答系统。与标准答案的对照由代码完成。在Claude系列的三个条件中，LLM辅助判定确定了492条(H-mem 214、H-search 171、S-search 107)。L-mem只应用了词典判定，词典未能确定的671条(29.0%)保留为未判定，并从所有检验与准确率计算中剔除。
2.5 分析
预注册的分析如下。H1是停业店铺中断定营业中的比例与营业店铺中断定停业的比例之差，使用以店铺为单位的聚类标准误。H2是同一店铺上其他语言相对韩语答对率的配对差异。H3是Haiku搜索与Haiku记忆的配对差异。H4是在停业店铺中将是否断定营业中对停业后天数的对数进行回归的逻辑混合模型(店铺随机截距)。H5是5种语言的回答并非全部相同的店铺比例。置信区间使用Wilson区间。H1至H4以Holm方法校正多重性，样本不足40的单元格与p值无定义的单元格从校正族中剔除。H5的原假设是不一致比例为0，p值无定义，因此从Holm校正中剔除，改以置信区间下限是否超过0判断(附录C)。预注册中没有的分析标注为探索性分析。
3 结果
3.1 回答分布：Claude系列的保留判断
| 系统 | n | 断定营业 | 断定停业 | 不明 | 未判定 |
|---|---|---|---|---|---|
| H-mem | 4,000 | 0 (0%) | 0 (0%) | 4,000 (100%; 99.90~100) | 0 |
| H-search | 500 | 0 (0%) | 0 (0%) | 500 (100%; 99.24~100) | 0 |
| S-search | 500 | 1 (0.2%; 0.04~1.12) | 0 (0%) | 499 (99.8%; 98.88~99.96) | 0 |
| L-mem | 2,312 | 127 (5.5%; 4.6~6.5) | 59 (2.6%; 2.0~3.3) | 1,455 (62.9%; 60.9~64.9) | 671 (29.0%) |
Claude系列三个条件的有效回答5,000条中，断定是否营业的回答仅有S-search的中文提问1条。该回答也是将营业中的店铺答为营业中的答对回答。询问停业店铺的2,500条回答中断定营业中为0条，询问营业店铺的2,500条回答中断定停业也为0条。停业店铺单元格的Wilson 95%上限在网页搜索条件各250条中为1.51%，在H-mem的2,000条中为0.19%。五种语言的结果全部相同。在使用搜索的条件下，断定也仅是1,000条中的1条。
3.2 预注册假设H1至H5
在Claude系列的三个条件中，断定的回答实际上不存在，因此H1、H3、H4的检验不成立。要比较的比例全部为0时，标准误为0，基于置信区间的检验p值无定义。这并不意味着假设是错的。这一结果表明，这些条件的回答中没有足以检验假设的变异。
| 假设 | 系统 | 结果 |
|---|---|---|
| H1 | S-search, H-search, H-mem | 停业店铺的断定营业中0%，营业店铺的断定停业0%。无法检验(0对0) |
| H1 | L-mem | 7.3%(59/803；95% CI 5.5~9.2)对4.4%(37/838；3.0~5.8)。差异2.9个百分点(0.6~5.2)，双侧p=0.013，Holm校正p=0.039。支持 |
| H2 | S-search, H-search, H-mem | 答对率为0%，与韩语无差异。无法检验。例外是S-search的中文为+1个百分点(1条，p=0.317) |
| H2 | L-mem | 英语-15.1个百分点(-19.0~-11.2；Holm p=2.0e-13)，日语-10.2个百分点(-15.7~-4.7；Holm p=0.0010)。无中文、越南语回答。在英语与日语中支持 |
| H3 | H-search对H-mem | 配对500对(100家)，两个条件错误均为0条。无法检验 |
| H4 | S-search, H-search, H-mem | 营业中的错误回答0条(分别在250、250、2,000条中)。无法检验 |
| H4 | L-mem | 停业店铺803条中断定营业中59条。每单位对数停业天数的优势比1.04(0.84~1.30)，p=0.70。不支持 |
| H5 | S-search | 5种语言判定不一致的店铺1/100(1.0%；Wilson 0.18~5.45%)。形式上满足，但依赖于一条 |
| H5 | H-search, H-mem | 0/100(上限3.70%)，0/800(上限0.48%)。所有店铺在5种语言中判定相同 |
| H5 | L-mem | 没有店铺具备全部5种语言的回答，无法检验 |
H5中S-search的1条是只有中文回答为营业中，其余四种语言为不明。营业中与停业相互冲突的店铺在任何系统中都不存在。这一条与断定为营业中的唯一回答是同一项目。
Llama的H2结果是将不明计为未答对的答对率，因此语言间差异在相当程度上反映的是断定比例的差异。以已判定为基准，Llama在韩语380条中的120条(31.6%)、日语524条中的61条(11.6%)、英语737条中的5条(0.7%)断定了是否营业。
3.3 地址与业态
地址与业态也出现在未断定是否营业的回答中。本节为探索性分析。
| 系统 | 地址提及 | 地址准确率 | 业态提及 | 业态准确率 |
|---|---|---|---|---|
| S-search | 26/500 (5.2%) | 25 (96.2%; 81.1~99.3) | 149/500 (29.8%) | 124 (83.2%; 76.4~88.4) |
| H-search | 34/500 (6.8%) | 30 (88.2%; 73.4~95.3) | 141/500 (28.2%) | 120 (85.1%; 78.3~90.1) |
| H-mem | 52/4,000 (1.3%) | 52 (100%; 93.1~100) | 738/4,000 (18.5%) | 561 (76.0%; 72.8~79.0) |
| L-mem | 70/2,312 (3.0%) | 因存在未判定项目而未计算 | 285/2,312 (12.3%) | 因存在未判定项目而未计算 |
Claude系列三个条件中说出地址的112条回答里，107条(95.5%)与标准答案地址一致。说出地址的回答大多是对营业中店铺的回答。S-search在营业店铺250条中的26条说出了地址，在停业店铺250条中为0条。H-search为营业31条对停业3条，H-mem为营业48条对停业4条。已停业的店铺留在网上的信息较少，地址难以确认，相应地回答不知道的比例看起来更高。这只是观察到的模式，并非直接检验原因的结果。
业态比地址更常出现。网页搜索条件(28~30%)比记忆条件(18.5%)提及更频繁，准确率为76~85%。
3.4 Llama结果
Llama 3.1 8B与Claude系列不同，存在断定是否营业的回答。在已判定的1,641条中有186条(11.3%；9.9~13.0)作出断定，其中断定营业127条、断定停业59条。断定的186条中90条答对，准确率为48.4%(41.3~55.5)。与抛硬币相差不大。
| 语言 | n | 断定营业 | 断定停业 | 不明 | 未判定 |
|---|---|---|---|---|---|
| 英语 | 800 | 5 (0.6%) | 0 (0%) | 732 (91.5%) | 63 (7.9%) |
| 日语 | 800 | 37 (4.6%) | 24 (3.0%) | 463 (57.9%) | 276 (34.5%) |
| 韩语 | 712 | 85 (11.9%) | 35 (4.9%) | 260 (36.5%) | 332 (46.6%) |
对停业店铺作出断定的81条中有59条(72.8%)是答为营业中的错误回答，对营业店铺作出断定的105条中有37条(35.2%)是答为停业的错误回答。Llama偏向于回答营业中，在已停业的店铺上这种偏向就成了错误。这一以断定为条件的比较(差异37.6个百分点)是探索性分析。已判定断定的准确率为韩语47.5%(57/120)、日语50.8%(31/61)，语言间差异较小。
3.5 判定一致度
判定的信度以词典判定与LLM辅助判定是否对同一回答得出相同结论来评估。比较了Claude系列三个条件中两种方式均已分类的回答。
| 项目 | n | 一致率 | Cohen's kappa(95% CI) |
|---|---|---|---|
| 营业状态 | 1,364 | 100% | 无法计算(几乎所有回答属于同一类别) |
| 地址 | 1,239 | 95.7% | 0.35 (0.22~0.48) |
| 业态 | 722 | 73.0% | 0.46 (0.39~0.52) |
营业状态的1,364条全部一致。不过几乎所有回答都是不明，类别集中于一侧，kappa无定义。一致率100%只表明不明判定是稳定的，并不表明断定判定是有效的。地址的kappa因说出地址的回答稀少而计算偏低。业态的一致率为73%，最低。业态准确率(表5)应考虑这一判定的不确定性来解读。
4 讨论
本调查中最显著的结果不是错误回答，而是保留判断。Claude系列对询问是否营业的提问几乎总是回答无法确认，将已停业店铺说成营业中的情况在5,000条中没有出现。对店铺而言，这既有值得庆幸之处，也有遗憾之处。顾客因错误的营业信息白跑一趟的风险很低。但营业中的店铺在AI那里也仍是“无法确认的店铺”。营业店铺的2,500条中，答为营业中的仅有1条。
地址与业态也指向同一方向。地址大多只出现在营业中的店铺上，且准确率高。AI对知道的店铺说得准确，对不知道的店铺就说不知道。店铺要出现在AI的回答中，店铺信息须以AI可确认的形式公开，这样理解较为自然。这是从观察到的模式得出的解释，而非以假设检验得到的结果。
网页搜索也未能改变保留判断。在网页搜索条件下，断定也仅是1,000条中的1条。可能是搜索未能触及可直接确认是否营业的来源，也可能是依据不足时不要断定的指令(系统提示)起了作用。以本设计无法区分这两种可能。
Llama 3.1 8B则形成对照。小型本地模型作出了断定，准确率为48.4%。尤其是对停业店铺作出断定的回答中，72.8%是答为营业中的错误回答。这显示了错了却说得自信的那一方的风险。推迟判断与错误断定是两种不同的失败。在本次数据中，Claude系列接近前者，Llama接近后者。不过两个系列的模型与指令(系统提示)都不同(第5节第1项)，哪些属于模型的特性、哪些属于指令的效果无法分辨。
在Llama内部，韩语提问的断定比例最高(相对于全部回答，韩语120/712、日语61/800、英语5/800)。这可能是因为涉及韩国店铺的韩语资料相对较多。不过断定的准确率在各语言间相近，说得更多并没有变得更准确。
5 局限
- 1. 各应答系统的指令(系统提示)条件不同。Claude系列收到的指示是无法确认时就如实说明，Llama只收到提问。系列间的差异同时包含模型差异与指令差异。
- 2. 网页搜索条件在100家分层子样本上采集，Llama的回答限于英语800条、日语800条、韩语712条。
- 3. 调查在2026-10-21至24日这一个时点进行，判定采用基于规则的分类与LLM判定。
6 结论
Claude Haiku 5.5与Sonnet 5.5在本调查的指令(系统提示)条件下，实际上没有断定韩国街边餐饮店是否营业。将停业店铺答为营业中的情况在5,000条中为0条。在这一条件下，实际的问题与其说是错误回答的风险，不如说是因缺乏信息而使店铺不会出现在AI的回答中。加上网页搜索也是如此。相反，小型开放模型Llama 3.1 8B作出了断定，断定的回答近半数是错的。将停业店铺答为营业中的倾向支持了预注册假设H1。要让AI准确说出是否营业、地址、业态，首先需要有AI可以确认的公开信息。这是本数据所指向的方向。
数据公开
- 公开仓库：github.com/johndefine404/define404-research-public(路径
001-local404/)。公开分析代码与结果。不含带店名与地址的原始样本和回答原文，收录的是去除店名、地址的样本。 - 研究仓库(非公开)报告确定提交：
b52ee75cd1fb6f35f8aed6381e866a3e3a54887c(之后的整理提交将结果文件夹名从analysis/out_dryrun改为analysis/out_final，删除了试验结果提示语句，并将句尾改为“해요”体。数值未作更改) - 种子：样本20261021，搜索子样本20261024，Llama 20261021
- 样本文件
sampling/sample_v2.csvSHA-256：4aaf1ecd22963e703e3283c9223206e3cde2aa1e9daf6fde24f53fc8abc24871 - 预注册
prereg.mdSHA-256：87be279e17ebc0922ca079845ea3959ee04ca1379033f7b2c5e5fd8a21abc02b - 判定规则
judge/rules.mdSHA-256：a4ddb1efe5bd50c8d74e64a9678773646c9d05da0af73e749bf3f55f79386209 - 回答原文指纹(510个文件哈希的SHA-256)：
71bee2b3dc6dd3af61c09f5334b840f12798f40043cea9eec57c99bda10a4ed0 - 分析结果
analysis/out_final/results.jsonSHA-256：f9a4dbdcf88ac7aff3e32d13cea971ddbaa224332fbcaa176f995c6a79ea6123 - 复现：
python analysis/run_analysis.py --dryrun --out analysis/out_final(运行选项名为dryrun，结果文件的mode列值也是dryrun。这是因为Llama采集少于计划，无法通过--final的完整性检查。重新运行后生成时刻与指纹会改变) - 按系统、语言、是否答对的摘要原始数据(CSV)：作为表3、表5、表6依据的探索性摘要(仅从
exploratory_summary.csv中去掉了运行选项名列mode)
个体经营者的店名与地址已从公开数据中去除，附录A的示例使用虚构名称。
附录A 提问示例
가상의 가게 "하늘식당"(서울 마포구)을 묻는 질문 틀이에요.
| 语言 | 提问 |
|---|---|
| 韩语 | 마포구에 있는 음식점 '하늘식당', 지금도 영업하나요? 주소와 어떤 종류의 음식점인지도 알려 주세요. |
| 英语 | Is the restaurant '하늘식당' in 마포구 still open? Please also tell me its address and what kind of restaurant it is. |
| 日语 | 마포구にある「하늘식당」という飲食店は今も営業していますか？住所と、どんな種類のお店かも教えてください。 |
| 中文 | 位于마포구的餐厅“하늘식당”现在还在营业吗？请同时告诉我它的地址和它是什么类型的餐厅。 |
| 越南语 | Nhà hàng '하늘식당' ở 마포구 hiện còn mở cửa không? Cho tôi biết luôn địa chỉ và đây là loại nhà hàng gì. |
附录B 判定规则摘要
- 是否营业：分为断定营业、断定停业、不明三类。即使附带限定条件，只要有结论就视为断定。营业与停业同时出现时以最后的结论句为准，没有结论则为不明。只介绍了其他名称或其他地区店铺的回答也为不明。
- 标准答案：许可数据的营业状态名为营业或正常则为营业，为停业则为停业。
- 地址：道路名(到路名为止)或法定洞、邑面一致为正确，将其他地点作为目标店铺地址给出为错误，未提及或只说了其他店铺的地址为无。
- 业态：按8个组(韩餐、中餐、日餐、西餐·简餐、小吃、炸鸡·啤酒屋·酒馆、咖啡·甜点、其他)比较。标准答案为其他时，从业态判定中剔除。
- 评分：宽松正确指是否营业答对的情况，严格正确指在此基础上所提及的地址、业态也全部答对的情况。
- 判定顺序：多语言表达词典，LLM辅助判定(不公开标准答案)，代码对照标准答案。
附录C 相对预注册的变更
| 项目 | 预注册 | 实际执行 |
|---|---|---|
| 本地模型 | Cloudflare Workers AI的Llama 3.1 8B(W-mem) | 本地Ollama的Llama 3.1 8B Instruct(L-mem) |
| 网页搜索条件样本 | 全部800家 | 100家分层子样本 |
| 判定 | 基于规则的词典判定 | 在词典判定基础上增加LLM辅助判定 |
| 判定信度评估 | 由2名人员对随机200条回答判定的一致度与Cohen's kappa | 以词典判定与LLM辅助判定的一致度(表7)代替 |
| H5与Holm校正 | 对H1至H5进行Holm校正 | H5因p值无定义而从Holm族中剔除，以置信区间下限判断 |
| Llama回答语言 | 5种语言 | 英语、日语、韩语 |
| 应答指令(系统提示) | 未规定各系统使用相同指令 | Claude三个条件使用共同指令，Llama仅使用提问语句 |
| 回答重新采集 | 仅对失败的回答与空回答重试 | 重新采集部分回答(替换回答语言不一致、无效的回答) |
附录D 仅词典判定的结果
由于判定规则在采集后作了补充(增加LLM辅助判定)，按预注册第8节，同时收录仅应用原规则即词典判定的结果。仅使用词典判定时，Claude三个条件中断定是否营业的回答在S-search 500条、H-search 500条、H-mem 4,000条中均为0条。词典未得出结论的回答为S-search 15条、H-search 25条、H-mem 0条。正文中唯一的断定营业1条(S-search中文)是经辅助判定确定的回答。仅凭词典判定，5种语言判定不一致的店铺在任何系统中都不存在，因此H5不被支持(以5种语言判定全部确定的店铺为基准，S-search 91家、H-search 81家、H-mem 800家中为0家)。Llama未使用辅助判定，因此正文结果即词典判定结果。