同一家店、5种语言回答的一致性: AI给出的店铺信息是否因提问语言而异

本文为译本。基准版本为韩文版(版本1): https://define404.com/report/003-local404-language-consistency/

我们考察了向同一个AI用五种语言询问同一家店时,得到的店铺信息是否同样多。直接使用了第2期Local404收集的Claude回答(Haiku 5.5记忆条件800家店,Haiku 5.5与Sonnet 5.5网页搜索两个条件100家店)及其判定标签。在记忆条件下,5种语言回答齐全的612家店中,韩语提问说出业态的比例为38.2%,其余4种语言的平均为20.6%,差距为17.6个百分点(95%置信区间15.1~20.2),H1得到支持。在网页搜索的两个条件(70家店)中,差距为3.9个百分点和3.2个百分点,置信区间均包含0。说出业态时答对的比例在各语言之间为71.6~79.1%,大致相当。

调查信息

Local404数据笔记。将Claude对韩国800家普通餐饮店的回答在5种语言之间重新作了比较

• 作者: 金河元 (Define404 Research)
• 日期: 2026-10-28
• 类型: 数据笔记。用新的问题重新分析了第2期Local404收集的回答。没有新的提问,也没有新的判定。
• 预注册: 研究仓库提交7169864(2026-10-28 23:39 ICT)。在运行分析之前,已提交了记载假设与分析方法的prereg.md。
• DOI: https://doi.org/10.5281/zenodo.23739008
• 利益关系: 作者所属的Define404正在筹备AI回答监测与逐店AI曝光诊断服务。本公司产品未纳入调查对象。

核心结果

• 在记忆条件的612家店中,用韩语提问时说出业态的比例为38.2%,其余4种语言的平均为20.6%。差距17.6个百分点(15.1~20.2),Holm校正p < 0.001,预注册假设H1得到支持。
• 分语言看,越南语29.2%,中文24.2%,日语18.0%,英语10.9%。韩语与英语之间分歧最多(612家店中有187家,30.6%)。
• 在网页搜索条件的70家店中,差距较小,为3.9个百分点(-0.9~8.8)和3.2个百分点(-5.1~11.5)。只有70家店,检测不到小的差距。
• 说出业态的回答中答对的比例为韩语77.4%、英语71.6%、日语76.4%、中文79.1%、越南语73.2%。说得更多并不意味着答对得更多。

1 引言

外国顾客用自己的语言问AI"这家是什么样的餐馆",能否得到与用韩语提问相同的回答。第2期Local404用5种语言询问了800家餐饮店的营业状态、地址和业态,并与公共许可数据进行了核对。Claude系列几乎不对营业状态下断言,因此语言之间的判定一致率(第2期H5)贴近底部;业态出现在18~30%的回答中,但只按系统汇总报告。同一家店内部是否因语言而出现分歧,当时没有考察。

本笔记填补这一空白。没有重新提问,而是直接使用第2期的回答与判定标签,但先把问题和分析方法记录到仓库,然后再分析。问题有三个。韩语提问是否比其他语言更常说出业态(H1,网页搜索条件为H2)。语言之间的不一致是否在Kakao地图已登记的店铺中更多(H3)。在哪些语言对之间出现分歧,分歧时哪一方是对的(探索性分析)。

2 相关研究

关于多语言语言模型对同一事实在不同语言中记忆不同的报告有多篇。Jiang等(2020)在23种语言中报告,数据越多的语言事实回忆率越高;Kassner等(2021)在53种语言中报告,事实回忆存在语言偏向。Qi等(2023)提出了把跨语言一致性与准确率分开度量的指标,Chua等(2024)报告即便是最新的大模型,深层知识也难以跨越语言。这些研究用填空或选择题测量百科式事实。在实际使用条件下,对特定地区小型商户的自由回答进行跨语言比较的报告,在我们核查的范围内未能找到。

3 调查方法

3.1 数据

没有抽取新样本。输入为第2期的800家店样本(营业400家、停业400家)、网页搜索子样本100家店,以及第2期公开的判定结果文件(judgments.csv,7,312行)一个。未使用回答原文。问题是同时询问营业状态、地址和业态的一句话,店名和市郡区在所有语言中均保持韩文写法(第2期附录A)。

Llama没有5种语言,故从验证性分析中剔除,仅作为探索考察了其营业状态判定在3种语言之间的一致性。未定标签在Claude的三个条件下,业态和地址均为0条。

3.2 测量与判定

判定标签直接采用第2期的词典判定与LLM辅助判定结果,没有增加新的判定者。业态提及的编码为: 业态标签为正确或错误时记1,无则记0。因真实业态为"其他"而被第2期排除在业态判定之外的回答(记忆条件940条)作缺失处理。店铺层面的比较只使用5种语言均有取值的店铺(记忆条件612家,搜索条件各70家)。提及不一致的店铺,是指5种语言中只有部分语言说出业态的店铺。

3.3 分析

与预注册(提交7169864)相同。H1为记忆条件下每家店的韩语提及(0/1)减去其余4种语言提及均值所得配对差的平均值,用店铺聚类标准误求95%置信区间。H2a(Sonnet搜索)与H2b(Haiku搜索)使用同一统计量。H3在记忆条件下,将提及不一致的店铺比例在Kakao已登记店铺与未登记店铺之间作为独立两组进行比较。4个双侧p值作为一个家族进行Holm校正,校正后p < 0.05且差值符号与假设方向一致时判定为支持。样本不足40的单元格不作解读,预注册之外的分析标注为探索性。可检测的最小差距事先记为: 记忆条件800家店约4~7个百分点,搜索条件100家店约11~20个百分点(显著性水平5%双侧,检验力80%)。

4 结果

4.1 预注册假设

H1得到支持。对同样的612家店,用韩语提问时说出业态的比例为38.2%,其余4种语言的平均为20.6%。配对差17.6个百分点的置信区间(15.1~20.2)远超事先记录的可检测差距(4~7个百分点)。分语言的配对差见表3。

H2a与H2b未得到支持。在开启网页搜索的两个条件下,差距为3.9个百分点和3.2个百分点,置信区间包含0。不过70家店可检测的差距约为11~20个百分点,因此不应读作"没有差距",而应读作"看不到小于这个幅度的差距"。两个搜索条件的提及率本身都高于记忆条件(店铺集合不同,并非配对比较)。

H3方向相反。提及不一致的店铺比例在Kakao已登记店铺为39.0%(310家),未登记店铺为46.0%(302家),已登记店铺反而低7.0个百分点(-14.8~0.8)。这与预注册的前提不同,该前提认为未登记店铺在所有语言中都会沉默,因而更容易一致。

4.2 探索: 哪些语言对之间出现分歧

在记忆条件的612家店中,5种语言里只有部分说出业态的店铺为260家(42.5%; Wilson 95%置信区间38.6~46.4)。营业中的店铺(282家)为51.4%(45.6~57.2),已停业的店铺(330家)为34.8%(29.9~40.1)。在搜索条件下,Haiku为70家中的27家(38.6%; 28.0~50.3),Sonnet为70家中的26家(37.1%; 26.8~48.9)。

在包含韩语的语言对中,几乎总是只有韩语一方说出业态。韩语与英语出现分歧的187家店中,有177家是只有韩语说出业态的店铺。

4.3 探索: 说出来时是否正确

答对比例在各语言之间为71.6~79.1%,置信区间相互重叠。在两种以上语言说出业态的210家店中,一种语言正确而另一种语言错误的店铺只有4家(1.9%; 0.7~4.8)。统计哪种语言是正确一方的语言对层面汇总,每种语言仅2~6例,两个搜索条件下各语言说出业态的回答为26~32条,因此不作解读。

4.4 探索: 地址与Llama

无论用哪种语言提问,地址几乎都不会出现。在记忆条件的800家店中,说出地址的比例为韩语1.2%,其余4种语言平均1.3%,差距为-0.1个百分点(-0.4~0.3);只有部分语言说出地址的店铺为7家(0.9%; 0.4~1.8)。在搜索条件下,100家店中Haiku为11家(11.0%; 6.3~18.6),Sonnet为8家(8.0%; 4.1~15.0)。说出地址的回答每种语言不足40条,因此不解读准确率。Llama 3.1 8B在韩语、英语、日语营业状态判定均已确定的230家店中,有97家(42.2%; 36.0~48.6)的判定在语言之间不同,而营业中与已停业正面冲突的店铺为0家。

5 讨论

在记忆条件下,Claude Haiku对同一家店用韩语提问时最常说出业态,用英语提问时最少说出。越南语仅次于韩语这一点,仅凭数据越多的语言回忆率越高的既有报告(Jiang等2020)难以解释。

说出的频率因语言而异,但答对的比例相近。在两种以上语言说出业态的店铺中,判定出现分歧的只有1.9%。语言改变了"说不说",几乎没有改变"对不对"。Qi等(2023)主张应把一致性与准确率分开考察,其理由在这份数据中也有所体现。开启网页搜索后,语言差距缩小,提及率上升。这可能是因为搜索不分语言到达了相同的来源,但由于样本只有70家店,仍存在小差距的可能性尚未排除。

在记忆条件下说出业态的回答中,有一部分可能是从店名推测出的业态。如果店名中含有"炸鸡""生鱼片店"之类的词,AI即使不了解这家店也能说出业态,而这种推测在韩语提问中可能更容易发生。这一可能性未用本次数据加以验证。

店家可以马上做的事

• 用外国顾客使用的语言直接向AI询问自己的店。用韩语提问时说出的业态,换成英语提问就没说出来的店铺,612家中有177家。
• 如果韩语回答是错的,其他语言的回答很可能也是错的。在两种以上语言说出业态的210家店中,判定出现分歧的只有4家。
• 开启网页搜索的AI因语言而产生的差距较小(以70家店为准)。结果取决于描述店铺的AI处于哪种条件。

6 局限

• 1. 判定来自第2期的词典判定与LLM辅助判定。业态判定两种方式的一致率为73%(kappa 0.46,第2期表7),因此是否提及与是否正确都包含判定误差。
• 2. 搜索的两个条件只有70家店,检验力低。未得到支持不等于没有差距。
• 3. 韩语提问说得更多的原因,是模型各语言知识的差异,是问句的差异(店名、市郡区在所有语言中均为韩文写法),还是从店名推测出业态,无法区分。第2期的收集环境与指令的影响也无法分离。
• 4. 收集时点为2026-10-21至24日的单一时点。

7 伦理与利益关系

个体经营者的店名与地址已从公开数据中删除,本笔记未使用回答原文。作者所属的Define404正在筹备AI回答监测与逐店AI曝光诊断服务。本公司产品未纳入调查对象。没有外部资助。

8 复现方法

• 输入: 第2期公开仓库的判定结果 001-local404/analysis/out_final/judgments.csv (SHA-256 37220e4ee92e815a968f91d1b4c80f4b3e84aa0d95e3415fc269bb3fab01bf26)。https://github.com/johndefine404/define404-research-public
• 统计代码: 第2期的001-local404/analysis/stats_lib.py (SHA-256 206d5e4191f0c436305866daa90ca328b92afde972cb908aefac0f0101ae94fb),未作修改直接使用
• 分析代码: 003-local404-consistency/analysis/run_analysis.py。运行方式为python analysis/run_analysis.py。假输入测试为analysis/tests/test_fake_input.py
• 结果: analysis/out/ 中的h1.csv、h2.csv、h3.csv、holm.csv、explore_*.csv、data_inventory.csv、results.json。稿件中的数字仅从这些文件转录
• 图: analysis/make_figures.py 从结果文件读取数字,生成report/figures/*.svg
• 预注册: 研究仓库提交7169864742847ee54118b42f23ef2285f705e97d (2026-10-28T23:39:04+07:00)。在运行分析之前提交了prereg.md
• 依赖: numpy、pandas、scipy (analysis/requirements.txt)
• 假设检验汇总(CSV): 表2与表3所依据的各项比较的比例、差距、置信区间和p值。不含可识别店铺的信息

参考文献

• Chua, L. 等 (2024). Crosslingual Capabilities and Knowledge Barriers in Multilingual Large Language Models. arXiv:2406.16135. https://arxiv.org/abs/2406.16135
• Jiang, Z., Anastasopoulos, A., Araki, J., Ding, H., Neubig, G. (2020). X-FACTR: Multilingual Factual Knowledge Retrieval from Pretrained Language Models. arXiv:2010.06189. https://arxiv.org/abs/2010.06189
• Kassner, N., Dufter, P., Schütze, H. (2021). Multilingual LAMA: Investigating Knowledge in Multilingual Pretrained Language Models. arXiv:2102.00894. https://arxiv.org/abs/2102.00894
• Qi, J., Fernández, R., Bisazza, A. (2023). Cross-Lingual Consistency of Factual Knowledge in Multilingual Language Models. arXiv:2310.10378. https://arxiv.org/abs/2310.10378
• Define404 Research (2026). Local404: AI是否仍说已停业的社区店铺在营业(韩文). https://define404.com/report/002-local404-closed-shops/