同じ店、5言語の回答の一貫性: AIが示す店舗情報は質問の言語によって変わるのか

本稿は翻訳版です。基準版は韓国語版(バージョン1)です: https://define404.com/report/003-local404-language-consistency/

同じ店を同じAIに5つの言語で尋ねたとき、店舗情報が同じ程度に得られるかを調べた。第2号Local404で収集したClaudeの回答(Haiku 5.5の記憶条件800軒、Haiku 5.5とSonnet 5.5のウェブ検索2条件100軒)と判定ラベルをそのまま用いた。記憶条件で5言語の回答がすべてそろった612軒のうち、韓国語の質問が業種を述べた割合は38.2%、残り4言語の平均は20.6%で、差は17.6ポイント(95%信頼区間15.1~20.2)だった(H1支持)。ウェブ検索の2条件(70軒)では差が3.9ポイント、3.2ポイントで、信頼区間は0を含んだ。業種を述べた場合に正しかった割合は言語別に71.6~79.1%で、ほぼ同程度だった。

調査情報

Local404データノート。韓国の一般飲食店800軒に関するClaudeの回答を、5言語の間で再比較した

• 著者: 金河元 (Define404 Research)
• 日付: 2026-10-28
• 種別: データノート。第2号Local404で収集した回答を新しい問いで再分析した。新たな質問や新たな判定は行っていない。
• 事前登録: 研究リポジトリのコミット7169864(2026-10-28 23:39 ICT)。分析を実行する前に、仮説と分析方法を記したprereg.mdをコミットした。
• DOI: https://doi.org/10.5281/zenodo.23739008
• 利益相反: 著者が所属するDefine404は、AI回答モニタリングと店舗別AI露出診断のサービスを準備している。自社製品は調査対象に含めていない。

主な結果

• 記憶条件の612軒では、韓国語で尋ねると業種を38.2%述べ、残り4言語の平均は20.6%だった。差17.6ポイント(15.1~20.2)、Holm補正p < 0.001、事前登録仮説H1を支持。
• 言語別ではベトナム語29.2%、中国語24.2%、日本語18.0%、英語10.9%だった。韓国語と英語の間で最も多く食い違った(612軒中187軒、30.6%)。
• ウェブ検索条件の70軒では、差は3.9ポイント(-0.9~8.8)、3.2ポイント(-5.1~11.5)と小さかった。70軒では小さな差は検出できない。
• 業種を述べた回答が正しかった割合は、韓国語77.4%、英語71.6%、日本語76.4%、中国語79.1%、ベトナム語73.2%だった。より頻繁に述べるからといって、より頻繁に正しいわけではなかった。

1 序論

外国人客がAIに自分の言語で「この店はどんな飲食店ですか」と尋ねたとき、韓国語で尋ねた場合と同じ答えが返ってくるだろうか。第2号Local404は、飲食店800軒の営業状況、住所、業種を5言語で尋ね、公的な許認可データと照合した。Claude系列は営業状況をほとんど断定しなかったため、言語間の判定一致(第2号H5)は下限に張り付いており、業種は回答の18~30%に現れたものの、システム別の合計としてのみ報告された。同じ店の中で言語ごとに答えが食い違うかどうかは調べていなかった。

本ノートはその空白を埋める。新たに質問はせず、第2号の回答と判定ラベルをそのまま用いるが、問いと分析方法を先にリポジトリへ記録してから分析した。問いは3つである。韓国語の質問は他の言語より業種を頻繁に述べるか(H1、ウェブ検索条件はH2)。言語間の不一致はカカオの地図に登録された店で多いか(H3)。どの言語ペアで食い違い、食い違ったときどちらが正しいか(探索)。

2 関連研究

多言語の言語モデルが同じ事実を言語ごとに異なって記憶しているという報告は複数ある。Jiangら(2020)は23言語において、データの多い言語ほど事実の想起率が高いと報告し、Kassnerら(2021)は53言語において事実の想起に言語バイアスがあると報告した。Qiら(2023)は言語間の一貫性を正確さと切り離して測る指標を提案し、Chuaら(2024)は最新の大規模モデルでも深い知識は言語間をうまく越えられないと報告した。これらの研究は百科事典的な事実を穴埋めや多肢選択で測っている。特定地域の小規模事業者に関する自由記述の回答を、実際の利用条件で言語間比較した報告は、確認した範囲では見つからなかった。

3 調査方法

3.1 データ

新たな標本は抽出していない。第2号の標本800軒(営業400、廃業400)とウェブ検索の副標本100軒、そして第2号が公開した判定結果ファイル(judgments.csv、7,312行)1つを入力として用いた。回答の原文は用いていない。質問は営業状況、住所、業種をまとめて尋ねる1文で、店名と市郡区はすべての言語で韓国語表記のままである(第2号付録A)。

Llamaは5言語がそろわないため確証分析から除外し、営業状況判定の3言語間の一貫性のみを探索として見た。未確定ラベルはClaudeの3条件で業種・住所ともに0件だった。

3.2 測定と判定

判定ラベルは第2号の辞書判定とLLM補助判定の結果をそのまま用い、新たな判定者は加えていない。業種の言及は、業種ラベルが正解または不正解なら1、なしなら0とした。正解の業態が「その他」であるために第2号が業種判定から除外した回答(記憶条件940件)は欠測として扱った。店舗単位の比較は5言語の値がすべてそろった店舗のみを用いた(記憶条件612軒、検索条件各70軒)。言及不一致の店舗とは、5言語のうち一部だけが業種を述べた店舗である。

3.3 分析

事前登録(コミット7169864)のとおりである。H1は記憶条件において店舗ごとに韓国語の言及(0/1)から残り4言語の言及の平均を引いた対差の平均で、店舗クラスタ標準誤差により95%信頼区間を求めた。H2a(Sonnet検索)とH2b(Haiku検索)は同じ統計量である。H3は記憶条件において言及不一致の店舗の割合を、カカオ登録店舗と未登録店舗の独立2群で比較した。両側p値4つを1つのファミリーとしてHolm補正し、補正p < 0.05かつ差の符号が仮説の方向と一致するときに支持と判定した。標本40未満のセルは解釈せず、事前登録にない分析は探索として表示する。検出可能な最小差は、記憶条件800軒で約4~7ポイント、検索条件100軒で約11~20ポイントと事前に記した(有意水準5%両側、検出力80%)。

4 結果

4.1 事前登録仮説

H1は支持された。同じ612軒について韓国語で尋ねると業種を38.2%述べ、残り4言語の平均は20.6%だった。対差17.6ポイントの信頼区間(15.1~20.2)は、事前に記した検出可能な差(4~7ポイント)を大きく上回る。言語別の対差は表3のとおりである。

H2aとH2bは支持されなかった。ウェブ検索を有効にした2条件では差が3.9ポイントと3.2ポイントで、信頼区間は0を含んだ。ただし70軒で検出可能な差は約11~20ポイントであるため、「差がない」ではなく「この大きさ未満の差は見えない」と読むべきである。2つの検索条件とも、言及率そのものは記憶条件より高かった(店舗の集合が異なるため対比較ではない)。

H3は逆方向だった。言及不一致の店舗の割合は、カカオ登録店舗39.0%(310軒)、未登録店舗46.0%(302軒)で、登録店舗のほうがむしろ7.0ポイント低かった(-14.8~0.8)。未登録店舗はすべての言語で沈黙するため一致しやすいだろうという事前登録の前提とは異なった。

4.2 探索: どの言語ペアで食い違うか

記憶条件の612軒のうち、5言語の一部だけが業種を述べた店舗は260軒(42.5%; Wilson 95%信頼区間38.6~46.4)だった。営業中の店舗(282軒)では51.4%(45.6~57.2)、廃業した店舗(330軒)では34.8%(29.9~40.1)だった。検索条件では、Haikuが70軒中27軒(38.6%; 28.0~50.3)、Sonnetが70軒中26軒(37.1%; 26.8~48.9)だった。

韓国語を含むペアでは、ほぼ常に韓国語側だけが述べていた。韓国語と英語が食い違った187軒のうち177軒は、韓国語だけが業種を述べた店舗だった。

4.3 探索: 述べたとき正しかったか

正しかった割合は言語別に71.6~79.1%で、信頼区間は互いに重なる。2言語以上が業種を述べた店舗210軒のうち、ある言語は正しく別の言語は誤っていた店舗は4軒(1.9%; 0.7~4.8)のみだった。どの言語が正しい側になるかを数えたペア単位の集計は言語別に2~6件、検索2条件の言語別の言及回答は26~32件であるため、解釈しない。

4.4 探索: 住所とLlama

住所はどの言語で尋ねてもほとんど出てこなかった。記憶条件800軒で住所を述べた割合は韓国語1.2%、残り4言語の平均1.3%で、差は-0.1ポイント(-0.4~0.3)であり、一部の言語だけが住所を述べた店舗は7軒(0.9%; 0.4~1.8)だった。検索条件では100軒中、Haikuが11軒(11.0%; 6.3~18.6)、Sonnetが8軒(8.0%; 4.1~15.0)だった。住所を述べた回答は言語別に40件未満のため、正確さは解釈しない。Llama 3.1 8Bは、韓国語・英語・日本語の営業状況判定がすべて確定した230軒のうち97軒(42.2%; 36.0~48.6)で判定が言語間で異なり、営業中と廃業が正面から衝突した店舗は0軒だった。

5 考察

記憶条件のClaude Haikuは、同じ店を韓国語で尋ねたときに業種を最も頻繁に述べ、英語で尋ねたときに最もまれにしか述べなかった。ベトナム語が韓国語に次いで高かった点は、データの多い言語ほど想起率が高いという既存の報告(Jiangら2020)だけでは説明しにくい。

述べる頻度は言語ごとに異なったが、正しい割合は同程度だった。2言語以上が述べた店舗で判定が食い違ったのは1.9%にすぎない。言語は「述べるかどうか」を変え、「正しいかどうか」はほとんど変えなかった。Qiら(2023)が一貫性と正確さを分けて見るべきだとした理由が、このデータにも現れている。ウェブ検索を有効にすると言語差は縮まり、言及率は上がった。検索が言語と無関係に同じ出典に到達したためかもしれないが、70軒の標本であるため小さな差が残っている可能性は開かれている。

記憶条件で業種を述べた回答の一部は、店名から業種を推測したものである可能性がある。店名に「チキン」「刺身店」のような語が含まれていれば、AIはその店を知らなくても業種を述べることができ、韓国語の質問ではその推測がより起こりやすいかもしれない。この可能性は今回のデータでは確認していない。

店ですぐにできること

• 外国人客が使う言語でAIに自分の店を直接尋ねてみるとよい。韓国語で尋ねると述べていた業種を、英語で尋ねると述べなかった店は612軒中177軒だった。
• 韓国語の答えが間違っていれば、他の言語の答えも間違っている可能性が高い。2言語以上が業種を述べた店舗210軒のうち、判定が食い違ったのは4軒だった。
• ウェブ検索を有効にしたAIは言語による差が小さかった(70軒基準)。どの条件のAIが店を説明するかによって結果は変わる。

6 限界

• 1. 判定は第2号の辞書判定とLLM補助判定である。業種判定の2方式の一致率が73%(カッパ0.46、第2号表7)であるため、言及の有無と正誤の両方に判定誤差が含まれる。
• 2. 検索の2条件は70軒であり、検出力が低い。不支持は差がないことを意味しない。
• 3. 韓国語の質問がより多く述べた原因が、モデルの言語別知識の差なのか、質問文の差(店名・市郡区がすべての言語で韓国語表記)なのか、店名から業種を推測したためなのかは区別できない。第2号の収集環境と指示文の影響も分離できない。
• 4. 収集時点は2026-10-21から24日までの一時点である。

7 倫理と利益相反

個人事業者の店名と住所は公開データから除き、本ノートは回答の原文を用いていない。著者が所属するDefine404は、AI回答モニタリングと店舗別AI露出診断のサービスを準備している。自社製品は調査対象に含めていない。外部からの助成金はない。

8 再現方法

• 入力: 第2号公開リポジトリの判定結果 001-local404/analysis/out_final/judgments.csv (SHA-256 37220e4ee92e815a968f91d1b4c80f4b3e84aa0d95e3415fc269bb3fab01bf26)。https://github.com/johndefine404/define404-research-public
• 統計コード: 第2号の001-local404/analysis/stats_lib.py (SHA-256 206d5e4191f0c436305866daa90ca328b92afde972cb908aefac0f0101ae94fb)、修正なしで使用
• 分析コード: 003-local404-consistency/analysis/run_analysis.py。実行はpython analysis/run_analysis.py。偽入力テストはanalysis/tests/test_fake_input.py
• 結果: analysis/out/ のh1.csv、h2.csv、h3.csv、holm.csv、explore_*.csv、data_inventory.csv、results.json。原稿の数値はこれらのファイルからのみ転記した
• 図: analysis/make_figures.py が結果ファイルから数値を読み、report/figures/*.svg を生成する
• 事前登録: 研究リポジトリのコミット7169864742847ee54118b42f23ef2285f705e97d (2026-10-28T23:39:04+07:00)。分析実行前にprereg.mdをコミットした
• 依存関係: numpy、pandas、scipy (analysis/requirements.txt)
• 仮説検定の要約(CSV): 表2と表3の根拠となる比較別の割合、差、信頼区間、p値である。店舗を識別できる情報は含まない

参考文献

• Chua, L. 他 (2024). Crosslingual Capabilities and Knowledge Barriers in Multilingual Large Language Models. arXiv:2406.16135. https://arxiv.org/abs/2406.16135
• Jiang, Z., Anastasopoulos, A., Araki, J., Ding, H., Neubig, G. (2020). X-FACTR: Multilingual Factual Knowledge Retrieval from Pretrained Language Models. arXiv:2010.06189. https://arxiv.org/abs/2010.06189
• Kassner, N., Dufter, P., Schütze, H. (2021). Multilingual LAMA: Investigating Knowledge in Multilingual Pretrained Language Models. arXiv:2102.00894. https://arxiv.org/abs/2102.00894
• Qi, J., Fernández, R., Bisazza, A. (2023). Cross-Lingual Consistency of Factual Knowledge in Multilingual Language Models. arXiv:2310.10378. https://arxiv.org/abs/2310.10378
• Define404 Research (2026). Local404: AIは廃業した街の店をまだ営業中だと言うのか(韓国語). https://define404.com/report/002-local404-closed-shops/