レポート一覧

Define404 Report

Local404: AIは廃業した近所の店をまだ営業中だと言うのか

No. 002発行 26分で読めます文 Define404 · John

本稿は翻訳版です。基準版は韓国語版(バージョン1)です: https://define404.com/report/002-local404-closed-shops/

近所の店が現在も営業しているか、住所と業種は何かをAIに尋ねた場合にどう答えるかを調査した。正解は公共の許認可データとした。営業400店と廃業400店を層化抽出し、5言語で質問を自動送信し、ルールベースの辞書とLLM補助判定で回答を分類して事前登録仮説を検定した。Claude Haiku 5.5とSonnet 5.5の三つの条件(有効回答5,000件)において営業の有無を断定した回答は1件のみであり、廃業した店を営業中と答えた回答はなかった。そのため仮説H1、H3、H4は検定が成立しなかった。Llama 3.1 8Bは確定判定1,641件のうち186件(11.3%)で断定し、正確度は48.4%であった。廃業した店を営業中と答えた比率は、営業中の店を廃業と答えた比率より高かった(H1支持)。

4,999 / 5,000Claude系列の三つの条件で営業の有無を断定せず確認できないと答えた数。廃業した店を営業中と答えた回答は0件
107 / 112住所を述べたClaudeの回答のうち正解の住所と一致した回答。ほぼすべてが営業中の店に対する回答
90 / 186Llama 3.1 8Bが営業の有無を断定した回答のうち正解。廃業した店を営業中と答えた比率は7.3%、営業中の店を廃業と答えた比率は4.4%

調査情報

韓国の一般飲食店800店、5言語、4つの応答条件に対するAI応答調査

  • 著者: Define404 Research
  • 日付: 2026-10-24
  • 事前登録: OSF https://osf.io/5qnxu (2026-10-20 登録)
  • DOI: https://doi.org/10.5281/zenodo.23740040
  • 利益相反: 著者の所属するDefine404は、AI応答モニタリングと店別のAI露出診断サービスを準備している。自社製品は調査対象に含めていない。

主な結果

  • Claude系列の三つの条件は、質問の99.98%(4,999/5,000)で営業の有無を断定せず、確認できないと答えた。廃業した店を営業中と答えた回答は0件である(廃業した店への回答を基準としたウィルソン95%上限: ウェブ検索条件1.51%、記憶条件0.19%)。
  • ウェブ検索を用いる条件も同様であった。ウェブ検索条件1,000件のうち断定は1件であり、その1件は正解であった。
  • 住所を述べたClaudeの回答112件はほぼすべて営業中の店への回答であり、95.5%(107件)が正しかった。
  • Llama 3.1 8Bは営業と断定(127件)が廃業と断定(59件)より多かった。廃業した店を営業中と答えた比率(7.3%)は、営業中の店を廃業と答えた比率(4.4%)より高かった(差2.9ポイント、Holm補正p=0.039)。

1 序論

人々は近所の店が現在も開いているかをAIに尋ねる。地図アプリを開く前に対話型AIに「この食堂はまだやっているか」と尋ねることはすでに珍しくない。廃業した店を営業中と答えれば客は無駄足を踏み、営業中の店を廃業したと答えれば店は客を失う。しかし店主には、AIが自分の店について何と言っているかを確認する方法がほとんどない。

本調査はその問題を測定可能な形に変えた。正解は地方行政の許認可データが定める営業状態とし、同じ店に同じ質問を五つの言語で送り、AI応答条件ごとに回答を比較した。標本設計、質問の収集、判定、統計分析をすべてコードとして作成しており、同じ手順を再実行できる。仮説と分析方法は収集前にOSFに事前登録した。

研究課題は五つの仮説に整理した。H1は、廃業した店を営業中と答える比率が営業中の店を廃業と答える比率より高いかである。H2は韓国語以外の質問の正解率が韓国語より低いか、H3はウェブ検索が誤り率を下げるか、H4は廃業後の時間が長いほど営業中という誤答が減るか、H5は同じ店に対する回答が言語によって異なるかである。

2 調査方法

図1. 調査の進め方 飲食店800店を抽出して5言語で尋ね、四つのAIの回答を営業、廃業、不明に分けて実際の営業状態と照合した手順 1 음식점 800곳을 뽑았어요 공공 인허가 자료에서 영업 중 400곳, 폐업 400곳 2 가게마다 똑같이 물었어요 "지금도 영업해요? 주소와 업종은요?" 한국어, 영어, 일본어, 중국어, 베트남어로 3 AI 네 가지가 답했어요 Claude Haiku(기억만, 웹 검색), Claude Sonnet(웹 검색), Llama 3.1 8B(기억만) 4 답을 세 갈래로 나눴어요 영업 중이래요, 폐업했대요, 모른대요 5 정답과 맞춰 봤어요 답 7,312개를 인허가 자료의 실제 영업 상태와 비교했어요
図1. 調査の進め方

2.1 標本

正解の出所は地方行政許認可の「식품_일반음식점」(食品_一般飲食店)全国ファイルである(file.localdata.go.kr、2026-10-21受信、2,305,461行)。住所がない行、商号が2字未満の行、同じ市郡区に同じ商号が2行以上ある行、廃業なのに廃業日がない行は除いた。

層は営業状態(営業、廃業)、Kakao(カカオ)の場所登録の有無(あり、なし)、地域(広域市、道)を掛け合わせた8個であり、層ごとに100店ずつ、合計800店(営業400、廃業400)を抽出した。層の候補を管理番号で整列し、シード20261021で混ぜて先頭から充填した。予備調査では無作為に選んだ店に対してすべてのシステムが知らないと答え、差を観察できなかった。オンラインでの認知度を代替する変数としてKakaoの登録有無を層に入れた理由である。標本サイズは、H1で10ポイントの差を有意水準5%、検定力80%で検出するのに必要な集団あたり約392店に合わせた。

ウェブ検索条件は、800店のうち100店の層化副標本(営業50、廃業50、8層に比例配分、シード20261024)で収集した。

表1. 標本構成
区分店数構成シード
全体標本(記憶条件)8008層 x 100(営業400、廃業400)20261021
検索副標本(ウェブ検索条件)1008層に比例配分(営業50、廃業50)20261024

2.2 質問

店ごとに営業の有無、住所、業種を併せて尋ねる質問を一つ、韓国語、英語、日本語、中国語簡体字、ベトナム語で作成した。商号と市郡区はすべての言語で韓国語表記をそのまま用いる。業種は判定対象であるため質問に含めなかった。質問の雛形は付録Aにある(collect/question_templates.json v1.1)。

2.3 応答システム

表2. 応答システムと有効回答
コードモデル条件店数有効回答
H-memClaude Haiku 5.5ツールなし8004,000
H-searchClaude Haiku 5.5ウェブ検索100500
S-searchClaude Sonnet 5.5ウェブ検索100500
L-memLlama 3.1 8B Instruct (Ollama q8_0、最大300トークン、シード20261021)ツールなし8002,312 (英語800、日本語800、韓国語712)

Claudeの応答は自動質問手順で収集した。質問ごとに共通の指示文を付し、指示文には「Answer honestly. If you cannot confirm something, say so.」という文が含まれている。記憶条件にはツールを使わないという指示を、ウェブ検索条件には質問ごとにウェブ検索を使うという指示を加えた。質問ごとに個別に答えさせ、応答者は調査目的と正解を知らない。Llamaはローカル環境で質問一つのみをユーザーメッセージとして送り回答を得た。共通の指示文は付していない。

2.4 判定

判定ルール(judge/rules.md v1.0)は収集前に固定した。営業の有無は、営業と断定、廃業と断定、不明(確認不可または結論なし)の三つである。但し書きを付けていても結論が営業であれば営業と断定である。住所は道路名または法定洞が正解と同じであれば正しい、異なれば誤り、述べていなければなしである。業種は8分類(韓食、中華、日本食、洋食・軽洋食、粉食、チキン・ホフ・居酒屋、カフェ・デザート、その他)で正解と比較する。緩い正解は営業の有無が正しかった場合であり、厳格な正解は営業の有無に加えて述べた住所・業種がすべて正しかった場合である。

1次判定は多言語表現辞書を用いるルールコード(analysis/auto_judge.py)が行う。辞書で結論が出ない項目はLLM補助判定に回す。補助判定はルール原文と質問、回答のみを見て回答を一つずつ分類し、正解と応答システムは見ない。正解との照合はコードが行う。Claude系列の三つの条件ではLLM補助判定が492件(H-mem 214、H-search 171、S-search 107)を確定した。L-memは辞書判定のみを適用し、辞書で確定しなかった671件(29.0%)は未確定として残し、すべての検定と正確度の計算から除いた。

2.5 分析

事前登録した分析は次のとおりである。H1は廃業した店のうち営業中と断定した比率と営業中の店のうち廃業と断定した比率の差であり、店単位のクラスター標準誤差を用いる。H2は同じ店における韓国語に対する他言語の正解率の対応のある差である。H3はHaiku検索対Haiku記憶の対応のある差である。H4は廃業した店において営業中と断定したか否かを廃業後日数の対数に回帰するロジスティック混合モデル(店のランダム切片)である。H5は5言語の回答がすべて同じではない店の比率である。信頼区間はウィルソン区間を用いる。H1~H4はHolm法で多重性を補正し、標本40未満のセルとp値が定義されないセルは補正ファミリーから除いた。H5は帰無仮説が不一致比率0であるためp値が定義されず、Holm補正から除いて信頼区間の下限が0を超えるかで判断した(付録C)。事前登録にない分析は探索的分析として表示する。

3 結果

3.1 応答分布: Claude系列の判断保留

表3. システム別の営業状態判定(括弧内はウィルソン95%信頼区間)
システムn営業と断定廃業と断定不明未確定
H-mem4,0000 (0%)0 (0%)4,000 (100%; 99.90~100)0
H-search5000 (0%)0 (0%)500 (100%; 99.24~100)0
S-search5001 (0.2%; 0.04~1.12)0 (0%)499 (99.8%; 98.88~99.96)0
L-mem2,312127 (5.5%; 4.6~6.5)59 (2.6%; 2.0~3.3)1,455 (62.9%; 60.9~64.9)671 (29.0%)
図2. AIに100回尋ねると Claude系列は100個すべてで確認できないと答え、Llamaは100個のうち営業中5個、廃業3個、不明63個、分類不能29個 Claude 계열 세 조건 Llama 3.1 8B 답 5,000개를 100개로 답 2,312개를 100개로 100개 모두 "확인할 수 없어요" 8개는 딱 잘라 말했어요 단정한 답은 5,000개 중 1개 영업 중 5개, 폐업 3개 영업 중이래요 폐업했대요 모른대요 분류 못 함
図2. AIに100回尋ねると(回答数を100マスに縮めて四捨五入した。Claude系列が断定した1件は5,000件中1件であり、一マスより小さい)

Claude系列の三つの条件の有効回答5,000件のうち、営業の有無を断定した回答はS-searchの中国語質問1件のみであった。その回答も営業中の店を営業中と答えた正解であった。廃業した店を尋ねた回答2,500件において営業中との断定は0件であり、営業中の店を尋ねた回答2,500件において廃業との断定も0件である。廃業した店のセルのウィルソン95%上限は、ウェブ検索条件の各250件で1.51%、H-memの2,000件で0.19%である。五つの言語すべてで結果は同じであった。検索を用いる条件でも断定は1,000件中1件であった。

3.2 事前登録仮説H1~H5

Claude系列の三つの条件では断定した回答が事実上存在せず、H1、H3、H4の検定が成立しなかった。比較する比率がすべて0であれば標準誤差が0となり、信頼区間に基づく検定のp値が定義されない。仮説が誤っているという意味ではない。仮説を検定できるだけの変動がこの条件の応答になかったという結果である。

表4. 事前登録仮説の検定結果
仮説システム結果
H1S-search, H-search, H-mem廃業した店の営業中との断定0%、営業中の店の廃業との断定0%。検定不可(0対0)
H1L-mem7.3%(59/803; 95% CI 5.5~9.2)対4.4%(37/838; 3.0~5.8)。差2.9ポイント(0.6~5.2)、両側p=0.013、Holm補正p=0.039。支持
H2S-search, H-search, H-mem正解率0%で韓国語と差なし。検定不可。例外としてS-search中国語で+1ポイント(1件、p=0.317)
H2L-mem英語-15.1ポイント(-19.0~-11.2; Holm p=2.0e-13)、日本語-10.2ポイント(-15.7~-4.7; Holm p=0.0010)。中国語・ベトナム語の応答なし。英語と日本語で支持
H3H-search対H-mem対応のある500組(100店)、両条件とも誤り0件。検定不可
H4S-search, H-search, H-mem営業中との誤答0件(250、250、2,000件中)。検定不可
H4L-mem廃業した店803件のうち営業中との断定59件。対数廃業日数あたりのオッズ比1.04(0.84~1.30)、p=0.70。支持されず
H5S-search5言語の判定が分かれた店1/100(1.0%; ウィルソン0.18~5.45%)。形式上は充足するが一件に依存
H5H-search, H-mem0/100(上限3.70%)、0/800(上限0.48%)。すべての店が5言語で同じ判定
H5L-mem5言語をすべて備えた店がなく検定不可

H5のS-search 1件は中国語の回答のみが営業中で、残る四つの言語は不明であった。営業中と廃業が衝突した店はどのシステムにもない。この一件は営業中と断定した唯一の回答と同じ項目である。

LlamaのH2の結果は不明を正解でないものとして数えた正解率であるため、言語間の差は相当部分が断定比率の差を反映している。確定判定を基準とすると、Llamaは韓国語380件中120件(31.6%)、日本語524件中61件(11.6%)、英語737件中5件(0.7%)で営業の有無を断定した。

3.3 住所と業種

住所と業種は、営業の有無を断定しない回答にも含まれていた。本節は探索的分析である。

表5. 住所と業種の言及率と正確度(括弧内はウィルソン95%信頼区間)
システム住所の言及住所の正確度業種の言及業種の正確度
S-search26/500 (5.2%)25 (96.2%; 81.1~99.3)149/500 (29.8%)124 (83.2%; 76.4~88.4)
H-search34/500 (6.8%)30 (88.2%; 73.4~95.3)141/500 (28.2%)120 (85.1%; 78.3~90.1)
H-mem52/4,000 (1.3%)52 (100%; 93.1~100)738/4,000 (18.5%)561 (76.0%; 72.8~79.0)
L-mem70/2,312 (3.0%)未確定項目のため算出せず285/2,312 (12.3%)未確定項目のため算出せず
図3. Claudeが住所を述べた回答 Claude系列の三つの条件で住所を述べた回答は、営業中の店で105回(正しい101)、廃業した店で7回(正しい6) 101번 맞는 주소 영업 중인 가게: 주소를 말한 답 105번 폐업한 가게: 주소를 말한 답 7번 빨간 칸은 틀린 주소예요 주소를 말한 112번 중 107번이 맞았어요 AI는 아는 가게만 주소를 말했어요
図3. Claudeが住所を述べた回答(三つの条件の合計)

Claude系列の三つの条件で住所を述べた回答112件のうち107件(95.5%)が正解の住所と一致した。住所を述べた回答は大部分が営業中の店への回答である。S-searchは営業中の店250件のうち26件で住所を述べ、廃業した店250件では0件であった。H-searchは営業31件対廃業3件、H-memは営業48件対廃業4件である。廃業した店はオンラインに残る情報が少なく住所を確認しにくく、その分だけ知らないと答える比率が高まるものとみられる。観察されたパターンにすぎず、原因を直接検定した結果ではない。

業種は住所より頻繁に現れた。ウェブ検索条件(28~30%)が記憶条件(18.5%)より頻繁に述べ、正確度は76~85%であった。

3.4 Llamaの結果

Llama 3.1 8BはClaude系列と異なり、営業の有無を断定する回答があった。判定が確定した1,641件のうち186件(11.3%; 9.9~13.0)で断定し、営業と断定127件、廃業と断定59件である。断定した186件のうち90件が正解であり、正確度は48.4%(41.3~55.5)であった。コイン投げと大きく変わらない。

表6. Llamaの言語別営業状態判定
言語n営業と断定廃業と断定不明未確定
英語8005 (0.6%)0 (0%)732 (91.5%)63 (7.9%)
日本語80037 (4.6%)24 (3.0%)463 (57.9%)276 (34.5%)
韓国語71285 (11.9%)35 (4.9%)260 (36.5%)332 (46.6%)

廃業した店に断定した81件のうち59件(72.8%)が営業中という誤答であり、営業中の店に断定した105件のうち37件(35.2%)が廃業という誤答であった。Llamaは営業中と答える側に傾いており、廃業した店ではこの偏りが誤りとなる。この断定条件付きの比較(差37.6ポイント)は探索的分析である。確定した断定の正確度は韓国語47.5%(57/120)、日本語50.8%(31/61)で、言語間の差は小さかった。

図4. Llamaが言い切った回答 廃業した店に断定した81回のうち59回が営業中という誤答、営業中の店に断定した105回のうち37回が廃業という誤答。正しい90回、誤り96回 59번 "영업 중" 틀림 22번 "폐업" 맞음 실제로는 폐업한 가게에 딱 잘라 말한 81번 68번 "영업 중" 맞음 37번 "폐업" 틀림 실제로 영업 중인 가게에 딱 잘라 말한 105번 맞음 90번, 틀림 96번 동전을 던져 고른 것과 비슷해요
図4. Llamaが言い切った回答(確定判定基準)

3.5 判定の一致度

判定の信頼性は、辞書判定とLLM補助判定が同じ回答に同じ結論を下したかで評価した。Claude系列の三つの条件で両方式がともに分類した回答を比較した。

表7. 辞書判定とLLM補助判定の一致
項目n一致率コーエンのカッパ(95% CI)
営業状態1,364100%算出不可(ほぼすべての回答が一つの範疇)
住所1,23995.7%0.35 (0.22~0.48)
業種72273.0%0.46 (0.39~0.52)

営業状態は1,364件すべてが一致した。ただしほぼすべての回答が不明であり範疇が一方に偏っているため、カッパは定義されない。一致率100%は不明判定が安定していることのみを示し、断定判定が妥当であることまでは示さない。住所のカッパは住所を述べた回答が稀であるため低く算出される。業種は一致が73%で最も低かった。業種の正確度(表5)はこの判定の不確実性を考慮して読む必要がある。

4 考察

本調査で最も目立つ結果は誤答ではなく判断保留である。Claude系列は営業の有無を尋ねる質問にほぼ常に確認できないと答え、廃業した店を営業中と答えた場合は5,000件中なかった。店にとっては幸いな点と惜しい点が同時にある。誤った営業案内で客が無駄足を踏む危険は低い。しかし営業中の店もAIにとって「確認できない店」のままである。営業中の店2,500件のうち営業中と答えたのは1件のみである。

住所と業種も同じ方向を指している。住所は大部分が営業中の店でのみ現れ、正確度は高かった。AIは知っている店は正確に述べ、知らない店は知らないと述べる。店がAIの回答に現れるには、AIが確認できる形で店の情報が公開されている必要があるとみるのが自然である。仮説として検定した結果ではなく、観察されたパターンから導いた解釈である。

ウェブ検索も判断保留を変えなかった。ウェブ検索条件でも断定は1,000件中1件であった。検索が営業の有無を直接確認できる出所に届かなかった可能性もあり、根拠が不足すれば断定しないという指示文が作用した可能性もある。本設計では二つの可能性を分けて見ることができない。

Llama 3.1 8Bは対照的である。小型のローカルモデルは断定を下し、正確度は48.4%であった。特に廃業した店に断定した回答の72.8%が営業中という誤答であった。誤りながらも自信をもって述べる側の危険を示している。判断を保留することと誤って断定することは互いに異なる失敗である。今回のデータではClaude系列は前者に、Llamaは後者に近かった。ただし両系列はモデルと指示文がともに異なるため(5節1項)、どこまでがモデルの性質でどこまでが指示文の効果かは判別できない。

図5. 判断を保留するAIと誤って断定するAI Claude系列は廃業した店を営業中とは言わなかったが営業中の店もほとんど教えず、Llamaは廃業した店に断定した回答の大部分が営業中という誤答 Claude 계열 "확인할 수 없어요" 폐업한 가게를 영업 중이라고 한 답: 2,500번 중 0번 손님이 헛걸음할 일은 거의 없어요 영업 중인 가게를 영업 중이라고 한 답: 2,500번 중 1번 문을 연 가게도 AI 답에는 나오지 않아요 Llama 3.1 8B "영업 중이에요" 폐업한 가게에 딱 잘라 말한 81번 중 59번이 "영업 중" 그 말을 믿은 손님은 헛걸음을 해요 파란 점은 가게와 손님에게 좋은 점, 빨간 점은 문제예요
図5. 判断を保留するAIと誤って断定するAI(両系列は指示文も異なるためモデルのみの差とは見なせない、5節1項)

Llamaの中では韓国語質問の断定比率が最も高かった(全回答に対して韓国語120/712、日本語61/800、英語5/800)。韓国の店を扱った韓国語資料が相対的に多いためである可能性がある。ただし断定の正確度は言語別に同程度であり、より多く述べたからといってより正確になることはなかった。

5 限界

  • 1. 応答システムごとに指示文の条件が異なる。Claude系列は確認できなければそう言うようにとの指示を受け、Llamaは質問のみを受けた。系列間の差にはモデルの差と指示文の差がともに含まれている。
  • 2. ウェブ検索条件は100店の層化副標本で収集し、Llamaの応答は英語800件、日本語800件、韓国語712件に限られる。
  • 3. 調査は2026-10-21から24日までの一時点で行い、判定はルールベースの分類とLLM判定で行った。

6 結論

Claude Haiku 5.5とSonnet 5.5は、本調査の指示文条件において韓国の近所の飲食店の営業の有無を事実上断定しなかった。廃業した店を営業中と答えた場合は5,000件中0件であった。この条件における実際の問題は誤答の危険よりも、情報がないために店がAIの回答に現れないことである。ウェブ検索を加えても同じであった。一方、小型の公開モデルLlama 3.1 8Bは断定を下し、断定した回答の半分近くが誤っていた。廃業した店を営業中と答える傾向は事前登録仮説H1を支持した。AIに営業の有無、住所、業種を正確に述べさせるには、AIが確認できる公開情報がまず存在しなければならない。本データが指し示す方向である。

データ公開

  • 公開リポジトリ: github.com/johndefine404/define404-research-public (パス001-local404/)。分析コードと結果を公開する。商号と住所を含む元の標本と回答原文は除き、商号・住所を除いた標本を収録した。
  • 研究リポジトリ(非公開)のリポート確定コミット: b52ee75cd1fb6f35f8aed6381e866a3e3a54887c (以後の整理コミットでは、結果フォルダ名をanalysis/out_dryrunからanalysis/out_finalに変更し、試験結果の案内文を削除し、文末を丁寧体(해요体)に変更した。数値は変更していない)
  • シード: 標本20261021、検索副標本20261024、Llama 20261021
  • 標本ファイル sampling/sample_v2.csv SHA-256: 4aaf1ecd22963e703e3283c9223206e3cde2aa1e9daf6fde24f53fc8abc24871
  • 事前登録 prereg.md SHA-256: 87be279e17ebc0922ca079845ea3959ee04ca1379033f7b2c5e5fd8a21abc02b
  • 判定ルール judge/rules.md SHA-256: a4ddb1efe5bd50c8d74e64a9678773646c9d05da0af73e749bf3f55f79386209
  • 応答原本の指紋(ファイル510個のハッシュのSHA-256): 71bee2b3dc6dd3af61c09f5334b840f12798f40043cea9eec57c99bda10a4ed0
  • 分析結果 analysis/out_final/results.json SHA-256: f9a4dbdcf88ac7aff3e32d13cea971ddbaa224332fbcaa176f995c6a79ea6123
  • 再現: python analysis/run_analysis.py --dryrun --out analysis/out_final (実行オプション名がdryrunであり、結果ファイルのmode列の値もdryrunである。Llamaの収集が計画より少なく、--finalの完全性検査を通過しないためである。再実行すると生成時刻と指紋が変わる)
  • システム・言語・正解の有無別の要約原データ(CSV): 表3、表5、表6の根拠となる探索的要約である(exploratory_summary.csvから実行オプション名の列modeのみを除いた)

個人事業者の商号と住所は公開データから除き、付録Aの例は仮想の名前を用いる。

付録A 質問例

가상의 가게 "하늘식당"(서울 마포구)을 묻는 질문 틀이에요.

言語質問
韓国語마포구에 있는 음식점 '하늘식당', 지금도 영업하나요? 주소와 어떤 종류의 음식점인지도 알려 주세요.
英語Is the restaurant '하늘식당' in 마포구 still open? Please also tell me its address and what kind of restaurant it is.
日本語마포구にある「하늘식당」という飲食店は今も営業していますか?住所と、どんな種類のお店かも教えてください。
中国語位于마포구的餐厅“하늘식당”现在还在营业吗?请同时告诉我它的地址和它是什么类型的餐厅。
ベトナム語Nhà hàng '하늘식당' ở 마포구 hiện còn mở cửa không? Cho tôi biết luôn địa chỉ và đây là loại nhà hàng gì.

付録B 判定ルールの要約

  • 営業の有無: 営業と断定、廃業と断定、不明の三つである。但し書きを付けても結論があれば断定とみなす。営業と廃業がともに現れる場合は最後の結論文に従い、結論がなければ不明である。別の名前や別の地域の店のみを紹介した回答も不明である。
  • 正解: 許認可の営業状態名が営業または正常であれば営業、廃業であれば廃業。
  • 住所: 道路名(通り名まで)または法定洞・邑面が同じであれば正しい、別の場所を対象店の住所として提示すれば誤り、述べないか別の店の住所のみを述べればなし。
  • 業種: 8分類(韓食、中華、日本食、洋食・軽洋食、粉食、チキン・ホフ・居酒屋、カフェ・デザート、その他)で比較する。正解がその他であれば業種判定から除く。
  • 採点: 緩い正解は営業の有無が正しかった場合、厳格な正解はこれに加えて述べた住所・業種がすべて正しかった場合である。
  • 判定の順序: 多言語表現辞書、LLM補助判定(正解は非公開)、コードによる正解との照合。

付録C 事前登録からの変更

項目事前登録実行
ローカルモデルCloudflare Workers AIのLlama 3.1 8B (W-mem)ローカルOllamaのLlama 3.1 8B Instruct (L-mem)
ウェブ検索条件の標本800店全体100店の層化副標本
判定ルールベースの辞書判定辞書判定にLLM補助判定を追加
判定の信頼性評価無作為の200回答を2名が判定した一致度とコーエンのカッパ辞書判定とLLM補助判定の一致度(表7)で代替
H5とHolm補正H1~H5をHolm補正H5はp値が定義されないためHolmファミリーから除外し、信頼区間の下限で判断
Llamaの応答言語5言語英語、日本語、韓国語
応答の指示文システム間で同一の指示文を規定せずClaudeの三つの条件は共通の指示文、Llamaは質問文のみ
応答の再収集失敗した回答と空の回答のみ再試行一部の応答を再収集(応答言語の不一致・無効応答の差し替え)

付録D 辞書判定単独の結果

判定ルールを収集後に補完したため(LLM補助判定の追加)、事前登録8節に従い、元のルールである辞書判定のみを適用した結果も併せて収録する。辞書判定のみを用いると、Claudeの三つの条件で営業の有無を断定した回答はS-search 500件、H-search 500件、H-mem 4,000件のいずれも0件である。辞書で結論が出なかった回答はS-search 15件、H-search 25件、H-mem 0件であった。本文の唯一の営業と断定した1件(S-search中国語)は補助判定で確定した回答である。辞書判定のみでは5言語の判定が分かれた店がどのシステムにもなく、H5は支持されない(5言語の判定がすべて確定した店を基準にS-search 91店、H-search 81店、H-mem 800店で0店)。Llamaは補助判定を用いていないため、本文の結果がそのまま辞書判定の結果である。

レポート一覧へRSSで新しい号を受け取る