向AI询问韩餐菜名的外语写法，与政府标准有多一致

本文为译本。基准版为韩语原文，版本1: https://define404.com/report/004-hansik-menu-translation/

我们调查了店主向AI助手询问韩餐菜名的英语、日语写法时，能否得到与政府公布的标准译写相同的答案。正确答案取自韩食振兴院韩食门户网站的"韩食菜单外语译写法"，共778条。我们按11个菜品类别分层抽取180道菜，以店主制作菜单的情景，向带网页搜索的Claude Sonnet 5.5分别提出英语、日语各180个问题。从每个回答中取出一个菜名，按规则与标准比对。规范化后与标准完全一致的回答(严格一致)在英语中为18.3%，在日语中为18.3%，两者相同。"英语高于日语"的第一假设未获支持。把相近的回答也算进去(宽松一致及以上)后，英语为75.0%，日语为40.0%，差距拉开。把政府标准网站列为来源的回答在360个中只有2个，因此第二假设未作解读。

调查信息

一项向带网页搜索的Claude询问180道韩餐的英语、日语菜名，并与韩食振兴院标准译写进行比对的调查

• 作者: Define404 Research
• 日期: 2026-10-29
• 预注册: 研究仓库提交9f84ace(2026-10-28 23:41 ICT)
• DOI: https://doi.org/10.5281/zenodo.23739014
• 利益关系: 作者所属的Define404正在筹备面向小店的AI检查服务，并在考虑把菜单外语译写检查列为项目之一。自家产品不在调查对象之内。

主要结果

• 与政府标准写法完全相同的回答，英语为180个中33个(18.3%; 95%置信区间13.4~24.6)，日语同样为180个中33个(18.3%; 13.4~24.6)。两种语言的配对差为0.0%p(-8.2~8.2)。
• 把与标准相近的回答也算进去，英语为180个中135个(75.0%; 68.2~80.8)，日语为72个(40.0%; 33.1~47.3)。日语有十之六(60.0%; 52.7~66.9)是与标准不同的名称。
• 把韩食振兴院网站列为来源的回答为360个中2个(0.6%; 0.2~2.0)。英语2个，日语0个。
• 注册规则去掉括号内容，只比较主名称。若把括号内的说明也看进去，含有标准名称的回答在英语中为37.2%(30.5~44.5)，在日语中为28.3%(22.3~35.3)(看到结果后追加的探索性分析)。

1 引言

随着外国顾客增多，街边小餐馆也开始制作英语、日语菜单。菜品没几道，找翻译公司不划算，店主便向AI助手问"这道菜英语怎么写"。政府为统一菜单外语译写，以农林畜产食品部、韩食振兴院的名义公布了标准译写。如果AI给出的名称与该标准不同，店主就会在不知情的情况下做出偏离标准的菜单。

这项调查把这种差异变成了可以测量的形式。我们以韩食振兴院公布的标准译写为正确答案，把同一道菜分别用英语和日语提问，再按规则把回答与标准比对。抽样、提问、判定、分析全部写成代码，同一流程可以重新运行。假设与分析方案在数据收集前已提交到研究仓库完成注册。

这项调查只测量回答是否与政府标准译写一致。与标准不同的回答并不等于错误翻译。不过，标准是政府为统一菜单译写而公布的依据，店主若把AI的回答原样放上菜单，菜单上就会出现偏离标准的写法。

本文的贡献有三点。第一，这是首次把询问韩餐菜名的AI回答与政府官方标准进行比对的测量(在第2节确认的范围内)。第二，英语与日语以同一道菜配对比较。第三，公开了原始数据收集、固定种子抽样、规则判定和分析的代码，可以用其他AI或在其他时点重复同一调查。

2 相关研究

只列出打开原文核实过的研究(核实日期2026-10-28)。

Yao等(2024)构建了包含文化特定项的6个语言对平行语料库，报告大语言模型比神经机器翻译更善于在翻译中运用文化知识[1]。未单独处理韩餐菜单。Zhang等(2024)构建了汉英菜单数据集，提出文化特定项的自动识别与翻译策略[2]。只涉及中文菜单。Yuan等(2026)提出了基于小说的文化感知翻译数据集与评估框架，摘要中未说明是否包含韩语[3]。Zeng等(2026)用4,870道菜单与烹饪图像题目，以选择题形式评估了10种语言、12个多模态模型[4]。未把翻译答案与政府标准比对。Lee(2025)用590对电视剧台词比较了ChatGPT与Papago的韩英翻译，未涉及菜名[5]。

这五篇都没有把韩餐菜名与政府官方标准比对，测量带网页搜索的AI助手给出相同写法的比例。这项调查填补了这一空白。

3 调查方法

3.1 正确答案来源与样本

正确答案来源是韩食振兴院韩食门户网站的"韩食菜单外语译写法"表(hansik.or.kr，2026-10-28收集，778条)。列为编号、菜名、罗马字译写、英语、日语、中文简体与繁体，来源标注为农林畜产食品部、韩食振兴院、文化体育观光部、国立国语院、韩国观光公社、农村振兴厅。没有空格和重复菜名，因此没有剔除任何行。收集文件的SHA-256见第8节。

分层依据是按韩语菜名末尾词确定的11个菜品类别。每层按总体比例分配，并设最少5道，共抽取180道。层内候选按编号排序，用种子20261028打乱后从前往后填满。样本量按第一假设的要求确定: 在显著性水平5%(单侧)、检验力80%下检出两种语言15%p的配对差需要175道，于是定为180道。配对差的方差按两种语言回答不相关、比例为0.5的最坏值估计。

3.2 提问

每道菜、每种语言各一题，英语180题，日语180题。问题以在韩国经营韩餐馆的店主制作外语菜单的情景写成，要求第一行以"NAME: ..."的格式写出一个菜名，再用一两句话说明。两种语言的菜名都按韩语写法原样放入。问题中没有出现标准、韩食振兴院、指南这些词。问题模板见附录A(collect/question_templates.json v1.0)。

每种语言用种子20261028打乱，按每批10题分成18批。一批只含一种语言，菜品互不相同。

3.3 回答系统

回答者以子代理方式调用，未被告知调查目的和正确答案。指令开头说明本任务与之前的对话无关，并要求用提问的语言作答。每次并行运行3批，收集在2026-10-28夜间至29日之间完成。360题全部收到回答，没有一个回答未做搜索。有一题在回答中注明第二次搜索被限额拦住，但第一次搜索已执行，故视为有效。没有另做试收集，用前2批确认格式后，这些回答也作为正式数据使用。

3.4 判定

判定规则(judge/rules.md v1.0)在收集前固定，只使用规则自动判定代码(judge/auto_judge.py)。从回答的第一个"NAME:"行中取出一个菜名候选。候选若像"A / B"那样有两个以上，取第一个，并去掉括号内容。没有提取失败的回答，人工判定的数量为0。

英语经过小写化、Unicode规范化(NFKC)、去括号内容、去标点、去冠词与and、with、统一罗马字变体(泡菜kimchi/gimchi，年糕tteok/ddeok/dduk等)后，与标准英语写法相同即为严格一致。词集合的Jaccard系数达到0.5以上，或完整包含标准的罗马字译写，即为宽松一致。其余为不一致。日语经过NFKC、去空格、中点、长音符号、括号内容，并忽略促音有无后，与标准日语写法相同即为严格一致；字符2-gram的Dice系数达到0.5以上或完整包含标准，即为宽松一致。没有回答或只说不知道的为未给出。回答的来源列表中含有hansik.or.kr的，记为"引用标准来源"。

3.5 分析

分析代码为analysis/run_analysis.py，只使用标准库。所有比例都附Wilson 95%置信区间。每道菜每种语言只有一个回答，因此菜品层面的比例就是聚类层面的比例。第一假设H1对每道菜计算(英语严格一致 - 日语严格一致)，给出配对差的均值、标准误、置信区间和单侧检验。第二假设H2是英语题目中引用标准来源组与未引用组的严格一致率之差。两个假设用Holm方法校正。样本不足40的单元格不作解读。预注册之外的分析标为探索性分析，看到结果后追加的分析也如实注明。

预注册是把prereg.md提交到研究仓库(提交9f84ace，2026-10-28 23:41 ICT)。注册后，prereg.md和判定规则均未修改。

4 结果

4.1 与政府标准完全相同的回答(H1)

规范化后菜名与政府标准完全相同的比例，英语为18.3%，日语为18.3%，两者相同。180道菜的配对差均值为0.0%p(95%置信区间-8.2~8.2)，单侧p=0.500，Holm校正p=1.000。"英语严格一致率高于日语"的H1未获支持。两种语言在所有题目中都给出了菜名。

4.2 把相近的回答也算进去(宽松一致)

严格一致加上宽松一致的"宽松及以上"比例，英语为75.0%(68.2~80.8)，日语为40.0%(33.1~47.3)。英语回答多数与标准有一半以上的词重合，或包含标准的罗马字译写(宽松一致56.7%)。日语回答中与标准不同的名称占60.0%(52.7~66.9)，是最大的一格。像表3的鸡蛋羹(계란찜)那样，标准是日语译名(茶碗蒸し)，回答却用片假名写韩语发音(ケランチム)的情况就属于这一类。两种语言宽松及以上比例的差异属于探索性分析，不是预注册假设。

4.3 引用政府标准网站的回答(H2)

360个回答中，来源列表含有韩食振兴院网站(hansik.or.kr)的回答为2个(0.6%; 0.2~2.0)。英语180个中2个(1.1%; 0.3~4.0)，日语180个中0个(0.0%; 0.0~2.1)。这2个是冻明太鱼煎饼(동태전)和分盛汤饭(따로국밥)的英语回答，都是宽松一致。引用组只有2题，因此H2未作解读。未引用的178题严格一致率为18.5%(13.5~24.9)。虽然每题都做了网页搜索，回答却几乎没有触及政府标准网站。

4.4 探索性分析

各菜品类别的英语严格一致率见表6。样本达到40的只有烤、炒、炸(40道)一格，其严格一致率为25.0%(14.2~40.2)。其余各格不足40，不作解读。

英语45个不一致回答中，缺少标准的核心食材词、换成其他食材词的"食材不一致"有2个(4.4%; 1.2~14.8)。英语的不一致大多不在食材，而在表达方式不同。多个名称并列和提取失败均为0。

下面是看到结果后追加的探索性分析。注册规则去掉括号内容，只比较主名称。因此像"ケランチム(韓国式卵蒸し)"这样在括号内加说明的回答，只按括号外的名称判定。若另外统计整行菜名(含括号)中含有标准名称的回答，英语为180个中67个(37.2%; 30.5~44.5)，日语为180个中51个(28.3%; 22.3~35.3)(analysis/explore_contains.py)。

5 讨论

这项调查的要点有两个。第一，得到与政府标准完全相同菜名的概率，英语和日语都约为五分之一(18.3%)，不因语言而异。第二，把相近的回答也算上，英语(75.0%)与日语(40.0%)明显分开。英语回答多为与标准有词重合的描述型名称(宽松一致56.7%)。日语回答中有像表3的鸡蛋羹那样把韩语发音转成片假名的名称，这类回答与标准日语译名重合的字符很少。同一个AI、同一道菜、同一个情景，答案与标准的接近程度却因语言而不同。

从店家的角度看是这样的。AI给出的英语菜名多数与标准意思相通，但写法完全相同的很少。日语写法相同的很少，就连以意思相通的形式写出的也不到一半。与标准不同的菜名并不等于错误翻译，但想让菜单译写符合政府标准的店主，就不能把AI的回答原样照抄，而要直接核对标准。

网页搜索没有触及政府标准网站这一点引人注意。每题都做了搜索，把韩食振兴院网站列为来源的回答却只有360个中的2个。多个回答写道"没有找到官方标准英文名"(例如牛五花炒豆芽(우삼겹숙주볶음)的英语回答，"I found no official standard English name for this dish")。标准即使公开，只要没排进搜索结果前列，AI就会在不知道标准存在的情况下自己起名。这类回答的数量没有统计，也没有对原因做检验。

把括号里的说明也看进去，含有标准名称的回答在英语中增至37.2%，在日语中增至28.3%。也就是说，有相应数量的回答主名称按自己的方式写，再在括号里补上标准名称。即便如此，英语十之六、日语十之七连括号里也没有标准名称。这项分析是看到结果后追加的，不属于假设检验。

6 局限

1. 回答系统只有Claude Sonnet 5.5网页搜索条件一种。不能推广到其他AI助手或无搜索条件。
2. 问题模板只有一个。"NAME:"格式要求和店主情景设定可能影响回答，换一种问法结果可能不同。
3. 规则判定有局限。因为去掉括号内容只比较主名称，把标准名称写在括号里的回答会被判为不一致或宽松一致(第4.4节探索)。另外，意思相同但用词不同也算不一致。表3的分盛汤饭(タロクッパ对タログッパ)因一个字符之差被判为不一致。宽松一致的阈值(Jaccard、Dice 0.5)在收集前确定，但属于任意取值。
4. 标准译写只是官方依据之一，不是唯一正确答案。与标准不同的回答的翻译质量，本调查未作测量。
5. 菜品类别按菜名末尾词规则划分，可能与官方分类不同，各类别中只有一格样本达到40。
6. 回答代理在Claude Code环境(含用户设置、记忆)中运行，一个代理连续回答10题，可能存在上下文效应。
7. 调查在2026-10-28至29日之间的一个时点完成。模型和搜索结果变化，结果也可能变化。

7 伦理与利益关系

• 未处理个人信息。问题和回答中没有人名、店名、地址。
• 正确答案来源的著作权归韩食振兴院(韩食门户网站著作权政策，2026-10-28确认: 著作权归韩食振兴院，营利用途须事先协商，须注明出处)。因此不再分发原始表和180道样本的标准译写，而是通过收集代码和文件哈希实现复现。正文只注明出处引用了5个示例。
• 作者所属的Define404正在筹备面向小店的AI检查服务，并在考虑把菜单外语译写检查列为项目之一。自家产品不在调查对象之内，本调查没有外部资金。
• 回答收集在作者的Claude订阅范围内完成，没有额外费用。

8 复现方法

• 公开仓库: https://github.com/johndefine404/define404-research-public (路径002-menu-translation/)。公开原始数据收集代码、固定种子抽样代码、问题模板、批次、规则判定代码、分析代码、结果文件以及我们的判定(仅菜品编号和判定)。不收录原始表、标准译写字符串和回答原文。
• 预注册: 研究仓库提交9f84ace0f6d74576686023187776c5c752f7c5ad (2026-10-28 23:41 ICT)。prereg.md SHA-256: 4cd0480d1af8b2b66bb10cfc4332a53ecd5806cf9dc3256d209c816a6c912596 (注册后未改动)
• 判定规则judge/rules.md SHA-256: 76370cd882e392dafe6b093f3d11406acadbcdddb3c91ffde8559d87c5ae7908
• 原始表sampling/raw/hansik_menu_800_20261028.csv SHA-256: 620f0fc8be6918a7a5482e66f86086bf7991505bb679e046d28fa837bf4cc26f (用收集代码sampling/fetch_source.py重新获取后比对)
• 样本sampling/sample_v1.csv SHA-256: ec8992250598de301cf4acf5872476fcc67912c31a4be47084a303d70517868f，种子20261028
• 回答原文指纹(36个批次文件哈希的SHA-256): b13052316b77ed6865a0cd299816b9eb8d2867187918623dea066321a25faae9
• 分析结果analysis/out/results.json SHA-256: b8b256647b25b729f4f51b42d7d0aff1e8a30167be15925040266355ff8fccab
• 复现顺序: python sampling/fetch_source.py (收集原始数据，比对哈希) → python sampling/draw_sample.py → python collect/build_batches.py → 收集回答 → python judge/auto_judge.py → python analysis/run_analysis.py → python analysis/explore_contains.py → python analysis/make_figures.py
• 公开摘要数据(CSV): 只含各指标的比例、置信区间和样本数。不含标准译写原文。
• DOI: 发布后在Zenodo登记并补记。

店里马上能做的事

1. 外语菜名不要把AI的回答原样放上菜单，请到韩食振兴院韩食门户网站的"韩食菜单外语译写法"中直接查找核对。本次调查中，AI回答与标准完全相同的情况，英语和日语都只有五分之一。
2. 日语菜单要特别核对。日语回答十之六是与标准不同的名称，还有标准是日语译名、回答却用片假名写韩语发音的情况。
3. AI回答中如果有括号附加的名称，也请看一看。有的回答把标准名称写在了括号里。不过即使看括号，英语十之六、日语十之七也没有标准名称。
4. 让AI"按韩食振兴院标准译写告知"这种问法，本次调查没有试验。它的效果尚未测量。

参考文献

1. Yao B., Jiang M., Bobinac T., Yang D., Hu J. Benchmarking Machine Translation with Cultural Awareness. arXiv 2305.14328, v3 2024-10-19. https://arxiv.org/abs/2305.14328
2. Zhang Z., He C., Iyer V., Birch A. Cultural Adaptation of Menus: A Fine-Grained Approach. arXiv 2408.13534, 2024-08-24 (WMT 2024). https://arxiv.org/abs/2408.13534
3. Yuan等. Culture-Aware Machine Translation in Large Language Models: Benchmarking and Investigation. arXiv 2604.24361, 2026-04-27 (ACL 2026). https://arxiv.org/abs/2604.24361
4. Zeng等. CulturalMenuBench: Probing the Knowledge-Application Gap in Multimodal Culinary Reasoning. arXiv 2609.03526, 2026-09-03. https://arxiv.org/abs/2609.03526
5. Lee J.-H. A Comparative Study of ChatGPT and Papago Korean-to-English Translations of Dialogue from the Adaptation of Pachinko. International Journal of Contents 21(3), 2025, 138-151. https://www.accesson.kr/ijcon/v.21/3/138/57464
6. 韩食振兴院. 韩食菜单外语译写法(韩食菜单外语译写法指南800选). 韩食门户网站，2026-10-28收集. https://www.hansik.or.kr/board/dn/list/017?menuSn=12

附录A 问题模板

放入虚构菜名"하늘비빔밥"的示例。实际题目在菜名位置原样放入样本菜品的韩语菜名。

附录B 判定规则摘要

• 单位: 一题为1道菜 x 1种语言。判定对象是从回答中取出的一个菜名候选，说明句不作判定。
• 候选提取: 第一个"NAME:"行的文字，没有则取较短的第一行，两者都没有则为提取失败(本次调查0例)。有两个以上时取第一个，并去掉括号内容。
• 英语规范化: 小写、NFKC、去括号内容、去标点、连字符、斜杠，去冠词与and、&、with，统一罗马字变体。
• 日语规范化: NFKC、去空格、中点、长音符号、括号内容，忽略促音有无。
• 严格一致: 规范化后的候选与规范化后的标准相同。宽松一致: 英语为词集合Jaccard达到0.5以上或包含标准罗马字译写，日语为字符2-gram Dice达到0.5以上或包含标准。不一致: 两者皆非。未给出: 没有回答。
• 引用标准来源: 回答的来源列表中含有hansik.or.kr。