리포트 목록

Define404 Report

AI에게 한식 메뉴의 외국어 이름을 물으면 정부 표준과 얼마나 같을까

No. 004발행 24분 읽기글 Define404 · John

가게 사장님이 AI 비서에게 한식 메뉴의 영어·일본어 이름을 물으면, 정부가 공개한 표준 표기와 같은 답을 받는지 조사했어요. 정답은 한식진흥원 한식포털의 "한식메뉴 외국어 표기법" 778건으로 삼았어요. 음식 갈래 11개로 층을 나눠 메뉴 180개를 뽑고, 사장님이 메뉴판을 만드는 상황으로 영어·일본어 각 180문항을 웹 검색 조건의 Claude Sonnet 5.5에 물었어요. 답에서 메뉴명 하나를 뽑아 표준과 규칙으로 대조했어요. 정규화 뒤 표준과 똑같은 답(엄격 일치)은 영어 18.3%, 일본어 18.3%로 같았어요. 영어가 일본어보다 높다는 1차 가설은 지지되지 않았어요. 비슷한 답까지 넓히면(느슨 일치 이상) 영어 75.0%, 일본어 40.0%로 벌어졌어요. 정부 표준 사이트를 출처로 든 답은 360개 중 2개뿐이라 2차 가설은 해석하지 않았어요.

33 / 180정부 표준과 똑같이 적은 영어 메뉴명. 18.3%(95% 신뢰구간 13.4~24.6). 일본어도 33개로 같았어요
135 대 72표준과 비슷한 답까지 넓혔을 때 영어 75.0%(68.2~80.8) 대 일본어 40.0%(33.1~47.3)
2 / 360한식진흥원 사이트를 출처로 든 답. 0.6%(0.2~2.0). 문항마다 웹 검색을 했는데도 정부 표준 사이트에는 거의 닿지 않았어요

조사 정보

한식 메뉴 180개의 영어·일본어 메뉴명을 웹 검색 조건의 Claude에 묻고 한식진흥원 표준 표기와 맞춰 본 조사

  • 저자: Define404 Research
  • 날짜: 2026-10-29
  • 사전 등록: 연구 저장소 커밋 9f84ace(2026-10-28 23:41 ICT)
  • DOI: https://doi.org/10.5281/zenodo.23739014
  • 이해관계: 저자 소속 Define404는 가게용 AI 점검 서비스를 준비하고 있고, 메뉴판 외국어 표기 점검을 항목으로 검토하고 있어요. 자사 제품은 조사 대상이 아니에요.

핵심 결과

  • 정부 표준과 똑같이 적은 답은 영어 180개 중 33개(18.3%; 95% 신뢰구간 13.4~24.6), 일본어도 180개 중 33개(18.3%; 13.4~24.6)였어요. 두 언어의 짝 차이는 0.0%p(-8.2~8.2)예요.
  • 표준과 비슷한 답까지 넓히면 영어는 180개 중 135개(75.0%; 68.2~80.8), 일본어는 72개(40.0%; 33.1~47.3)예요. 일본어는 열에 여섯(60.0%; 52.7~66.9)이 표준과 다른 이름이었어요.
  • 한식진흥원 사이트를 출처로 든 답은 360개 중 2개(0.6%; 0.2~2.0)예요. 영어 2개, 일본어 0개예요.
  • 등록 규칙은 괄호 안을 지우고 본 이름만 비교해요. 괄호 속 설명까지 보면 표준 이름이 들어 있는 답은 영어 37.2%(30.5~44.5), 일본어 28.3%(22.3~35.3)예요(결과를 본 뒤 추가한 탐색 분석).

1 서론

외국 손님이 늘면서 동네 식당도 영어·일본어 메뉴판을 만들어요. 번역 업체를 쓰기엔 메뉴가 몇 개 안 돼서 사장님은 AI 비서에게 "이 메뉴는 영어로 뭐라고 써요?"라고 물어요. 정부는 메뉴판 외국어 표기를 통일하려고 농림축산식품부·한식진흥원 이름으로 표준 표기를 공개해 두었어요. AI가 그 표준과 다른 이름을 알려 주면 사장님은 그 사실을 모른 채 표준과 어긋난 메뉴판을 만들게 돼요.

이 조사는 그 차이를 잴 수 있는 형태로 바꿨어요. 정답은 한식진흥원이 공개한 표준 표기로 두고, 같은 메뉴를 영어와 일본어로 물어 답을 표준과 규칙으로 대조했어요. 표본 추출, 질문, 판정, 분석을 전부 코드로 만들어 같은 절차를 다시 돌릴 수 있어요. 가설과 분석은 수집 전에 연구 저장소에 커밋해 등록했어요.

이 조사는 답이 정부 표준 표기와 같은지만 재요. 표준과 다른 답이 곧 틀린 번역은 아니에요. 다만 표준은 메뉴판 표기를 통일하려고 정부가 공개한 기준이라 사장님이 AI 답을 그대로 올리면 메뉴판에 표준과 어긋난 표기가 실려요.

기여는 세 가지예요. 첫째, 한식 메뉴명을 물은 AI 답을 정부 공식 표준과 대조한 첫 측정이에요(2절에서 확인한 범위 안에서). 둘째, 영어와 일본어를 같은 메뉴로 짝지어 비교했어요. 셋째, 원천 수집, 시드 고정 추출, 규칙 판정, 분석 코드를 공개해 다른 AI나 다른 시점으로 같은 조사를 반복할 수 있게 했어요.

2 관련 연구

원문을 열어 확인한 연구만 적어요(확인일 2026-10-28).

Yao 외(2024)는 문화 특정 항목이 든 병렬 말뭉치를 6개 언어쌍으로 만들고, 대형 언어 모델이 신경망 기계번역보다 문화 지식을 번역에 잘 쓴다고 보고했어요[1]. 한식 메뉴를 따로 다루지는 않았어요. Zhang 외(2024)는 중국어·영어 메뉴 데이터셋을 만들어 문화 특정 항목의 자동 식별과 번역 전략을 제안했어요[2]. 중국어 메뉴만 다뤘어요. Yuan 외(2026)는 소설 기반의 문화 인식 번역 데이터셋과 평가 틀을 제안했고, 한국어 포함 여부는 초록에 없어요[3]. Zeng 외(2026)는 메뉴·조리 이미지 4,870문항으로 10개 언어, 12개 멀티모달 모델을 객관식으로 평가했어요[4]. 번역 정답을 정부 표준과 대조하지는 않았어요. Lee(2025)는 드라마 대사 590쌍으로 ChatGPT와 파파고의 한영 번역을 비교했고 음식명은 다루지 않았어요[5].

다섯 편 어디에도 한식 메뉴명을 정부 공식 표준과 대조해 웹 검색 조건의 AI 비서가 얼마나 같은 표기를 내는지 잰 결과는 없어요. 이 조사가 그 빈자리를 채워요.

3 조사 방법

그림 1. 이렇게 조사했어요 한식 메뉴 180개를 뽑아 영어와 일본어로 묻고, 웹 검색을 쓰는 Claude의 답 360개를 정부 표준 표기와 맞춰 똑같음, 비슷함, 다름으로 나눈 순서 1 한식 메뉴 180개를 뽑았어요 정부 표준 표기가 있는 778개 가운데 음식 갈래별로 골고루 2 사장님처럼 물었어요 "외국어 메뉴판을 만드는데 이 메뉴는 뭐라고 써요?" 영어와 일본어로 하나씩 3 웹 검색을 쓰는 AI가 답했어요 Claude Sonnet이 검색한 뒤 메뉴명 하나를 답했어요. 답 360개 4 정부 표준과 맞춰 봤어요 한식진흥원 표준 표기와 글자를 맞춰 똑같음, 비슷함, 다름으로 나눴어요 5 출처도 봤어요 답이 정부 표준 사이트를 출처로 들었는지 세어 봤어요
그림 1. 이렇게 조사했어요

3.1 정답 원천과 표본

정답 원천은 한식진흥원 한식포털의 "한식메뉴 외국어 표기법" 표예요(hansik.or.kr, 2026-10-28 수집, 778건). 열은 번호, 요리명, 로마자 표기, 영어, 일본어, 중국어 간체·번체이고, 출처 표기는 농림축산식품부, 한식진흥원, 문화체육관광부, 국립국어원, 한국관광공사, 농촌진흥청이에요. 빈 칸과 중복 요리명은 없어서 뺀 행이 없어요. 수집 파일의 SHA-256은 8절에 있어요.

층은 한국어 요리명의 끝말로 정한 음식 갈래 11개예요. 층마다 모집단 비율대로 배분하되 최소 5개를 두어 모두 180개를 뽑았어요. 층 안 후보를 번호순으로 정렬하고 시드 20261028로 섞어 앞에서부터 채웠어요. 표본 크기는 1차 가설에서 두 언어의 짝 차이 15%p를 유의수준 5%(단측), 검정력 80%로 잡아내는 데 필요한 175개에 맞춰 180개로 정했어요. 짝 차이 분산은 두 언어 답이 무상관이고 비율이 0.5인 최악값으로 잡았어요.

표 1. 표본 구성 (음식 갈래는 요리명 끝말 규칙으로 정한 것이라 공식 분류와 다를 수 있어요)
음식 갈래모집단표본
구이·볶음·튀김17440
무침·김치·반찬13330
국·탕10624
밥·죽9221
찜·조림·수육7417
면5111
기타4410
찌개·전골399
떡·한과·음료388
정식·상차림75
장·양념205
합계778180

3.2 질문

메뉴마다 언어마다 문항 하나씩, 영어 180문항과 일본어 180문항이에요. 질문은 한국에서 한식당을 하는 사장님이 외국어 메뉴판을 만드는 상황으로 적었고, 첫 줄에 "NAME: ..." 형식으로 메뉴명 하나를 쓴 뒤 한두 문장으로 설명하라고 했어요. 요리명은 두 언어 모두 한국어 표기 그대로 넣었어요. 질문에 표준, 한식진흥원, 길라잡이라는 말은 넣지 않았어요. 질문 틀은 부록 A에 있어요(collect/question_templates.json v1.0).

언어마다 시드 20261028로 섞어 10문항씩 18개 배치를 만들었어요. 한 배치는 한 언어, 서로 다른 메뉴예요.

3.3 응답 시스템

표 2. 응답 시스템
모델조건문항유효 답
Claude Sonnet 5.5웹 검색, 문항마다 검색 필수360 (영어 180, 일본어 180)360

응답자는 하위 에이전트로 불렀고 조사 목적과 정답은 알려 주지 않았어요. 지시문 첫머리에 이전 대화와 무관하다는 것과 질문 언어로 답하라는 것을 넣었어요. 배치 3개씩 병렬로 돌렸고 수집은 2026-10-28 밤부터 29일 사이에 했어요. 360문항 모두 답을 받았고, 검색을 한 번도 하지 않은 답은 없었어요. 한 문항은 두 번째 검색이 한도에 막혔다고 답에 적었지만 첫 검색이 실행돼 유효로 두었어요. 시범 수집은 따로 하지 않고 첫 2배치로 형식을 확인한 뒤 그 답도 본 자료로 썼어요.

3.4 판정

판정 규칙(judge/rules.md v1.0)은 수집 전에 고정했고, 규칙 자동 판정 코드(judge/auto_judge.py)만 썼어요. 답의 첫 "NAME:" 줄에서 메뉴명 후보 하나를 뽑아요. 후보가 "A / B"처럼 둘 이상이면 첫 번째를 쓰고 괄호 안은 떼요. 추출에 실패한 답은 없어서 허브가 직접 판정한 건수는 0이에요.

영어는 소문자, 유니코드 정규화(NFKC), 괄호 안 제거, 문장 부호 제거, 관사와 and·with 제거, 로마자 표기 변형 통일(김치 kimchi/gimchi, 떡 tteok/ddeok/dduk 등)을 거친 뒤 표준 영어 표기와 같으면 엄격 일치예요. 낱말 집합의 자카드 계수가 0.5 이상이거나 표준의 로마자 표기를 통째로 담고 있으면 느슨 일치예요. 그 밖은 불일치예요. 일본어는 NFKC, 공백·중점·장음 기호·괄호 안 제거, 촉음 유무 무시를 거친 뒤 표준 일본어 표기와 같으면 엄격 일치, 글자 2-gram 다이스 계수 0.5 이상이거나 표준을 통째로 담으면 느슨 일치예요. 답이 없거나 모른다고만 하면 미제시예요. 답의 출처 목록에 hansik.or.kr이 있으면 "표준 출처 참조"예요.

표 3. 판정 예시 (표본 180개 가운데 5개, 표준 표기는 한식진흥원 한식포털 인용)
메뉴언어표준 표기AI 답의 메뉴명판정
어간장영어Fish Soy SauceFish Soy Sauce (Eo-ganjang)엄격 일치
비빔밥일본어ビビンバビビンバ엄격 일치
새우튀김영어Deep-fried ShrimpCrispy Fried Shrimp느슨 일치
계란찜일본어茶碗蒸しケランチム(韓国式卵蒸し)불일치
따로국밥일본어タロクッパタログッパ(別盛りクッパ)불일치

3.5 분석

분석 코드는 analysis/run_analysis.py이고 표준 라이브러리만 써요. 모든 비율에 윌슨 95% 신뢰구간을 붙여요. 한 메뉴에 한 언어당 답이 하나라 메뉴 단위 비율이 곧 군집 단위예요. 1차 가설 H1은 메뉴마다 (영어 엄격 일치 - 일본어 엄격 일치)를 구한 짝 차이의 평균과 표준오차, 신뢰구간, 단측 검정이에요. 2차 가설 H2는 영어 문항에서 표준 출처를 참조한 집단과 참조하지 않은 집단의 엄격 일치율 차이예요. 두 가설은 Holm 방법으로 보정했어요. 표본 40 미만 칸은 해석하지 않아요. 사전 등록에 없는 분석은 탐색 분석으로 표시하고, 결과를 본 뒤 추가한 분석은 그렇게 적어요.

사전 등록은 prereg.md를 연구 저장소에 커밋한 것이에요(커밋 9f84ace, 2026-10-28 23:41 ICT). 등록 뒤 prereg.md와 판정 규칙은 고치지 않았어요.

4 결과

4.1 정부 표준과 똑같은 답 (H1)

표 4. 언어별 판정 분포 (괄호는 윌슨 95% 신뢰구간, n은 각 180)
판정영어일본어
엄격 일치33 (18.3%; 13.4~24.6)33 (18.3%; 13.4~24.6)
느슨 일치102 (56.7%; 49.4~63.7)39 (21.7%; 16.3~28.2)
불일치45 (25.0%; 19.2~31.8)108 (60.0%; 52.7~66.9)
미제시0 (0.0%; 0.0~2.1)0 (0.0%; 0.0~2.1)
느슨 이상 (엄격+느슨)135 (75.0%; 68.2~80.8)72 (40.0%; 33.1~47.3)
그림 2. 메뉴 100개를 물으면 영어는 100개 중 똑같음 18, 비슷함 57, 다름 25. 일본어는 똑같음 18, 비슷함 22, 다름 60 영어 똑같아요 18 비슷해요 57 달라요 25 일본어 똑같아요 18 비슷해요 22 달라요 60 정부 표준과 똑같이 적은 답은 영어도 일본어도 다섯에 하나예요
그림 2. 메뉴 100개를 물으면 (답 수를 100칸으로 줄여 반올림했어요)

정부 표준과 정규화 뒤 똑같은 메뉴명을 답한 비율은 영어 18.3%, 일본어 18.3%로 같았어요. 메뉴 180개의 짝 차이 평균은 0.0%p(95% 신뢰구간 -8.2~8.2), 단측 p=0.500, Holm 보정 p=1.000이에요. 영어 엄격 일치율이 일본어보다 높다는 H1은 지지되지 않았어요. 두 언어 모두 모든 문항에 메뉴명을 제시했어요.

표 5. 사전 등록 가설 검정 결과
가설결과
H1 영어 > 일본어 (엄격 일치, 짝)18.3% 대 18.3%. 짝 차이 0.0%p(-8.2~8.2), 단측 p=0.500, Holm p=1.000. 지지되지 않음
H2 표준 출처 참조 > 미참조 (영어 엄격 일치)참조 2문항(0/2), 미참조 178문항(33/178, 18.5%; 13.5~24.9). 참조 칸이 40 미만이라 해석 안 함

4.2 비슷한 답까지 넓히면 (느슨 일치)

그림 3. 비슷한 답까지 쳐 주면 똑같이 적은 답은 영어 18.3%, 일본어 18.3%로 같은데, 비슷하게라도 적은 답은 영어 75.0%, 일본어 40.0% 똑같이 적은 답 영어 18.3% 일본어 18.3% 비슷하게라도 적은 답 영어 75.0% 일본어 40.0% 똑같아요 비슷해요 비슷한 답까지 쳐 주면 영어는 크게 늘고 일본어는 덜 늘어요
그림 3. 비슷한 답까지 쳐 주면 영어는 크게 늘고 일본어는 덜 늘어요

엄격 일치에 느슨 일치를 더한 "느슨 이상" 비율은 영어 75.0%(68.2~80.8), 일본어 40.0%(33.1~47.3)예요. 영어 답은 표준과 낱말이 절반 이상 겹치거나 표준 로마자 표기를 담은 경우가 많았어요(느슨 일치 56.7%). 일본어 답은 표준과 다른 이름이 60.0%(52.7~66.9)로 가장 많은 칸이었어요. 표 3의 계란찜처럼 표준은 일본어 번역(茶碗蒸し)인데 답은 한국어 발음을 가타카나로 적은(ケランチム) 경우가 여기에 들어요. 언어별 느슨 이상 비율의 차이는 사전 등록 가설이 아니라 탐색 분석이에요.

4.3 정부 표준 사이트를 인용한 답 (H2)

그림 4. 정부 표준 사이트를 출처로 든 답 답 360개를 점으로 늘어놓으면 한식진흥원 사이트를 출처로 든 답은 2개뿐 답 360개를 점으로 늘어놓았어요 빨간 점 2개: 한식진흥원 사이트를 출처로 든 답 회색 점 358개: 다른 곳만 출처로 든 답 검색을 했는데도 정부 표준 사이트에는 거의 닿지 않았어요
그림 4. 정부 표준 사이트를 출처로 든 답은 거의 없었어요

답 360개 가운데 출처 목록에 한식진흥원 사이트(hansik.or.kr)가 있는 답은 2개(0.6%; 0.2~2.0)예요. 영어 180개 중 2개(1.1%; 0.3~4.0), 일본어 180개 중 0개(0.0%; 0.0~2.1)예요. 그 2개는 동태전과 따로국밥의 영어 답이고 둘 다 느슨 일치였어요. 참조 집단이 2문항이라 H2는 해석하지 않았어요. 미참조 178문항의 엄격 일치율은 18.5%(13.5~24.9)예요. 문항마다 웹 검색을 했는데도 정부 표준 사이트에는 거의 닿지 않았어요.

4.4 탐색 분석

음식 갈래별 영어 엄격 일치율은 표 6과 같아요. 표본 40 이상인 칸은 구이·볶음·튀김(40개) 하나뿐이고, 그 칸의 엄격 일치율은 25.0%(14.2~40.2)예요. 나머지 칸은 40 미만이라 해석하지 않아요.

표 6. 음식 갈래별 영어 엄격 일치 (탐색 분석, 40 미만 칸은 해석 안 함)
음식 갈래n엄격 일치비율 (95% CI)해석
구이·볶음·튀김401025.0% (14.2~40.2)해석
무침·김치·반찬3013.3% (0.6~16.7)40 미만
국·탕24833.3% (18.0~53.3)40 미만
밥·죽21523.8% (10.6~45.1)40 미만
찜·조림·수육17635.3% (17.3~58.7)40 미만
면1100.0% (0.0~25.9)40 미만
기타1000.0% (0.0~27.8)40 미만
찌개·전골9111.1% (2.0~43.5)40 미만
떡·한과·음료8112.5% (2.2~47.1)40 미만
정식·상차림500.0% (0.0~43.4)40 미만
장·양념5120.0% (3.6~62.4)40 미만

영어 불일치 45개 가운데 표준의 핵심 재료 낱말이 빠지고 다른 재료 낱말이 들어간 "재료 불일치"는 2개(4.4%; 1.2~14.8)예요. 영어 불일치는 대부분 재료가 아니라 표현 방식이 달랐어요. 복수 제시와 추출 실패는 0건이에요.

다음은 결과를 본 뒤 추가한 탐색 분석이에요. 등록 규칙은 괄호 안을 지우고 본 이름만 비교해요. 그래서 "ケランチム(韓国式卵蒸し)"처럼 괄호 안에 설명을 단 답은 괄호 밖 이름으로만 판정돼요. 괄호 안까지 포함한 메뉴명 줄 전체에 표준 이름이 들어 있는 답을 따로 세면 영어 180개 중 67개(37.2%; 30.5~44.5), 일본어 180개 중 51개(28.3%; 22.3~35.3)예요(analysis/explore_contains.py).

그림 5. 괄호 안 설명까지 보면 본 이름만 보면 표준과 똑같은 답이 영어 18.3%, 일본어 18.3%인데, 괄호 안 설명까지 포함하면 표준 이름이 들어 있는 답이 영어 37.2%, 일본어 28.3% 영어 본 이름만 18.3% 괄호까지 37.2% 일본어 본 이름만 18.3% 괄호까지 28.3% 본 이름만: 괄호 밖 이름이 표준과 똑같은 답. 괄호까지: 괄호 안 설명을 포함한 메뉴명 줄 어딘가에 표준 이름이 있는 답 괄호까지 봐도 영어 열에 여섯, 일본어 열에 일곱은 표준 이름이 없어요
그림 5. 괄호 안 설명까지 보면 (결과를 본 뒤 추가한 탐색 분석)

5 논의

이 조사의 핵심은 두 가지예요. 첫째, 정부 표준과 똑같은 메뉴명을 받을 확률은 영어와 일본어 모두 다섯에 하나 꼴(18.3%)이고, 언어에 따라 다르지 않았어요. 둘째, 비슷한 답까지 쳐 주면 영어(75.0%)와 일본어(40.0%)가 크게 갈려요. 영어 답은 표준과 낱말이 겹치는 서술형 이름이 많았어요(느슨 일치 56.7%). 일본어 답에는 표 3의 계란찜처럼 한국어 발음을 가타카나로 옮긴 이름이 있었고, 그런 답은 표준의 일본어 번역과 겹치는 글자가 적어요. 같은 AI, 같은 메뉴, 같은 상황인데도 언어에 따라 표준과 얼마나 가까운지가 달라졌어요.

가게 입장에서 읽으면 이래요. AI가 알려 준 영어 메뉴명은 표준과 뜻이 통하는 경우가 많지만 표기가 똑같은 경우는 적어요. 일본어는 표기가 똑같은 경우도 적고 뜻이 통하는 형태로 적은 경우도 절반이 안 돼요. 표준과 다른 메뉴명이 곧 틀린 번역은 아니지만 메뉴판 표기를 정부 표준에 맞추려는 사장님이라면 AI 답을 그대로 옮기지 말고 표준을 직접 확인해야 해요.

웹 검색이 정부 표준 사이트에 닿지 않았다는 점이 눈에 띄어요. 문항마다 검색을 했는데 한식진흥원 사이트를 출처로 든 답은 360개 중 2개였어요. 여러 답이 "공식 표준 영어 이름을 찾지 못했다"고 적었어요(예: 우삼겹숙주볶음 영어 답, "I found no official standard English name for this dish"). 표준이 공개돼 있어도 검색 결과 상위에 오르지 않으면 AI는 그 표준을 모른 채 자기 이름을 지어요. 이 건수는 세지 않았고, 원인을 검정한 것도 아니에요.

괄호 안 설명까지 보면 표준 이름이 들어 있는 답이 영어 37.2%, 일본어 28.3%로 늘어요. 본 이름은 자기 식으로 적고 괄호에 표준 이름을 덧붙인 답이 그만큼 있었어요. 그래도 영어 열에 여섯, 일본어 열에 일곱은 괄호까지 봐도 표준 이름이 없었어요. 이 분석은 결과를 본 뒤 추가한 것이라 가설 검정이 아니에요.

6 한계

  1. 응답 시스템이 Claude Sonnet 5.5 웹 검색 조건 하나예요. 다른 AI 비서나 검색 없는 조건으로 일반화할 수 없어요.
  2. 질문 틀이 하나예요. "NAME:" 형식 요구와 사장님 상황 설정이 답에 영향을 줄 수 있고 다른 말로 물으면 결과가 달라질 수 있어요.
  3. 규칙 판정의 한계예요. 괄호 안은 지우고 본 이름만 비교하므로 괄호에 표준 이름을 적은 답은 불일치나 느슨 일치가 돼요(4.4절 탐색). 또 뜻이 같아도 낱말이 다르면 불일치예요. 표 3의 따로국밥(タロクッパ 대 タログッパ)은 한 글자 차이로 불일치가 됐어요. 느슨 일치의 문턱(자카드·다이스 0.5)은 수집 전에 정했지만 임의의 값이에요.
  4. 표준 표기는 하나의 공식 기준일 뿐 유일한 정답이 아니에요. 표준과 다른 답의 번역 품질은 이 조사가 재지 않았어요.
  5. 음식 갈래는 요리명 끝말 규칙으로 정한 것이라 공식 분류와 다를 수 있고 갈래별 칸은 하나만 40 이상이에요.
  6. 응답 에이전트가 Claude Code 환경(사용자 설정·메모리 포함)에서 돌았고 한 에이전트가 10문항을 연달아 답해 맥락 효과가 있을 수 있어요.
  7. 조사는 2026-10-28부터 29일 사이 한 시점에 했어요. 모델과 검색 결과가 바뀌면 결과도 바뀔 수 있어요.

7 윤리와 이해관계

  • 개인정보는 다루지 않았어요. 질문과 답에 사람 이름, 가게 이름, 주소가 없어요.
  • 정답 원천의 저작권은 한식진흥원에 있어요(한식포털 저작권정책, 2026-10-28 확인: 저작권 한식진흥원, 수익 목적 이용은 사전 협의, 출처 표시 필수). 그래서 원천 표와 표본 180개의 표준 표기를 재배포하지 않고, 수집 코드와 파일 해시로 재현하게 했어요. 본문에는 예시 5개만 출처를 밝혀 인용했어요.
  • 저자 소속 Define404는 가게용 AI 점검 서비스를 준비하고 있고, 메뉴판 외국어 표기 점검을 항목으로 검토하고 있어요. 자사 제품은 조사 대상이 아니고, 이 조사에 외부 자금은 없어요.
  • 응답 수집은 저자의 Claude 구독 안에서 했고 추가 비용은 없어요.

8 재현 방법

  • 공개 저장소: https://github.com/johndefine404/define404-research-public (경로 002-menu-translation/). 원천 수집 코드, 시드 고정 추출 코드, 질문 틀, 배치, 규칙 판정 코드, 분석 코드, 결과 파일, 우리 판정(메뉴 번호와 판정만)을 공개해요. 원천 표와 표준 표기 문자열, 답 원문은 싣지 않아요.
  • 사전 등록: 연구 저장소 커밋 9f84ace0f6d74576686023187776c5c752f7c5ad (2026-10-28 23:41 ICT). prereg.md SHA-256: 4cd0480d1af8b2b66bb10cfc4332a53ecd5806cf9dc3256d209c816a6c912596 (등록 뒤 변경 없음)
  • 판정 규칙 judge/rules.md SHA-256: 76370cd882e392dafe6b093f3d11406acadbcdddb3c91ffde8559d87c5ae7908
  • 원천 표 sampling/raw/hansik_menu_800_20261028.csv SHA-256: 620f0fc8be6918a7a5482e66f86086bf7991505bb679e046d28fa837bf4cc26f (수집 코드 sampling/fetch_source.py로 다시 받아 대조)
  • 표본 sampling/sample_v1.csv SHA-256: ec8992250598de301cf4acf5872476fcc67912c31a4be47084a303d70517868f, 시드 20261028
  • 응답 원본 지문(배치 파일 36개 해시의 SHA-256): b13052316b77ed6865a0cd299816b9eb8d2867187918623dea066321a25faae9
  • 분석 결과 analysis/out/results.json SHA-256: b8b256647b25b729f4f51b42d7d0aff1e8a30167be15925040266355ff8fccab
  • 재현 순서: python sampling/fetch_source.py (원천 수집, 해시 대조) → python sampling/draw_sample.py → python collect/build_batches.py → 응답 수집 → python judge/auto_judge.py → python analysis/run_analysis.py → python analysis/explore_contains.py → python analysis/make_figures.py
  • 공개 요약 자료(CSV): 지표별 비율, 신뢰구간, 표본 수만 담았어요. 표준 표기 원문은 없어요.
  • DOI: 발행 뒤 Zenodo에 등록해 적어요.

가게에서 바로 할 일

  1. 외국어 메뉴명은 AI 답을 그대로 올리지 말고 한식진흥원 한식포털의 "한식메뉴 외국어 표기법"에서 직접 찾아 확인하세요. 이번 조사에서 AI 답이 표준과 똑같은 경우는 영어도 일본어도 다섯에 하나였어요.
  2. 일본어 메뉴판은 특히 확인하세요. 일본어 답은 열에 여섯이 표준과 다른 이름이었고, 표준은 일본어 번역인데 답은 한국어 발음을 가타카나로 적은 경우가 있었어요.
  3. AI 답에 괄호로 덧붙은 이름이 있으면 그쪽도 보세요. 괄호 안에 표준 이름을 적은 답이 있었어요. 다만 괄호까지 봐도 영어 열에 여섯, 일본어 열에 일곱은 표준 이름이 없었어요.
  4. AI에게 "한식진흥원 표준 표기로 알려 달라"고 묻는 방법은 이번 조사에서 시험하지 않았어요. 효과를 재지 않은 방법이에요.

참고문헌

  1. Yao B., Jiang M., Bobinac T., Yang D., Hu J. Benchmarking Machine Translation with Cultural Awareness. arXiv 2305.14328, v3 2024-10-19. https://arxiv.org/abs/2305.14328
  2. Zhang Z., He C., Iyer V., Birch A. Cultural Adaptation of Menus: A Fine-Grained Approach. arXiv 2408.13534, 2024-08-24 (WMT 2024). https://arxiv.org/abs/2408.13534
  3. Yuan 외. Culture-Aware Machine Translation in Large Language Models: Benchmarking and Investigation. arXiv 2604.24361, 2026-04-27 (ACL 2026). https://arxiv.org/abs/2604.24361
  4. Zeng 외. CulturalMenuBench: Probing the Knowledge-Application Gap in Multimodal Culinary Reasoning. arXiv 2609.03526, 2026-09-03. https://arxiv.org/abs/2609.03526
  5. Lee J.-H. A Comparative Study of ChatGPT and Papago Korean-to-English Translations of Dialogue from the Adaptation of Pachinko. International Journal of Contents 21(3), 2025, 138-151. https://www.accesson.kr/ijcon/v.21/3/138/57464
  6. 한식진흥원. 한식메뉴 외국어 표기법 (한식메뉴 외국어표기법 길라잡이 800선). 한식포털, 2026-10-28 수집. https://www.hansik.or.kr/board/dn/list/017?menuSn=12

부록 A 질문 틀

가상의 메뉴 "하늘비빔밥"을 넣은 예예요. 실제 문항은 요리명 자리에 표본 메뉴의 한국어 요리명을 그대로 넣었어요.

언어질문
영어I run a Korean restaurant in Korea and I'm making an English menu. How should I write the dish '하늘비빔밥' on the menu? Put one English menu name on the first line in the form 'NAME: ...', then add one or two short sentences of explanation.
일본어韓国で韓国料理店をやっていて、日本語のメニューを作っています。「하늘비빔밥」という料理はメニューにどう書けばいいですか。1行目に「NAME: ...」の形でメニュー名を1つだけ書いて、そのあとに1〜2文で短く説明してください。

부록 B 판정 규칙 요약

  • 단위: 한 문항은 메뉴 1개 x 언어 1개예요. 판정 대상은 답에서 뽑은 메뉴명 후보 하나이고, 설명 문장은 판정하지 않아요.
  • 후보 뽑기: 첫 "NAME:" 줄의 글자, 없으면 짧은 첫 줄, 둘 다 아니면 추출 실패(이번 조사 0건)예요. 둘 이상이면 첫 번째를 쓰고 괄호 안은 떼요.
  • 영어 정규화: 소문자, NFKC, 괄호 안 제거, 문장 부호·하이픈·슬래시 제거, 관사와 and·&·with 제거, 로마자 변형 통일.
  • 일본어 정규화: NFKC, 공백·중점·장음 기호·괄호 안 제거, 촉음 유무 무시.
  • 엄격 일치: 정규화한 후보가 정규화한 표준과 같음. 느슨 일치: 영어는 낱말 집합 자카드 0.5 이상 또는 표준 로마자 표기 포함, 일본어는 글자 2-gram 다이스 0.5 이상 또는 표준 포함. 불일치: 둘 다 아님. 미제시: 답 없음.
  • 표준 출처 참조: 답의 출처 목록에 hansik.or.kr 포함.
리포트 목록으로RSS로 새 호 받아 보기