Define404 Report
AI에게 지원사업 공고를 물으면 마감일을 맞게 알려 줄까요
사장님이 AI 비서에게 "이 지원사업 지금 신청할 수 있어요? 마감이 언제예요?"라고 물으면 맞는 답을 받는지 쟀어요. 정답은 기업마당(bizinfo.go.kr) 공고 목록으로 삼았어요. 진행 중 100건과 마감 100건, 중앙부처 100건과 지자체 100건이 되게 200건을 층화 추출하고, 웹 검색을 쓰는 Claude Sonnet 5.5에게 한국어로 한 번씩 물었어요. 답은 수집 전에 고정한 규칙으로 판정했어요. 마감일을 맞게 말한 답은 200건 중 78건(39.0%)이었고, 중앙부처 40.0%와 지자체 38.0%의 차이는 -2.0%p로 사전 등록 가설 H1(지자체가 더 낮음)은 지지되지 않았어요. 신청 가능 여부는 200건 중 142건(71.0%)에서 확인하지 못했다고 답했고, 결론을 낸 58건은 모두 정답 방향이었어요. 마감된 공고를 지금 신청할 수 있다고 한 답과 진행 중인 공고를 마감됐다고 한 답은 둘 다 0건이라 H2도 지지되지 않았어요. 신청 가능 여부 판정 규칙은 수집 뒤 결함을 발견해 고쳤고, 원래 규칙의 결과는 부록에 그대로 실었어요.
조사 정보
기업마당 지원사업 공고 200건을 웹 검색을 쓰는 AI 비서에게 한국어로 묻고, 마감일·신청 가능 여부·수행 기관을 공고 목록과 맞춰 봤어요
- 저자: 김하원 (Define404 Research)
- 날짜: 2026-10-29
- 유형: 측정 보고서. 공고 200건을 새로 묻고 규칙으로 판정했어요.
- 사전 등록: 연구 저장소 커밋 35fac08(2026-10-28 23:41 ICT). 수집 전에 가설·표본·판정 규칙·분석 방법을 담은 prereg.md를 커밋했어요.
- DOI: https://doi.org/10.5281/zenodo.23739022
- 이해관계: 저자 소속 Define404는 AI 응답 모니터링과 가게별 AI 노출 진단 서비스를 준비하고 있어요. 자사 제품은 조사 대상에 넣지 않았어요.
핵심 결과
- 마감일을 맞게 말한 답은 200건 중 78건, 39.0%(95% 신뢰구간 32.5~45.9)였어요. 중앙부처 공고 40.0%(30.9~49.8), 지자체 공고 38.0%(29.1~47.8)로 차이 -2.0%p(-15.5~11.5)예요. H1 지지되지 않음.
- 신청 가능 여부는 200건 중 142건(71.0%; 64.4~76.8)에서 결론 없이 확인하지 못했다고 답했어요. 결론을 낸 58건(29.0%; 23.2~35.6)은 모두 정답 방향이었어요.
- 마감된 공고 100건을 지금 신청할 수 있다고 한 답 0건, 진행 중 공고 100건을 마감됐다고 한 답 0건이에요. 두 오류가 모두 0이라 H2(마감 공고를 가능하다고 하는 쪽이 더 많음)는 지지되지 않았어요.
- 마감일·신청 가능 여부·수행 기관을 모두 맞춘 엄격한 점수는 200건 중 46건(23.0%; 17.7~29.3)이에요. 마감일만 본 느슨한 점수와의 짝 차이는 16.0%p(10.9~21.1)예요.
1 서론
소상공인 지원사업은 공고가 많고 기간이 짧아요. 기업마당 한 곳만 봐도 2026-10-28 기준 진행 중 공고가 1,445건이었어요. 사장님이 이 목록을 다 읽기는 어려워요. 그래서 AI 비서에게 "이거 지금 신청할 수 있어요?"라고 묻는 일이 늘어요. AI가 마감일을 틀리게 말하면 사장님은 준비한 서류를 못 내거나 끝난 사업에 시간을 쓰게 돼요.
미국 복지 제도를 두고는 AI 답의 정확도를 잰 연구가 있지만(2절), 한국 지원사업 공고에서 정답이 공개 목록으로 고정되는 항목(마감일, 수행 기관, 진행 여부)을 웹 검색을 쓰는 일반 AI 비서에게 물어 잰 보고는 확인한 범위에서 찾지 못했어요.
이 조사는 그 빈자리를 재려고 했어요. 기여는 세 가지예요. 기업마당 공고 목록을 정답으로 두고 공고 200건을 층화 추출해 AI 비서의 마감일 정답률을 쟀어요. 마감된 공고와 진행 중인 공고에서 AI가 신청 가능 여부를 어느 방향으로 틀리는지 봤어요. 표본 추출 코드, 판정 규칙, 분석 코드를 수집 전에 저장소에 커밋해 같은 절차를 다시 돌릴 수 있게 했어요.
가설은 두 개예요. H1(1차)은 마감일을 맞게 말하는 비율이 지자체 공고에서 중앙부처 공고보다 낮다는 가설이에요. H2(2차)는 마감된 공고를 지금 신청할 수 있다고 단정하는 비율이 진행 중인 공고를 마감됐다고 단정하는 비율보다 높다는 가설이에요.
2 관련 연구
공공 제도를 묻는 AI 답의 정확도를 잰 연구는 대부분 미국 복지 제도를 다뤄요. Gosciak 외(2026)는 미국 SNAP(식품 지원) 770문항에 전문가가 정답을 달고, 챗봇 정확도가 상담원의 정확도에 미치는 영향을 실험했어요. Vals AI(2026)는 SNAP 459개 시나리오에 전문가 루브릭 2,931항목을 두고 LLM 판정자로 채점했고, 최고 모델이 76.93%였어요. Simpson 외(2026)는 규제 규칙 225개 시나리오에서 최신 모델이 예외 조항을 잘못 처리하는 경우를 보고했어요. Kennan 외(2025)는 SNAP과 Medicaid 7개 주에서 챗봇의 일반 답변과 검색 보강 답변을 비교했어요.
이 연구들은 정답을 전문가 판정으로 정하고, 제도의 자격 요건처럼 해석이 필요한 질문을 다뤘어요. 이번 조사는 반대로 해석이 필요 없는 항목만 골랐어요. 마감일과 수행 기관은 공고 목록에 적힌 값이라 규칙으로 대조할 수 있어요. 판정 방식은 FreshQA(Vu 외 2023)의 느슨한·엄격한 두 점수를, 신뢰구간과 짝 차이는 Miller(2024)를 따랐어요. 표본 40 미만 칸을 해석하지 않는 기준은 PopQA(Mallen 외 2023)에서 가져왔어요. 같은 방식으로 동네 가게의 영업 여부를 잰 2호 Local404(Define404 Research 2026)와 설계가 이어져요.
3 조사 방법
3.1 모집단과 표본
정답 원천은 기업마당 지원사업 공고 엑셀 내려받기예요(2026-10-28 수신, 진행 중 1,445행, 지난 공고 26,425행). 열은 소관부처, 사업수행기관, 지원분야, 공고명, 신청시작일자, 신청종료일자, 등록일자, 공고상세URL이에요. 정답은 이 파일 값으로 고정했고 수집 중에 기업마당이 공고를 고쳐도 정답을 바꾸지 않았어요.
제외한 행은 같은 공고명이 두 번 이상인 것 699건, 신청 날짜가 없는 것 68건, 아직 신청이 시작되지 않은 것 16건, 진행 중인데 마감이 2026-11-18부터 2027-06-30 사이가 아닌 것 360건(상시·연중 공고 포함), 지난 공고인데 마감이 2026-08-01부터 10-21 사이가 아닌 것 23,522건이에요. 마감 범위는 수집 기간 안에 상태가 바뀌지 않도록 앞뒤 7일 여유를 뒀어요.
층은 상태(진행 중, 마감)와 소관(중앙부처, 지자체)을 곱한 4칸이에요. 소관부처 이름이 특별시·광역시·특별자치시·특별자치도·도로 끝나면 지자체, 그 밖은 중앙부처(청·위원회 포함)로 봤어요. 칸마다 후보를 공고 ID로 정렬하고 시드 20261028로 섞어 앞 50건을 뽑아 모두 200건이에요. 표본 크기는 H1에서 20%p 차이를 유의수준 5%, 검정력 80%로 잡아내는 데 필요한 집단당 98건에 맞췄어요. 공고 1건에 답 1개라 공고 수 200이 실효 표본이에요.
| 칸 | 후보 | 표본 |
|---|---|---|
| 진행 중 x 중앙부처 | 265 | 50 |
| 진행 중 x 지자체 | 752 | 50 |
| 마감 x 중앙부처 | 718 | 50 |
| 마감 x 지자체 | 1,470 | 50 |
| 합계 | 3,205 | 200 |
3.2 질문
공고마다 질문 하나를 한국어로 만들었어요. 질문 틀은 "'{공고명}' 지원사업, 지금 신청할 수 있나요? 신청 마감일이 언제이고 어느 기관이 사업을 수행하는지도 알려 주세요."예요. 공고명은 기업마당 등록 이름 그대로(지역 접두어 포함) 넣었고, 마감일·기관·진행 여부는 판정 대상이라 질문에 넣지 않았어요. 질문은 10문항씩 20배치로 나눴고, 배치 파일에는 질문만 있어요.
3.3 응답 시스템
응답 시스템은 하나예요. Claude Sonnet 5.5에 웹 검색을 붙인 조건이고, 사람이 실제로 쓰는 형태에 가까워서 골랐어요. 한 호출이 한 배치(10문항)를 맡고, 응답자는 조사 목적과 정답을 몰라요. 지시문에는 문항마다 검색을 하고, 질문 언어로 답하고, 검색 한도 메시지가 오면 멈추고 검색한 문항만 기록하라고 적었어요. 수집은 2026-10-28 밤부터 10-29까지 했고, 200건 모두 검색을 1회 이상 해서 무효 답은 없었어요. 답 원문과 검색 출처는 배치별 파일에 남겼어요.
3.4 판정
판정은 수집 전에 고정한 규칙 코드로 했어요. 세 항목이에요.
- 신청 가능 여부: 가능 단정, 마감 단정, 모름(확인 불가 또는 결론 없음)의 세 가지예요. 정답은 층의 상태예요.
- 마감일: 답에 나온 날짜 가운데 마감 문맥(앞뒤 40자 안의 마감·까지·종료·신청기간·접수기간, 또는 기간 표기의 끝)에 있는 날짜가 정답 신청종료일자와 같으면 맞음, 다른 날짜만 있으면 틀림, 마감 문맥 날짜가 없으면 없음이에요.
- 수행 기관: 사업수행기관(기초자치단체·직접수행이면 소관부처와 공고명 머리의 시군구)이 약칭을 포함해 답에 있으면 맞음, 다른 기관만 말하면 틀림이에요.
느슨한 점수는 마감일 맞음이에요. 엄격한 점수는 마감일 맞음, 신청 가능 여부 맞음, 수행 기관이 틀림 아님을 모두 만족한 경우예요. LLM 판정자와 사람 2명 판정은 쓰지 않았어요.
신청 가능 여부 판정은 수집 뒤에 한 번 고쳤어요(3.6절). 고친 규칙(v1.1)에서 허브가 직접 판정한 답은 0건이에요. 원래 규칙(v1.0)에서는 가능과 마감 표현이 같은 문장에 있어 직접 판정 대상으로 표시된 답이 1건 있었고, 그 답은 v1.0 결과표(부록 B)에 모름으로 들어가 있어요.
3.5 분석
모든 비율에 윌슨 95% 신뢰구간을 붙였어요. 공고마다 답이 하나라 대상 단위 군집 구간과 같아요. H1은 지자체 공고의 느슨한 점수 비율에서 중앙부처 비율을 뺀 차이의 95% 신뢰구간과 단측 z 검정이에요. H2는 마감 공고를 가능하다고 단정한 비율에서 진행 공고를 마감이라고 단정한 비율을 뺀 차이예요. 두 가설의 p값은 Holm 보정을 했어요. 같은 공고의 느슨한 점수와 엄격한 점수 차이는 짝 차이로 보고해요. 상태와 소관을 곱한 4칸(칸당 50건)과 마감일 틀림·없음의 구분은 사전 등록에 없는 탐색 분석이에요. 표본 40 미만 칸은 해석하지 않아요.
3.6 사전 등록과 달라진 점
수집이 끝난 뒤 판정 표본을 읽다가 등록한 신청 가능 여부 판정 규칙(v1.0)의 구현에 결함이 있는 것을 확인했어요. v1.0은 답을 문장으로 나눠 가능·마감 표현이 마지막으로 나온 문장을 결론으로 삼았는데 "신청 가능성은 사실상 없어 보입니다"를 가능으로 읽었고, 같은 사업의 지난 회차가 마감됐다는 언급을 대상 공고의 마감 결론으로 읽었어요. 그래서 분석 결과를 해석하기 전에 규칙을 v1.1로 고쳤어요. v1.1은 답의 첫 문장을 결론 문장으로 보고, 첫 문장에 마감 쪽 표현("신청할 수 없", "마감", "종료", "지났", "가능성은 없" 등)이 있으면 마감 단정, 가능 쪽 표현("신청 가능", "신청할 수 있", "접수 중" 등)이 있으면 가능 단정, 둘 다 없으면 모름이에요. 200건 모두 첫 문장에 결론 또는 확인 불가를 적었어요. 마감일과 수행 기관 규칙은 바꾸지 않았어요.
사전 등록 8절에 따라 v1.0 결과를 부록 B에 그대로 실었어요. v1.0으로는 H2가 +34.0%p로 지지되고, v1.1로는 두 오류가 모두 0건이라 지지되지 않아요. 두 결과의 차이는 판정 결함에서 나왔고, 이 차이가 이번 조사에서 가장 조심해서 읽어야 할 부분이에요(5절).
4 결과
4.1 마감일
| 구분 | n | 마감일 맞음 | 마감일·신청 가능 여부·기관 모두 맞음 |
|---|---|---|---|
| 전체 | 200 | 78 (39.0%; 32.5~45.9) | 46 (23.0%; 17.7~29.3) |
| 중앙부처 | 100 | 40 (40.0%; 30.9~49.8) | 28 (28.0%; 20.1~37.5) |
| 지자체 | 100 | 38 (38.0%; 29.1~47.8) | 18 (18.0%; 11.7~26.7) |
| 진행 중 | 100 | 45 (45.0%; 35.6~54.8) | 18 (18.0%; 11.7~26.7) |
| 마감 | 100 | 33 (33.0%; 24.6~42.7) | 28 (28.0%; 20.1~37.5) |
마감일을 맞게 말한 답은 200건 중 78건(39.0%)이에요. 나머지 122건 가운데 마감 문맥에 다른 날짜만 말한 답이 58건, 마감 문맥 날짜가 없는 답이 64건이었어요. 진행 중 공고에서는 맞음 45건, 틀림 20건, 없음 35건이었고, 마감 공고에서는 맞음 33건, 틀림 38건, 없음 29건이었어요. 이 구분은 탐색 분석이에요. 틀림에는 비슷한 이름의 다른 공고나 지난 회차의 날짜를 말한 답도 들어 있어요(6절).
4.2 사전 등록 가설 H1: 지자체 공고가 더 낮은가
| 가설 | 비교 | 차이 | 단측 p | Holm p | 판정 |
|---|---|---|---|---|---|
| H1 | 지자체 느슨한 점수 38.0% 대 중앙부처 40.0% | -2.0 (-15.5~11.5) | 0.386 | 0.772 | 지지되지 않음 |
| H2 | 마감 공고의 가능 단정 0% 대 진행 공고의 마감 단정 0% | 0.0 (0.0~0.0) | 0.500 | 0.772 | 지지되지 않음(두 오류 모두 0건) |
지자체 공고의 마감일 정답률은 중앙부처보다 2.0%p 낮았지만 신뢰구간이 -15.5부터 11.5까지라 0을 넓게 품어요. 이 표본 크기는 20%p 차이를 잡도록 설계했으니 그보다 작은 차이는 있어도 못 봤을 수 있어요. 지자체 공고가 더 어렵다는 가설은 이 자료로는 지지되지 않아요.
4.3 신청 가능 여부와 가설 H2
| 구분 | n | 정답 방향 단정 | 틀린 방향 단정 | 모름 |
|---|---|---|---|---|
| 전체 | 200 | 58 (29.0%; 23.2~35.6) | 0 | 142 (71.0%; 64.4~76.8) |
| 진행 중 | 100 | 23 (23.0%; 15.8~32.2) | 0 | 77 (77.0%; 67.8~84.2) |
| 마감 | 100 | 35 (35.0%; 26.4~44.7) | 0 | 65 (65.0%; 55.3~73.6) |
| 중앙부처 | 100 | 34 (34.0%; 25.5~43.7) | 0 | 66 (66.0%; 56.3~74.5) |
| 지자체 | 100 | 24 (24.0%; 16.7~33.2) | 0 | 76 (76.0%; 66.8~83.3) |
200건 중 142건(71.0%)은 첫 문장에서 공고를 찾지 못했거나 확인할 수 없다고 했어요. 결론을 낸 58건은 모두 정답 방향이었어요. 마감된 공고 100건에서 지금 신청할 수 있다고 한 답은 0건(윌슨 95% 상한 3.7%)이고, 진행 중인 공고 100건에서 마감됐다고 한 답도 0건(상한 3.7%)이에요. 두 비율이 모두 0이라 H2의 차이는 0.0%p이고, 가설은 지지되지 않아요. 가설이 틀렸다고 보이는 것이 아니라, 이 조건의 답에는 비교할 오류가 없었다는 결과예요.
마감된 공고에서는 35건이 마감됐다고 결론을 냈고 진행 중인 공고에서는 23건만 지금 신청할 수 있다고 결론을 냈어요. 진행 중인 공고에서 모름이 77건으로 더 많았어요. 공고를 찾았더라도 진행 중이라는 결론을 첫 문장에 내기보다 기관에 확인하라고 돌리는 답이 많았어요.
4.4 탐색: 엄격한 점수와 4칸 비교
같은 공고에서 느슨한 점수(39.0%)와 엄격한 점수(23.0%)의 짝 차이는 16.0%p(10.9~21.1)예요. 마감일을 맞게 말한 78건 가운데 신청 가능 여부까지 맞게 단정한 답은 47건이고 그중 1건은 수행 기관을 틀리게 말해 엄격한 점수는 46건이에요. 수행 기관은 200건 중 161건에서 맞게 말했고 39건은 다른 기관을 말했어요. 이 절의 숫자는 탐색 분석이에요.
| 칸 | 마감일 맞음 | 모두 맞음 | 모름 |
|---|---|---|---|
| 진행 중 x 중앙부처 | 40.0% (27.6~53.8) | 22.0% (12.8~35.2) | 72.0% (58.3~82.5) |
| 진행 중 x 지자체 | 50.0% (36.6~63.4) | 14.0% (7.0~26.2) | 82.0% (69.2~90.2) |
| 마감 x 중앙부처 | 40.0% (27.6~53.8) | 34.0% (22.4~47.8) | 60.0% (46.2~72.4) |
| 마감 x 지자체 | 26.0% (15.9~39.6) | 22.0% (12.8~35.2) | 70.0% (56.2~80.9) |
진행 중인 지자체 공고는 마감일 정답률이 50.0%로 가장 높았지만 모름이 82.0%로 가장 많아 모두 맞음은 14.0%로 가장 낮았어요. 마감일은 알아냈는데 지금 신청할 수 있다는 결론은 내지 않은 답이 그만큼 많았어요. 칸당 50건이라 칸 사이 차이의 신뢰구간은 넓고 이 표는 다음 조사의 가설 후보로만 읽어야 해요.
5 논의
이 조사에서 AI 비서는 지원사업 공고의 마감일을 열 번 중 네 번쯤 맞게 말했고, 신청 가능 여부는 열 번 중 일곱 번은 확인하지 못했다고 답했어요. 틀린 방향으로 단정한 답은 없었어요. 2호 Local404에서 Claude 계열이 동네 가게의 영업 여부를 거의 단정하지 않은 것과 같은 방향이에요. 다만 이번에는 공고 이름을 그대로 넣고 웹 검색을 쓴 덕분에 마감일처럼 구체적인 값은 절반 가까이 찾아냈어요.
사장님에게 위험한 경우는 두 가지예요. 하나는 마감일이 틀린 답이에요. 200건 중 58건은 마감 문맥에 정답이 아닌 날짜를 말했어요. 이 가운데 일부는 비슷한 이름의 다른 공고나 지난 회차의 날짜라서 사장님이 그 날짜를 올해 이 공고의 마감으로 받아들이면 서류를 늦게 내게 돼요. 다른 하나는 답이 없는 경우예요. 진행 중인 공고 100건 중 77건은 신청할 수 있는지 결론이 없었어요. 이 경우 사장님은 어차피 공고 원문을 열어 봐야 해요.
판정 규칙을 수집 뒤에 고친 점은 따로 적어야 해요. 등록한 규칙 그대로 돌리면 마감된 공고 100건 중 43건을 지금 신청할 수 있다고 한 것으로 집계되고 H2가 지지돼요(부록 B). 그런데 그 43건에는 "신청 가능성은 사실상 없어 보입니다"처럼 반대 뜻의 답이 들어 있었어요. 고친 규칙은 첫 문장의 결론만 보고, 그 결과 틀린 방향의 단정은 0건이 됐어요. 규칙을 고친 쪽이 답의 뜻에 가깝다고 보지만 규칙을 고친 뒤에 결과가 가설 반대 방향으로 바뀌었다는 사실은 그대로예요. 다음 조사에서는 첫 문장 규칙을 수집 전에 등록하고 같은 설계를 다시 돌려 확인해야 해요.
가게에서 바로 할 일
- AI가 알려 준 마감일은 기업마당 공고 원문에서 다시 확인하세요. 이번 조사에서 마감일을 맞게 말한 답은 200건 중 78건이었고, 58건은 다른 날짜를 말했어요.
- AI가 "확인할 수 없어요"라고 하면 그 공고가 끝났다는 뜻이 아니에요. 진행 중인 공고 100건 중 77건에서 AI는 신청할 수 있는지 결론을 내지 않았어요.
- 공고 이름은 기업마당에 등록된 이름 그대로 넣어 물어보세요. 이번 조사는 그렇게 물었는데도 마감일을 열 번 중 네 번쯤 맞췄어요. 줄여 부르면 비슷한 이름의 다른 공고 날짜가 나올 수 있어요.
6 한계
- 응답 시스템이 Claude Sonnet 5.5 웹 검색 조건 하나라 모델 간 비교는 없어요. 한 에이전트가 10문항을 이어서 답해 앞 문항이 뒤 문항에 영향을 줬을 수 있어요.
- 신청 가능 여부 판정 규칙을 수집 뒤에 고쳤어요(3.6절). 고친 규칙은 첫 문장만 보기 때문에, 첫 문장에서 확인하지 못했다고 한 뒤 본문에서 결론을 낸 답이 있으면 모름으로 세요. 원래 규칙 결과는 부록 B에 있어요.
- 마감일 판정은 마감 문맥 안의 날짜를 모두 대상 공고의 마감 주장으로 봐요. 그래서 비슷한 이름의 다른 공고나 지난 회차의 마감일을 말한 답, 다른 공고를 대신 소개하며 그 마감일을 말한 답도 틀림에 들어가요. 틀림 58건 가운데 어느 만큼이 이런 경우인지는 이번 규칙으로 가르지 못했어요.
- 정답 원천이 기업마당 하나예요. 기업마당에 없는 공고(소상공인24 전용, 지자체 자체 사이트 전용)는 모집단 밖이에요. 소상공인24는 수집일에 점검 중이라 확인하지 못했어요.
- 공고명을 그대로 넣어 물었어요. 사장님이 실제로 두루뭉술하게 묻는 상황보다 쉬운 조건이에요.
- 지원 대상 요건, 금리, 한도는 자유 서술이라 판정하지 않았어요. 마감일과 수행 기관이 맞아도 사장님에게 필요한 답이 다 맞았다는 뜻은 아니에요.
- 수집은 2026-10-28부터 29일까지 한 시점이에요. 검색 결과는 날마다 바뀌므로 같은 질문을 다시 하면 숫자가 달라질 수 있어요.
7 윤리와 이해관계
공고명과 공고 주소는 기업마당이 공개한 정보라 공개 자료에 그대로 실었어요. 개인을 식별할 수 있는 정보는 다루지 않았어요. AI 답 원문은 공개 자료에 넣지 않았어요. 저자 소속 Define404는 AI 응답 모니터링과 가게별 AI 노출 진단 서비스를 준비하고 있어요. 자사 제품은 조사 대상에 넣지 않았어요. 외부 지원금은 없어요.
8 재현 방법
- 공개 저장소: https://github.com/johndefine404/define404-research-public (경로 004-support-programs/). 표본, 판정 결과, 분석 코드, 그림 스크립트를 공개해요. AI 답 원문은 빼요.
- 정답 원천: 기업마당 지원사업 공고 엑셀(2026-10-28 수신) sampling/raw/bizinfo_ongoing_20261028.xlsx, bizinfo_expired_20261028.xlsx. 해시는 sampling/raw/SHA256SUMS
- 표본: sampling/draw_sample.py(시드 20261028), 결과 sampling/sample.csv (SHA-256 893f36426392a7fddee39ed59d8a960df959dbc2df6603a8ed0b919fe4a86df5, 두 번 실행 일치)
- 질문: collect/question_templates.json v1.0, 배치 collect/batches/
- 판정: judge/auto_judge.py(등록 규칙 v1.0, 결과 judge/judged_v10.csv), judge/status_v11.py(개정 v1.1, 결과 judge/judged.csv). 규칙 본문은 judge/rules.md
- 분석: analysis/run_analysis.py. 결과 analysis/out/(v1.1), analysis/out_v10/(v1.0)의 results.json, tables.md. 원고의 숫자는 이 파일에서만 옮겼어요
- 그림: analysis/make_figures.py가 analysis/out/results.json에서 숫자를 읽어 report/figures/*.svg를 만들어요
- 사전 등록: 연구 저장소 커밋 35fac08415747034b71e0be72186a46c8964a352 (2026-10-28 23:41 ICT). 수집 전에 prereg.md를 커밋했어요
- 의존성: 표준 라이브러리만 써요
- 공고별 요약 자료(CSV): 공고 ID, 상태, 소관, 공고명, 신청 기간, 주소와 판정 결과(v1.1과 v1.0)를 담았어요. AI 답 원문은 없어요
참고문헌
- Gosciak, J. 외 (2026). LLMs in social services: How does chatbot accuracy affect human accuracy? arXiv:2603.11213. https://arxiv.org/abs/2603.11213
- Vals AI (2026). Public Benefits Bench v1.1. https://www.vals.ai/benchmarks/snap (2026-10-28 확인)
- Simpson, R. 외 (2026). Confidently Wrong: Exception Chain Collapse in Frontier LLM Rule Evaluation. arXiv:2607.23386. https://arxiv.org/abs/2607.23386
- Kennan, E. 외 (2025). AI-Powered Rules as Code: Experiments with Public Benefits Policy. Georgetown Beeck Center. https://beeckcenter.georgetown.edu/the-digital-benefits-network-and-massive-data-institute-experiment-with-ai-to-translate-public-benefits-policies-into-software-code/
- Vu, T. 외 (2023). FreshLLMs: Refreshing Large Language Models with Search Engine Augmentation. arXiv:2310.03214. https://arxiv.org/abs/2310.03214
- Mallen, A. 외 (2023). When Not to Trust Language Models: Investigating Effectiveness of Parametric and Non-Parametric Memories. arXiv:2212.10511. https://arxiv.org/abs/2212.10511
- Miller, E. (2024). Adding Error Bars to Evals: A Statistical Approach to Language Model Evaluations. arXiv:2411.00640. https://arxiv.org/abs/2411.00640
- Define404 Research (2026). Local404: AI는 폐업한 동네 가게를 아직 영업 중이라고 말하는가. https://define404.com/report/002-local404-closed-shops/
부록 A 판정 규칙 요약
- 신청 가능 여부(v1.1): 답의 첫 문장을 결론 문장으로 봐요. 첫 문장에 마감 쪽 표현이 있으면 마감 단정, 가능 쪽 표현이 있으면 가능 단정, 둘 다 없으면 모름이에요. "~로 보입니다" 같은 추정 결론도 그 방향으로 세요. 정답은 층의 상태(진행 중이면 가능, 마감이면 마감)예요.
- 신청 가능 여부(v1.0, 등록 규칙): 답을 문장으로 나눠 가능·마감 표현이 마지막으로 나온 문장을 결론으로 봐요. 조건문("마감일이 지났다면 신청할 수 없습니다")은 결론이 아니에요. 같은 문장에 두 표현이 있으면 직접 판정 대상으로 표시해요.
- 마감일: 2026-11-09, 2026.11.09, 2026년 11월 9일, 11월 9일 같은 날짜를 모두 뽑아요. 날짜 앞뒤 40자 안에 마감, 까지, 종료, 신청기간, 접수기간, 신청은, 접수는 가운데 하나가 있거나 바로 앞에 기간 표기(~, 부터)가 있으면 마감 문맥이에요. 정답 신청종료일자와 같은 날짜가 마감 문맥에 있으면 맞음, 다른 날짜만 있으면 틀림, 없으면 없음이에요.
- 수행 기관: 사업수행기관 이름을 기준으로 해요. 기초자치단체·직접수행이면 소관부처와 공고명 머리의 시군구를 기준에 더해요. 공백·괄호·재단법인 같은 표기를 지우고 흔한 약칭(소진공, 중기부, 중진공, KOTRA 등)을 같은 것으로 봐요. 기준 이름이 답에 있으면 맞음, 다른 기관만 수행·주관 기관으로 말하면 틀림이에요.
- 점수: 느슨한 점수는 마감일 맞음, 엄격한 점수는 마감일 맞음과 신청 가능 여부 맞음과 수행 기관 틀림 아님을 모두 만족한 경우예요.
부록 B 등록 규칙 v1.0 결과
사전 등록 8절에 따라 등록한 판정 규칙(v1.0)을 그대로 적용한 결과를 실어요. 마감일과 수행 기관 판정은 두 판본이 같으므로 느슨한 점수는 본문과 같고, 신청 가능 여부와 엄격한 점수만 달라요.
| 구분 | n | 마감일 맞음 | 모두 맞음 | 신청 가능 여부 맞음 | 모름 |
|---|---|---|---|---|---|
| 전체 | 200 | 39.0% (32.5~45.9) | 22.5% (17.3~28.8) | 54.5% (47.6~61.3) | 19.5% (14.6~25.5) |
| 중앙부처 | 100 | 40.0% (30.9~49.8) | 24.0% (16.7~33.2) | 59.0% (49.2~68.1) | 19.0% (12.5~27.8) |
| 지자체 | 100 | 38.0% (29.1~47.8) | 21.0% (14.2~30.0) | 50.0% (40.4~59.6) | 20.0% (13.3~28.9) |
| 진행 중 | 100 | 45.0% (35.6~54.8) | 24.0% (16.7~33.2) | 72.0% (62.5~79.9) | 19.0% (12.5~27.8) |
| 마감 | 100 | 33.0% (24.6~42.7) | 21.0% (14.2~30.0) | 37.0% (28.2~46.8) | 20.0% (13.3~28.9) |
| 가설 | 차이 | 단측 p | Holm p | 판정 |
|---|---|---|---|---|
| H1 | -2.0 (-15.5~11.5) | 0.386 | 0.386 | 지지되지 않음 |
| H2 | +34.0 (22.8~45.2) | 0.000 | 0.000 | 지지 |
v1.0에서는 마감된 공고 100건 중 43건이 가능 단정, 37건이 마감 단정, 20건이 모름으로, 진행 중인 공고 100건 중 72건이 가능 단정, 9건이 마감 단정, 19건이 모름으로 집계됐어요. H2의 차이는 43.0%에서 9.0%를 뺀 +34.0%p예요. v1.1에서는 같은 답이 마감 공고에서 가능 단정 0건, 마감 단정 35건, 모름 65건, 진행 공고에서 가능 단정 23건, 마감 단정 0건, 모름 77건이에요. 두 판본의 느슨한 점수와 엄격한 점수 짝 차이는 각각 16.5%p(11.3~21.7)와 16.0%p(10.9~21.1)예요. v1.0에서 직접 판정 대상으로 표시된 1건은 이 표에 모름으로 들어가 있고, v1.1 규칙으로는 첫 문장이 마감 쪽이라 규칙만으로 마감 단정으로 판정됐어요.
부록 C 사전 등록 대비 변경
| 항목 | 사전 등록 | 실행 |
|---|---|---|
| 신청 가능 여부 판정 | 마지막 결론 문장 기준(v1.0) | 첫 문장 결론 기준(v1.1). v1.0 결과는 부록 B |
| 허브 직접 판정 | 규칙으로 못 가르는 답만 직접 판정하고 건수를 적음 | v1.1에서 대상 0건. v1.0에서 표시된 1건은 v1.0 결과에 모름으로 집계 |
| 수집 기간 | 2026-10-28부터 늦어도 11-11까지 | 2026-10-28부터 10-29까지, 200건 전부 유효 |
| 응답 시각이 마감일을 넘긴 진행 공고 | 분석에서 빼고 건수를 밝힘 | 해당 없음(0건) |