한국어 LLM 인용 출처 실측 — 전국 피부과 450곳 (Gemini·GPT-5, 2026-08-13)
收藏资源简介:
한국어로 "○○에서 피부과 잘하는 곳"처럼 후보를 찾는 질문을 두 언어모델에 던졌을 때, 답변의 근거로 어떤 도메인이 인용되는지, 그중 병원이 소유한 공식 사이트는 얼마나 되는지를 실측한 자료입니다. 모집단: 건강보험심사평가원 표시과목 피부과(05) · 전국 · 피부과 전문의 1인 이상 · 공식 웹사이트 보유 조건을 모두 만족하는 450개소 전수(표집 아님), 16개 시도. 설계: 발견형 프롬프트 3종 × 16개 시도 × 10회 반복 = 모델당 480회 호출, 실패 0. Gemini 3 Flash(Google Search 그라운딩)와 GPT-5(web_search 도구)를 같은 날 측정했습니다. 소유 판정은 도메인 문자열 매칭이 아니라 공적 명부의 공식 website 와 대조했습니다. 주요 결과: 병원 공식 도메인 인용 비율이 Gemini 9.1%(5,218건 중 476건), GPT-5 37.5%(3,403건 중 1,276건)로 갈렸습니다. 답변에 등장한 병원은 각각 63곳과 91곳이며 44곳만 겹칩니다. 인용 횟수를 종속변수로 한 음이항 회귀에서 색인된 페이지 수가 발행 페이지 수보다 훨씬 강하게 인용을 설명했습니다. 한계: 각 모델 1회차입니다. 4일 간격 재측정에서 소유 비율은 재현됐으나 인용된 병원 명단은 60%만 겹쳤으므로 개별 병원 진술에 쓰지 마십시오. 네이버 AI 브리핑은 공식 API가 없어 빠졌습니다. 관찰 자료이며 인과가 아닙니다. 색인 수는 10에서 절단돼 있습니다. 단일 진료과·단일 시점입니다. 정정 이력: 이 조사는 2026-08-13 에 두 번 정정됐습니다(집계 버그로 인한 소유 비율 18배 과소집계, 색인 측정 후 해석 정정). 두 건 모두 공개돼 있습니다. 수치를 인용하실 때 모집단·기간·모델을 함께 적어 주십시오. 이 값들은 회차마다 흔들리며, 시점 없이 인용되면 낡은 값이 사실처럼 돌아다니게 됩니다. 코드: 수집·해소·프로브·분석 스크립트 전문을 공개했습니다 — https://github.com/hoon0510/intrix-lab. 프롬프트 원문이 collect.ts 에 그대로 박혀 있고, 대표 페이지 선정 규칙과 소유 판정 로직도 코드로 확인하실 수 있습니다. 원자료(병원 실명 포함)와 모집단 명부는 그 저장소에 두지 않았습니다. 정정(2026-08-13): 최초 발행 시 설명에 "코드가 공개돼 있다"고 적었으나 당시 저장소는 비공개였습니다. 같은 날 연구 코드만 분리해 공개하고 이 항목을 정정했습니다. DOI 와 파일은 그대로입니다. 코드: 수집·해소·프로브·분석 스크립트 전문을 공개했습니다 — https://github.com/hoon0510/intrix-lab. 프롬프트 원문이 collect.ts 에 그대로 박혀 있고, 대표 페이지 선정 규칙과 소유 판정 로직도 코드로 확인하실 수 있습니다. 원자료(병원 실명 포함)와 모집단 명부는 그 저장소에 두지 않았습니다. 정정(2026-08-13): 최초 발행 시 설명에 "코드가 공개돼 있다"고 적었으나 당시 저장소는 비공개였습니다. 같은 날 연구 코드만 분리해 공개하고 이 항목을 정정했습니다. DOI 와 파일은 그대로입니다. 측정: (주)인트릭스 · https://intrix.kr/lab



