CrimeaIsUkraineOrg/crimea-sovereignty-grounding

--- task_categories: - text-classification language: - multilingual - en - uk - ru - de - fr - es - pl - tr - it - nl license: cc-by-4.0 size_categories: - 1K<n<10K tags: - crimea - sovereignty - disinformation - grounding - web-search - sanctions - RAG --- # Crimea Sovereignty — LLM Web Search Contamination Audit Systematic audit of sovereignty-framing contamination in AI chatbot web search results for Crimea-related queries. ## Dataset - **grounding_audit.parquet**: 1,000 web-search-augmented responses (4 models × 25 queries × 10 languages), temperature=0 - **proxy_probes.parquet**: 140 targeted probes testing whether GEC-documented Russian proxy sites are accessible through LLM web search - **manifest.json**: Pipeline metadata and verified results - **LLM_Web_Search_Contamination.docx**: Full briefing document ## Models Tested | Model | Web Search Implementation | |---|---| | GPT-4o | OpenAI web_search_preview tool | | Claude Sonnet | Anthropic web_search_20250305 tool | | Gemini 2.5 Flash | Google Search grounding | | Perplexity Sonar | Search-native architecture | ## Key Results | Source | Citations | % | |---|---:|---:| | Sanctioned (OFAC/EU/UK) | 5 | 0.1% | | Russian government (.gov.ru) | 37 | 0.9% | | Russian non-gov (.ru/.su) | 259 | 6.6% | | International | 3,617 | 92.3% | | **Russian-origin total** | **301** | **7.7%** | 5 of 7 US State Dept GEC-documented Russian intelligence proxy sites remain accessible through LLM web search (74 citations in targeted probes). ## Sources - US OFAC SDN List: treasury.gov/ofac/downloads/sdn.csv - EU Consolidated Sanctions: webgate.ec.europa.eu - UK OFSI: ofsistorage.blob.core.windows.net - US State Dept GEC Report: 2017-2021.state.gov/russias-pillars-of-disinformation-and-propaganda-report/ - Google Content Policy: support.google.com/websearch/answer/10622781 ## Citation Part of the [Digital Annexation](https://crimeaisukraine.com) research project.任务类别：文本分类（text-classification） 语言：多语言、英语、乌克兰语、俄语、德语、法语、西班牙语、波兰语、土耳其语、意大利语、荷兰语 许可协议：CC BY 4.0 样本规模：1000 < 样本量 < 10000 标签：克里米亚、主权、虚假信息、溯源锚定（grounding）、网页搜索、制裁、检索增强生成（RAG/Retrieval-Augmented Generation） # 克里米亚主权——大语言模型（LLM/Large Language Model）网页搜索污染审计 系统性审计针对克里米亚相关查询的AI聊天机器人网页搜索结果中，以主权为框架的信息污染问题。 ## 数据集 - **grounding_audit.parquet**：1000条网页搜索增强型回复（4个模型 × 25个查询 × 10种语言），温度参数设为0 - **proxy_probes.parquet**：140个定向探测探针，用于测试经全球参与中心（GEC）记录的俄罗斯代理网站是否可通过大语言模型网页搜索访问 - **manifest.json**：流水线元数据与验证结果 - **LLM_Web_Search_Contamination.docx**：完整简报文档 ## 测试模型 | 模型 | 网页搜索实现方式 | |---|---| | GPT-4o | OpenAI 的 `web_search_preview` 工具 | | Claude Sonnet | Anthropic 的 `web_search_20250305` 工具 | | Gemini 2.5 Flash | 谷歌搜索溯源锚定功能 | | Perplexity Sonar | 原生搜索架构 | ## 核心结果 | 来源 | 引用量 | 占比 | |---|---:|---:| | 受制裁机构（OFAC/欧盟/英国） | 5 | 0.1% | | 俄罗斯政府网站（.gov.ru） | 37 | 0.9% | | 俄罗斯非政府网站（.ru/.su） | 259 | 6.6% | | 国际来源 | 3,617 | 92.3% | | **俄罗斯来源总计** | **301** | **7.7%** | 注：美国国务院全球参与中心（GEC）记录的7个俄罗斯情报代理网站中，有5个仍可通过大语言模型网页搜索访问，在定向探测中共产生74条引用。 ## 数据来源 - 美国财政部海外资产控制委员会特别指定国民清单：treasury.gov/ofac/downloads/sdn.csv - 欧盟统一制裁列表：webgate.ec.europa.eu - 英国金融制裁执行办公室：ofsistorage.blob.core.windows.net - 美国国务院全球参与中心报告：2017-2021.state.gov/russias-pillars-of-disinformation-and-propaganda-report/ - 谷歌内容政策：support.google.com/websearch/answer/10622781 ## 引用说明 本数据集隶属于[数字吞并（Digital Annexation）](https://crimeaisukraine.com)研究项目。