遇见数据集

Do chatbots give up-to-date French official amounts? Loxyn measurement M1 (30–31 October 2026): data and proofs

收藏
Zenodo2026-10-31 更新2026-11-05 收录
官方服务:

资源简介:

Do chatbots give up-to-date French official amounts? Twelve amounts millions of people look up (minimum wage, RSA, AAH, ASPA, social security ceiling, Livret A, family allowances, the flat fee on medical consultations, the price of a stamp), verified on the official pages on 30 October 2026. Arm A, seven models without web search (Mistral Medium 3.5 and Small 3.2, Llama 3.3 70B, gpt-oss-120b, Gemma 4, Qwen 3.5, DeepSeek V4.1 Flash, on Scaleway): 10 up-to-date answers out of 84, 7 of them on the Livret A cap, unchanged since 2013; gpt-oss-120b presents wrong amounts as dated "30 October 2026". Arm B, consumer chatbots with web search, by hand: ChatGPT (free) 12 / 12, Gemini (Flash) 12 / 12; added afterwards, Mistral's Le Chat ("Vibe", free) 12 / 12. Preregistered, sealed and anchored in Bitcoin before the first question; mechanical classification; every deviation recorded. All raw answers and screenshots are included. See README.md. Les chatbots donnent-ils les montants officiels français à jour ? Douze montants que des millions de personnes cherchent (SMIC, RSA, AAH, ASPA, plafond de la Sécurité sociale, livret A, allocations familiales, participation forfaitaire, timbre), vérifiés sur les pages officielles le 30 octobre 2026. Bras A, sept modèles sans recherche web (Mistral Medium 3.5 et Small 3.2, Llama 3.3 70B, gpt-oss-120b, Gemma 4, Qwen 3.5, DeepSeek V4.1 Flash, chez Scaleway) : 10 réponses à jour sur 84, dont 7 sur le plafond du livret A, inchangé depuis 2013 ; gpt-oss-120b présente des montants faux comme datés du « 30 octobre 2026 ». Bras B, chatbots grand public avec recherche web, à la main : ChatGPT (gratuit) 12 / 12, Gemini (Flash) 12 / 12 ; ajouté ensuite, Le Chat de Mistral (« Vibe », gratuit) 12 / 12. Préenregistré, scellé et ancré dans Bitcoin avant la première question ; classement mécanique ; tous les écarts consignés. Toutes les réponses brutes et les captures d'écran sont jointes. Voir 00 — LISEZ-MOI.md.

提供机构:
Zenodo
创建时间:
2026-10-31
二维码
社区交流群
二维码
科研交流群
商业服务