mesolitica/chatgpt-malaysian-open-qa
收藏资源简介：
Synthetic Malaysian Open QA是一个问答数据集，使用ChatGPT3.5在MS Wikipedia、MS Common Crawl和Malaysia Hansard上生成。数据集包含三个文件：common-crawl-qa.jsonl（69,829行，291 MB）、hansard-qa.jsonl（42,368行，344 MB）和wikipedia-qa.jsonl（44,923行，238 MB）。数据示例展示了包含段落和问答对的数据格式，问答对涉及马来西亚不同地点的信息。
合成式马来西亚开放问答（Synthetic Malaysian Open QA）是一款问答类数据集，通过ChatGPT 3.5基于MS 维基百科（MS Wikipedia）、MS 通用爬虫数据集（MS Common Crawl）与马来西亚议会辩论实录（Malaysia Hansard）三大数据源生成。该数据集共包含三个数据文件：common-crawl-qa.jsonl（69,829行，291 MB）、hansard-qa.jsonl（42,368行，344 MB）以及wikipedia-qa.jsonl（44,923行，238 MB）。数据集配套提供数据示例，可直观展示包含段落与问答对的数据格式，其中问答对内容均围绕马来西亚境内各类地点的相关信息展开。
Synthetic Malaysian Open QA
数据集概述
- 任务类别: 问答 (question-answering)
- 语言: 马来语 (ms)
- 名称: synthetic-malaysian-open-qa
数据来源
- 数据集由ChatGPT3.5生成，基于以下资源：
- MS Wikipedia
- MS Common Crawl
- Malaysia Hansard
数据文件
- common-crawl-qa.jsonl: 69829行，291 MB
- hansard-qa.jsonl: 42368行，344 MB
- wikipedia-qa.jsonl: 44923行，238 MB
示例数据
python {paragraph: "PANDAN JAYA SITI AISHAH KUALA LUMPUR SUHANI KUALA LUMPUR SUMI BANDAR TUN RAZAK SYAHIDA TAMAN SEPAKAT (AU 3) Pantai Dalam, (Klik nama untuk WhatsApp, klik lokasi untuk Google Map) SULAIMAN JALAN BANGSAR Setapak (Klik nama untuk WhatsApp, klik lokasi untuk Google Map) INTAN NOOR SETAPAK LAN JANGGUT JALAN REJANG NAZ WANGSA MAJU (SEKSYEN 1 - 10) SARAZIAH JALAN LANGKAWI Setapak Jaya (Klik nama untuk WhatsApp, klik lokasi untuk Google Map) DILA TAMAN SERI RAMPAI RAFIZAH MUTHALIP JALAN REJANG Sg Besi (Klik nama untuk WhatsApp, klik lokasi untuk Google Map) YASMINRAMZI JALAN LANDAI PERMAI Sri Petaling (Klik nama untuk WhatsApp, klik lokasi untuk Google Map) HAIZUL JON BANDAR BARU SERI PETALING + Melaka (23) Nama Lokasi Alor Gajah (Klik nama untuk WhatsApp, klik lokasi untuk Google Map) SHAH ALOR GAJAH Bukit Katil (Klik nama untuk WhatsApp, klik lokasi untuk Google Map) HASIMAH SAHMAT BUKIT KATIL Jasin (Klik nama untuk WhatsApp, klik lokasi untuk Google Map) HANIM MADEL BEMBAN (PEKAN) Kuala Sungai Baru (Klik nama untuk WhatsApp, klik lokasi untuk Google Map) MIRA BADRUL KUALA SUNGAI BARU Lubok China (Klik nama untuk WhatsApp, klik lokasi untuk Google Map) OZZY KAMPUNG RAMUAN CHINA KECHIL Masjid Tanah (Klik nama untuk WhatsApp, klik lokasi untuk Google Map) NURHANUM NORDIN TAMAN BANDAR BARU SNZL MASJID TANAH IRMAYANA (EMA) TAMAN BIDARA PERMAI Melaka (Klik nama untuk WhatsApp, klik lokasi untuk Google Map) AZIMAH HUSSAIN LORONG PANDAN AFIY TAMAN KENANGA (SEKSYEN 1) IZA SURYANI MELAKA KHALIDAH IDAH BALIK BATU MAZIDA SIRAN JALAN PERMATANG PASIR NAIZATUL SURAYA KAMPUNG BACHANG PASIR PUTIH NGOH MIN BUKIT BARU NURHAZWANI MELAKA NURUL HASANAH MELAKA SITI DAYANG AYER MOLEK SOFIAH MOHAMED BUKIT PIATU SURIAH JALAN POKOK MANGGA CIK PUTERI DUYONG Merlimau (Klik nama untuk WhatsApp, klik lokasi untuk Google Map) WAWA SERKAM PANTAI SOLEHATUL MARDHIYYAH BUKIT TEMBAKAU + Negeri Sembilan (17) Nama Lokasi Gemas (Klik nama untuk WhatsApp, klik lokasi untuk Google Map) FARA_FARIZZIDA FELDA PALONG (4 - 6) NAJIHAH FELDA PASIR BESAR RUSLIZA ABDULLAH PUSAT BANDAR PALONG Kuala Pilah (Klik nama untuk WhatsApp, klik lokasi untuk Google Map) NURUL AKMA KUALA PILAH Malay (Klik nama untuk WhatsApp, klik lokasi untuk Google Map) GAYAHGEBU73 KAMPUNG BUKIT TEMBOK Nilai (Klik nama untuk WhatsApp, klik lokasi untuk Google Map) SANDII ALIZAN TAMAN SEMARAK ARUNKUMAR A/L NILAI KHAIRULNIZAM BANDAR NILAI IMPIAN FADZILAH NILAI Rembau (Klik nama untuk WhatsApp, klik lokasi untuk Google Map) MAZLIENA MOHD TAMAN REMBAU UTAMA SHAHIRA AIN KAMPUNG PERIGI JERNIH Senawang (Klik nama untuk WhatsApp, klik lokasi untuk Google Map) RADIAH PADZIL SENAWANG Seremban (Klik nama untuk WhatsApp, klik lokasi untuk Google Map) MAZNI MRAMLY TAMAN TUANKU JAAFAR NABIHAH BEEHA TAMAN RASAH JAYA FAIZAH IDRIS TAMAN DATO SHAH BANDAR RABY KHAIDZIR TAMAN ALAMANDA Tanjong Ipoh (Klik nama untuk WhatsApp, klik lokasi untuk Google Map) NORAFRA AZMIRA TANJUNG IPOH + Pahang (31) Nama Lokasi Bandar Jengka (Klik nama untuk WhatsApp, klik lokasi untuk Google Map) LINI HAIZA BANDAR JENGKA Bandar Temerloh (Klik nama untuk WhatsApp, klik lokasi untuk Google Map) NORMALA TEMERLOH Chini (Klik nama untuk WhatsApp, klik lokasi untuk Google Map) ZILA TUAH FELDA CHINI (2, 3, 5) Jengka (Klik nama untuk WhatsApp, klik lokasi untuk", qa: {qa: [{question: Siapakah yang berada di Pantai Dalam?, answer: Suhani}, {question: Di mana lokasi SHAH di Alor Gajah?, answer: Bukit Katil}, {question: Siapakah yang berada di Taman Rembau Utama?, answer: Mazliena Mohd}]}}
