mesolitica/synthetic-multiturn-multimodal

该数据集名为Multiturn Multimodal，旨在生成能够理解多图像和多音频之间位置和关系的合成数据。数据集包含三个部分：多图像关系、多图像多音频关系以及多音频关系。每个部分都提供了示例数据，展示了图像和音频之间的关系或缺乏关系。数据集的目的是帮助模型理解复杂的多模态交互。

原始信息汇总

Multiturn Multimodal 数据集概述

数据集内容

多图像关系数据集

• 文件名: synthetic-multi-images-relationship.jsonl
• 数据量: 100000行
• 文件大小: 109MB
• 示例数据: python {filename: [00370/003705168.jpg, 00611/006111738.jpg], filename_description: [paco man edp gift set, "raspberry lemonade is a must in new yorks famous cocktail scene"], instruction: What is related between picture 1 and picture 2, answer: "There is no direct relation between Picture 1 (Paco Rabanne 1 Million Edp Gift Set) and Picture 2 (Raspberry Lemonade being a must in New Yorks famous cocktail scene). Both are unrelated to each other. The first picture is an image of a perfume gift set, while the second picture is a depiction of a popular cocktail in New York City.", instruction_ms: Apakah yang berkaitan antara gambar 1 dan gambar 2, answer_ms: Tiada hubungan langsung antara Gambar 1 (Paco Rabanne 1 Million Edp Gift Set) dan Gambar 2 (Raspberry Lemonade menjadi must dalam adegan koktel terkenal di New York). Kedua-duanya tidak berkaitan antara satu sama lain. Gambar pertama ialah imej set hadiah minyak wangi, manakala gambar kedua ialah gambaran koktel popular di New York City.}

多图像多音频关系数据集

• 文件名: synthetic-multi-images-multi-audio-relationship.jsonl
• 数据量: 59400行
• 文件大小: 96.6 MB
• 示例数据: python {filename: [output-audio/3-2648-47.mp3, 00180/001805101.jpg], filename_description: [Saya mahu muka mereka terlihat beras, anda tahu apa yang saya maksudkan. Dan sanitizer. Dan kemudian ini adalah earphone. Sama-sama kalau airpod saya, anda tahu, hilang bateri. Saya tidak pasti jika saya patut membawa tripod saya kerana saya mungkin. Adakah saya akan melakukan TikTok di kafe? Saya tidak tahu tetapi tidak menyakiti untuk membawanya. Maksud saya, ia tidak begitu keras. Saya perlu membawa krim tangan saya. Dan kemudian bumbu. Dan lip balm. Dan kemudian kita siap untuk pergi., a water wheel with moss growing on the wheels metal print by randall white], instruction: What is related between audio 1 and picture 1, answer: "The audio and picture do not have a direct relation to each other. The audio is about preparing items for an outing, including sanitizer, earphones, a tripod, and various other personal items. The picture is a print of a water wheel with moss growing on it by Randall White. There is no connection between the audios content and the pictures subject matter.", instruction_ms: Apakah yang berkaitan antara audio 1 dan gambar 1, answer_ms: Audio dan gambar tidak mempunyai hubungan langsung antara satu sama lain. Audio adalah mengenai penyediaan item untuk keluar, termasuk pembersih, fon telinga, tripod dan pelbagai barangan peribadi lain. Gambar itu ialah cetakan roda air dengan lumut yang tumbuh di atasnya oleh Randall White. Tiada kaitan antara kandungan audio dan subjek gambar.}

多音频关系数据集

• 文件名: synthetic-multi-images-multi-audio-relationship.jsonl
• 数据量: 25100行
• 文件大小: 65.1 MB
• 示例数据: python {filename: [output-audio/3-2080-38.mp3, output-audio/0-2823-0.mp3], filename_description: [Terima kasih Menteri. Saya jemput soalan tambahan yang kedua. Bagan Serai. Terima kasih Tuan Speaker. Berapakah jumlah kemalangan yang menyebabkan kematian disebabkan oleh pengaruh handphone, penggunaan handphone semasa mandu. Kerana guna handphone mandu ini dia macam mabuk lebih Tuan Speaker. Dan dia hilang orientasi. Dia tak tahu di mana traffic light, dia tak tahu dia di mana berada dan tiba-tiba dah sampai. Jadi apa kerajaan nak buat untuk menurunkan tabiat buruk menggunakan handphone semasa mandu., dalam video tu saya dah kitamkan kening lah sebab benda tu kita mencuba so at least kita dah mencuba kita kan nak mencuba kan masa ni lah mencuba kan janganlah pula usia macam aku dah 50 pun nak cuba kenapa masa buat lagu raya cover tu tak boleh hijau sebab dia nak image ketupat macam Aina Abdul juga dia ketupat kita bawa image rambut tu warna hijau ketupat juga kan tapi dah habis raya after this memang nak reveal jugalah kan habis ni memang saya akan kekalkan image yang very very formal je lah], instruction: What is related between audio 1 and audio 2, answer: Audio 1 and Audio 2 are unrelated as they discuss different topics. In Audio 1, the speaker is discussing the issue of using handphones while driving and its contribution to accidents. In Audio 2, the speaker is talking about making a cover song for Raya and the challenges they faced in creating the image for the video., instruction_ms: Apakah yang berkaitan antara audio 1 dan audio 2, answer_ms: Audio 1 dan Audio 2 tidak berkaitan kerana mereka membincangkan topik yang berbeza. Dalam Audio 1, penceramah membincangkan isu menggunakan fon tangan semasa memandu dan sumbangannya kepada kemalangan. Dalam Audio 2, penceramah bercakap tentang membuat lagu penutup untuk Raya dan cabaran yang mereka hadapi dalam mencipta imej untuk video itu.}