Vi-VLM/Vista
收藏数据集卡片 "Vista"
数据集概述
该数据集包含超过700,000个越南语视觉语言样本，由Gemini Pro创建。采用了多种提示工程技术：少样本学习、基于标题的提示和基于图像的提示。
-
对于COCO数据集，使用Llava风格的提示生成数据。
-
对于ShareGPT4V数据集，使用翻译提示。
-
基于标题的提示：涉及使用原始数据集中的准确标题和边界框。
-
基于图像的提示：使用图像创建标题和对话。
数据集结构
数据集分为5个子集：
| 子集 | 分割 | 方法 | 大小 |
|---|---|---|---|
| Vi-LLAVA conversation | train | 基于标题 | 107,052 |
| validation | 4,550 | ||
| Vi-LLAVA complex reasoning | train | 基于标题 | 112,650 |
| validation | 4,771 | ||
| Vi-LLAVA detail description | train | 基于标题 | 111,153 |
| validation | 4,714 | ||
| Vi-ShareGPT4V | 翻译 | 96,913 | |
| Vi-WIT | 基于标题, 基于图像 | 264,831 | |
| 总计 | 706,634 |
数据集创建
源数据
数据收集自以下来源：
数据实例
以下是数据集中的示例样本：
<details>
<summary>点击查看 vi_llava_conversation 的示例</summary>
json { "captions": [ "Một người đàn ông đội mũ bảo hiểm đỏ trên một chiếc xe máy nhỏ trên một con đường đất.", "Một người đàn ông đi xe máy trên một con đường đất ở nông thôn.", "Một người đàn ông ngồi sau một chiếc mô tô.", "Một con đường đất với một người trẻ tuổi trên một chiếc xe máy nằm ở tiền cảnh của một khu vực xanh tươi với một cây cầu và một nền tảng của những ngọn núi phủ đầy mây.", "Một người đàn ông mặc áo sơ mi đỏ và đội mũ đỏ đang đi mô tô trên sườn đồi." ], "coco_url": "http://images.cocodataset.org/train2017/000000391895.jpg", "conversation": [ { "content": "Người đàn ông trong hình đang làm gì?", "role": "user" }, { "content": "Người đàn ông trong hình đang đi một chiếc xe máy nhỏ màu đỏ trên một con đường đất ở khu vực nông thôn.", "role": "assistant" }, { "content": "Người đàn ông đang mặc gì?", "role": "user" }, { "content": "Người đàn ông đang mặc áo sơ mi đỏ, quần đen và mũ bảo hiểm đỏ.", "role": "assistant" }, { "content": "Có những thứ khác trong hình ngoài người đàn ông và xe máy không?", "role": "user" }, { "content": "Có, ngoài người đàn ông và xe máy, còn có một cây cầu nhỏ phía sau và một dãy núi phủ đầy mây ở xa.", "role": "assistant" }, { "content": "Bạn có thể mô tả cảnh quan xung quanh con đường đất không?", "role": "user" }, { "content": "Cảnh quan xung quanh con đường đất là một vùng nông thôn xanh tươi với những ngọn đồi thoai thoải và cây cối xum xuê.", "role": "assistant" } ], "date_capture": "2013-11-14 11:18:45", "file_name": "000000391895.jpg", "flickr_url": "http://farm9.staticflickr.com/8186/8119368305_4e622c8349_z.jpg", "height": 360, "id": "391895", "width": 640 }
</details>
<details>
<summary>点击查看 vi_sharegpt4v 的示例</summary>
json { "en_conversations": [ { "from": "human", "value": "What do you see happening in this image? <image>" }, { "from": "gpt", "value": "In the center of the image, a vibrant blue lunch tray holds four containers, each brimming with a variety of food items. The containers, two in pink and two in yellow, are arranged in a 2x2 grid.
In the top left pink container, a slice of bread rests, lightly spread with butter and sprinkled with a handful of almonds. The bread is cut into a rectangle, and the almonds are scattered across its buttery surface.
Adjacent to it in the top right corner, another pink container houses a mix of fruit. Sliced apples with their fresh white interiors exposed share the space with juicy chunks of pineapple. The colors of the apple slices and pineapple chunks contrast beautifully against the pink container.
Below these, in the bottom left corner of the tray, a yellow container holds a single meatball alongside some broccoli. The meatball, round and browned, sits next to the vibrant green broccoli florets.
Finally, in the bottom right yellow container, theres a sweet treat - a chocolate chip cookie. The golden-brown cookie is dotted with chocolate chips, their dark color standing out against the cookies lighter surface.
The arrangement of these containers on the blue tray creates a visually appealing and balanced meal, with each component neatly separated yet part of a cohesive whole." } ], "id": "000000000009", "image": "coco/train2017/000000000009.jpg", "vi_conversations": [ { "from": "human", "value": "Bạn thấy gì đang xảy ra trong hình ảnh này? <image>" }, { "from": "gpt", "value": "Ở giữa hình ảnh, một khay ăn trưa màu xanh lam rực rỡ chứa bốn hộp đựng, mỗi hộp đựng đầy một loạt các loại thực phẩm. Các hộp đựng, hai màu hồng và hai màu vàng, được sắp xếp theo lưới 2x2.
Trong hộp đựng màu hồng ở góc trên bên trái, một lát bánh mì nằm, phết nhẹ bơ và rắc một ít hạnh nhân. Bánh mì được cắt thành hình chữ nhật, và hạnh nhân rải khắp bề mặt bơ.
Kế bên ở góc trên bên phải, một hộp đựng màu hồng khác chứa hỗn hợp trái cây. Táo cắt lát với phần ruột màu trắng tươi được phơi ra, chia sẻ không gian với những miếng dứa ngon ngọt. Màu sắc của các lát táo và miếng dứa tương phản đẹp mắt với hộp đựng màu hồng.
Bên dưới các hộp này, ở góc dưới bên trái của khay, một hộp đựng màu vàng chứa một viên thịt viên duy nhất bên cạnh một ít bông cải xanh. Viên thịt viên tròn và có màu nâu, nằm cạnh những bông cải xanh có màu xanh lục rực rỡ.
Cuối cùng, trong hộp đựng màu vàng ở góc dưới bên phải, có một món ăn ngọt - một chiếc bánh quy sô cô la chip. Chiếc bánh quy màu nâu vàng được rải những mẩu sô cô la chip, màu sẫm của chúng nổi bật trên bề mặt bánh quy nhạt hơn.
Việc sắp xếp các hộp đựng này trên khay màu xanh lam tạo nên một bữa ăn cân bằng và hấp dẫn về mặt thị giác, với từng thành phần được tách riêng nhưng vẫn là một phần của một tổng thể gắn kết." } ] }
</details>
<details>
<summary>点击查看 vi_wit 的示例</summary>
json { "attribution_passes_lang_id": False, "caption_alt_text_description": "", "caption_attribution_description": "English: A picture of Panicum virgatum.", "caption_reference_description": "", "context_page_description": "Panicum virgatum, một loài thực vật có hoa trong họ Hòa thảo, thường được biết đến với tên gọi "switchgrass", là một loại cỏ bụi sống lâu năm mọc bản địa ở Bắc Mỹ vào các mùa ấm áp, nơi mà nó thường mọc tự nhiên từ vĩ tuyến 55 độ N ở Canada và tiến về phía nam vào Hoa Kỳ với Mexico. Switchgrass là một trong các loài thực vật chiếm ưu thế tại các đồng cỏ cao ở vùng trung Bắc Mỹ và có thể được tìm thấy ở các đồng cỏ lâu năm, đồng cỏ bản địa, và mọc tự nhiên ở các vệ đường. Nó thường được sử dụng chủ yếu để bảo tồn đất trồng, sản xuất các sản phẩm thức ăn cho súc vật, sử dụng trong các cuộc săn, làm cỏ trồng kiểng. Gần đây nó được sử dụng để sản xuất sinh khối cho năng lượng sinh học như ethanol hay butanol, các dự án khử độc đất bằng cây trồng, sản xuất sợi, điện năng, nhiệt năng và còn được sử dụng để cô lập sinh học cacbon điôxít trong khí quyển.", "context_section_description": "Cỏ switchgrass đã được nghiên cứu làm cây trồng cho năng lượng sinh học tái sinh kể từ giữa nh
