Qwen-VL (Vision)

Qwen-VL is the large vision language model of the Qwen series. It generates content based on images, text, and bounding boxes as input. With leading performance verified by multiple evaluation benchmarks, Qwen-VL can perform fine-grained text recognition in both Chinese and English, compare and analyze these images, then create stories, solve math problems, or answer questions.

Qwen-VL 是 Qwen 系列的大视觉语言模型，以图像、文本及边界框（bounding box）为输入生成内容。经多项评估基准验证，其性能位居行业领先水平。该模型可实现中英双语细粒度文本识别，能够对图像进行对比分析，进而生成故事、解答数学问题或回应各类问询。

原始信息汇总

Qwen-VL (Vision) 数据集概述

基本描述

• 数据集名称：Qwen-VL (Vision)
• 类别：Artificial Intelligence/Machine Learning
• 提供商：Swift API
• 订阅计划：
  • BASIC: $1.00 / mo
  • PRO: $5.00 / mo
  • ULTRA: $25.00 / mo
  • MEGA: $75.00 / mo

功能概述

• Qwen-VL 是 Qwen 系列的大型视觉语言模型。
• 能够基于图像、文本和边界框作为输入生成内容。
• 在多个评估基准中表现领先。
• 支持中英文细粒度文本识别、图像比较分析、故事创作、数学问题解决和问题回答。

Qwen2.5-VL 增强功能

关键增强

1. 强大的文档解析能力：

   • 升级文本识别为全文档解析。
   • 擅长处理多场景、多语言及各种内置文档（手写、表格、图表、化学公式和乐谱）。

2. 精确的对象定位：

   • 提高对象检测、指向和计数的准确性。
   • 支持绝对坐标和 JSON 格式，适用于高级空间推理。

3. 超长视频理解与细粒度视频定位：

   • 扩展原生动态分辨率至时间维度。
   • 增强对长达数小时视频的理解能力，并能在秒级提取事件片段。

4. 增强的计算机和移动设备代理功能：

   • 利用先进的定位、推理和决策能力。
   • 提升智能手机和计算机上的代理功能。

模型架构更新

1. 动态分辨率和帧率训练：

   • 采用动态 FPS 采样扩展动态分辨率至时间维度。
   • 更新 mRoPE 在时间维度上的 ID 和绝对时间对齐，使模型能够学习时间序列和速度。

2. 高效视觉编码器：

   • 通过窗口注意力策略提升训练和推理速度。
   • 使用 SwiGLU 和 RMSNorm 进一步优化 ViT 架构，与 Qwen2.5 LLM 结构对齐。

提供商信息

• 创建者：Swift API
• 订阅者数量：1
• 类别：Artificial Intelligence/Machine Learning
• 资源：Product Website

搜集汇总

背景与挑战

背景概述

Qwen-VL是千问系列的大型视觉语言模型，支持图像、文本和边界框的多模态输入，具备中英文细粒度文本识别能力，可用于图像分析、故事创作、数学解题和问答等任务，在多项评测中表现优异。