z7r7y7/DLTD

Dual Transparent Liquid Dataset (DTLD) 数据集使用RealSense D435立体深度相机在1280×720分辨率下以30 FPS同时捕捉RGB和深度数据，包含27,678张图像，这些图像在三个实验室场景中捕捉，专注于生物医学实验中常用的四种细胞培养管。数据集的结构包括RGB图像、深度图像、注释文件等，注释文件包含相机参数、物体标识、边界框、液体高度等信息。数据集可用于液体高度估计、6D姿态估计、物体分割等用途。The Dual Transparent Liquid Dataset (DTLD) utilizes a RealSense D435 stereo depth camera to simultaneously capture RGB and depth data at a resolution of 1280×720 at 30 FPS. It consists of 27,678 images captured in three laboratory scenarios, focusing on four commonly used types of cell culture tubes in biomedical experiments. Each frame includes an RGB image, a corresponding depth image, and annotation files containing camera intrinsic parameters, rotation and translation parameters, object identifiers, object bounding boxes, visible bounding boxes, pixel counts, visible pixel counts, visual scale of target objects, and the level of liquid in the container along with marked key point pixel positions. The dataset can be used for tasks such as liquid height estimation, 6D pose estimation, and object segmentation.

搜集汇总

数据集介绍

构建方式

在智能生物制药实验室的自动化进程中，精准识别透明容器内液位高度成为关键挑战。为此，研究者构建了双透明液体数据集（DLTD），旨在为计算机视觉系统提供高质量的RGB-D图像与液位标注。数据集利用Intel RealSense D435立体深度相机，以1280×720分辨率、30帧每秒的速率同步采集RGB与深度图像。数据涵盖三种实验室场景，聚焦于生物医学实验中四种常见细胞培养管。通过Progresslabeller工具标注6D位姿，借助Labelme工具标注液位关键点像素位置，最终形成27,678张图像及其对应的深度图、掩码与可见性掩码。

特点

该数据集的核心特点在于其多模态与精细化标注的融合。每一帧均包含高分辨率RGB图像、对应深度图像以及丰富的元数据，如相机内参、外参、深度缩放因子等。标注信息不仅涵盖目标物体的6D位姿、边界框和可见性分数，还创新性地提供了容器内液体高度（毫米）与液位关键点像素坐标，填补了透明容器液位估计领域的数据空白。数据集按场景分目录组织，每个场景包含RGB、深度、掩码及可见性掩码子文件夹，并配有场景相机参数、地面真值及液位信息的JSON文件，便于多任务联合研究。

使用方法

DLTD数据集适用于液体高度估计、6D位姿估计与目标分割等计算机视觉任务。使用时，用户可通过读取场景编号对应的目录，加载RGB与深度图像，并解析scene_camera.json获取相机参数。通过scene_gt.json获取物体位姿与类别ID，结合scene_gt_info.json中的边界框与可见性信息进行物体检测与位姿回归。液位估计任务则需利用scene_gt_liquid.json中的液体高度和关键点坐标，配合Labelme标注的掩码图像训练回归模型。数据集以MIT协议开源，支持灵活的研究与工程应用。

背景与挑战

背景概述

在生物医学实验的自动化进程中，对透明容器内液体状态的精准感知是智能实验室构建的核心环节之一。然而，由于透明材质的折射、反射特性以及液面与容器壁的视觉混淆，传统视觉方法难以准确获取容器内液体的高度信息。为此，由Ruiyun Zhong于近期主导创建的DLTD（Dual Transparent Liquid Dataset）数据集应运而生。该数据集利用Intel RealSense D435立体深度相机，在三种实验室场景下同步采集了27,678张分辨率为1280×720的RGB与深度图像，聚焦于生物医学实验中四种常用的细胞培养管。数据集不仅提供了6D位姿、目标分割掩码，还创新性地标注了液面高度与关键点像素位置，为液体高度估计、6D位姿估计及目标分割等研究提供了标准化的测试基准，显著推动了透明液体感知领域的发展。

当前挑战

DLTD数据集所面临的挑战主要源于透明物体感知的固有困难与数据构建的复杂性。在领域问题层面，透明容器和液体的光学特性使得传统RGB图像难以区分液面边界，深度传感器也常因光线穿透或反射产生噪声，导致液面高度估计与6D位姿回归的精度受限。此外，不同液体颜色、容器纹理及光照变化进一步加剧了模型的泛化难度。在数据集构建过程中，挑战同样显著：首先，透明材质的标注高度依赖人工经验，利用Progresslabeller和Labelme工具进行6D位姿与液面关键点标注时，需反复校准以避免折射导致的误差；其次，多场景（三种实验室环境）与多类别（四种培养管）的同步采集要求严苛的硬件同步与光照控制，以确保RGB与深度图像的对齐质量；最后，液面高度随容器倾斜、液体晃动等动态因素变化，增加了标注一致性与数据多样性的平衡难度。

常用场景

经典使用场景

在生物医学实验的自动化进程中，透明容器内液体高度的精准测量始终是一项极具挑战性的视觉任务。该数据集为双模态透明液体检测任务提供了标准化的评测基准，其经典使用场景聚焦于利用RGB与深度图像的联合信息，对四种常见细胞培养管（T25、T75、T175培养瓶及G-rex培养瓶）中的液面高度进行毫米级精确估计。研究者可基于该数据集的同步RGB-D数据与液面标注，开发并验证融合几何特征与表观信息的深度学习模型，从而在实验室环境下实现透明容器内液体状态的自动感知。

衍生相关工作

该数据集的发布催生了一系列具有代表性的后续研究工作。在方法层面，研究者基于其多模态标注开发了结合深度图引导与注意力机制的透明物体液面回归网络，以及利用对称性先验改进透明容器6D姿态估计的轻量化模型。在任务拓展方面，部分工作将该数据集与合成数据生成技术结合，提出了面向透明物体的域自适应训练框架；另有研究以其为基准，探索了基于神经隐式表示的全场景透明物体重建方法。这些衍生工作不仅验证了数据集的学术价值，也进一步推动了透明物体感知领域从特定任务向通用解决方案的演进。

数据集最近研究

最新研究方向

在生物医学实验自动化领域，精确感知透明容器内液体状态是智能实验室构建的关键挑战。DTLD数据集通过RealSense D435立体深度相机同步采集RGB与深度图像，聚焦于四种常见细胞培养管的液位估计与六维位姿估计任务。当前前沿研究方向包括基于多模态融合的透明物体液位深度学习预测、结合几何约束的6D位姿估计以及实例分割技术，旨在克服透明材质与液体界面带来的视觉歧义性。该数据集的发布推动了非接触式液位监测在药物研发、细胞培养等生物制造场景中的应用，为构建高精度、低干预的智能生物实验室提供了标准化基准，具有显著的科研转化潜力。