five

flow_around_cylinder|流体动力学数据集|机器学习数据集

收藏
github2023-12-21 更新2024-05-31 收录
流体动力学
机器学习
下载链接:
https://github.com/at-aaims/DataSiftML
下载链接
链接失效反馈
资源简介:
用于开发机器学习代理模型的流体动力学最优子采样研究的数据框架。

A data framework for the study of optimal subsampling in fluid dynamics for the development of machine learning agent models.
创建时间:
2023-09-26
原始信息汇总

数据集概述

数据来源

  • 数据集源自OpenFOAM模拟,原始数据可从此链接获取。

数据处理

  • 在线版本中,额外计算了力和单元中心。
  • 数据集可通过解压data.tgz文件获取。

数据集操作

  • 提供了多种子采样方法,包括比例子采样、随机子采样、全数据集采样等。
  • 使用python subsample_maxent.py等脚本进行数据子采样,参数如--path, --target, -ns, -nc等用于指定路径、目标、样本数和聚类数。
  • 支持通过--subsample参数选择不同的子采样方法,如equal, random-weighted等。
  • 使用--dtype参数指定数据类型,如interpolated, csv等。

数据集应用

  • 数据集用于机器学习模型的训练和验证,如通过python train.py脚本进行神经网络训练。
  • 支持时间序列预测,通过设置--window参数进行窗口样本的子采样,并使用LSTM架构进行训练。

数据集可视化

  • 通过ffmpeg命令创建结果视频,用于展示maxent.py的输出。

注意事项

  • 更改特征、目标、窗口或数据类型定义后,需删除snapshots/raw_data.npz文件以避免错误或不正确的结果。
  • 为复现AI4S论文中的图8结果,需运行特定命令多次并平均结果。
AI搜集汇总
数据集介绍
main_image_url
构建方式
flow_around_cylinder数据集基于OpenFOAM模拟生成,原始数据来源于GitHub上的公开资源。在此基础上,研究者进一步计算了流体力学中的力和单元中心数据,并通过一系列Python脚本对数据进行处理和子采样。数据集的构建过程包括从OpenFOAM模拟结果中提取关键物理量,并通过最大熵(MaxEnt)方法或随机方法对数据进行子采样,以优化机器学习模型的训练效果。
特点
该数据集的特点在于其高度结构化的流体动力学模拟数据,涵盖了圆柱绕流问题中的关键物理量,如阻力(drag)和压力(pressure)。数据集提供了多种子采样方法,包括最大熵子采样、随机子采样以及基于k近邻(kNN)的采样策略,能够有效支持机器学习模型的训练与验证。此外,数据集还支持对三维表面安装立方体案例的分析,并提供了时间序列预测的功能,适用于多种流体动力学研究场景。
使用方法
使用flow_around_cylinder数据集时,首先需要配置Python环境并安装相关依赖。通过运行提供的Python脚本,用户可以选择不同的子采样方法(如最大熵子采样或随机子采样)对数据进行处理。数据集支持多种输入格式,包括OpenFOAM生成的原始数据和CSV文件。用户还可以通过Docker容器运行OpenFOAM,并使用ParaView进行数据插值处理。对于时间序列预测任务,数据集提供了LSTM架构的训练支持,用户可以通过指定时间窗口参数生成序列数据并进行模型训练。
背景与挑战
背景概述
flow_around_cylinder数据集源于流体动力学领域的研究,旨在通过数值模拟方法研究圆柱体周围的流动特性。该数据集由Brewer等人在2023年提出,并在第4届人工智能与机器学习科学应用国际研讨会(AI4S)上发表。数据集的核心研究问题是通过最优子采样技术开发机器学习代理模型,以高效捕捉流体动力学中的关键特征。其数据来源于OpenFOAM模拟,并通过计算力和单元中心点进一步丰富。该数据集为流体动力学与机器学习的交叉研究提供了重要支持,推动了高维数据降维与模型优化的前沿探索。
当前挑战
flow_around_cylinder数据集在解决流体动力学建模问题时面临多重挑战。首先,流体动力学模拟生成的数据通常具有高维度和复杂性,如何从中提取关键特征以构建高效的代理模型是一个核心难题。其次,数据集的构建过程中需要对OpenFOAM模拟结果进行后处理,包括计算力和单元中心点,这一过程对计算资源和算法精度提出了较高要求。此外,最优子采样技术的实现需要平衡采样效率与模型性能,这对算法的鲁棒性和可扩展性提出了挑战。最后,数据集的多样性和规模对机器学习模型的训练和泛化能力提出了更高要求,尤其是在处理时间序列预测任务时,如何有效捕捉流体的动态特性仍需进一步探索。
常用场景
经典使用场景
在流体动力学研究中,flow_around_cylinder数据集被广泛应用于模拟圆柱体周围的流动现象。通过OpenFOAM仿真生成的数据,研究者能够深入分析流体在圆柱体周围的压力分布、速度场以及湍流特性。该数据集为开发机器学习代理模型提供了高质量的输入数据,尤其是在优化子采样策略和训练神经网络模型方面具有重要价值。
衍生相关工作
基于flow_around_cylinder数据集,研究者开发了多种经典工作。例如,Brewer等人提出的最大熵子采样方法为流体动力学数据的降维提供了新思路。此外,该数据集还催生了基于LSTM架构的时间序列预测模型,为流体动力学中的瞬态现象分析提供了有力工具。这些衍生工作不仅推动了流体动力学与机器学习的交叉研究,还为相关领域的工程应用奠定了理论基础。
数据集最近研究
最新研究方向
在流体动力学领域,flow_around_cylinder数据集的最新研究方向聚焦于利用机器学习技术开发替代模型,以优化流体动力学的子采样过程。这一研究方向的核心在于通过熵驱动的子采样方法,从复杂的流体动力学模拟数据中提取关键信息,从而构建高效的机器学习模型。具体而言,研究团队通过OpenFOAM模拟生成了圆柱绕流的数据,并在此基础上开发了多种子采样策略,如最大熵子采样和随机子采样,以支持不同机器学习任务的需求。这些方法不仅能够显著减少数据处理的复杂性,还能在保持数据代表性的同时,提高模型的预测精度。此外,研究还探索了基于k近邻算法的子采样方法,进一步增强了模型对局部流体行为的捕捉能力。这一系列研究为流体动力学的数值模拟与机器学习结合提供了新的思路,具有重要的科学意义和应用价值。
以上内容由AI搜集并总结生成
用户留言
有没有相关的论文或文献参考?
这个数据集是基于什么背景创建的?
数据集的作者是谁?
能帮我联系到这个数据集的作者吗?
这个数据集如何下载?
点击留言
数据主题
具身智能
数据集  4098个
机构  8个
大模型
数据集  439个
机构  10个
无人机
数据集  37个
机构  6个
指令微调
数据集  36个
机构  6个
蛋白质结构
数据集  50个
机构  8个
空间智能
数据集  21个
机构  5个
5,000+
优质数据集
54 个
任务类型
进入经典数据集
热门数据集

中国区域地面气象要素驱动数据集 v2.0(1951-2024)

中国区域地面气象要素驱动数据集(China Meteorological Forcing Data,以下简称 CMFD)是为支撑中国区域陆面、水文、生态等领域研究而研发的一套高精度、高分辨率、长时间序列数据产品。本页面发布的 CMFD 2.0 包含了近地面气温、气压、比湿、全风速、向下短波辐射通量、向下长波辐射通量、降水率等气象要素,时间分辨率为 3 小时,水平空间分辨率为 0.1°,时间长度为 74 年(1951~2024 年),覆盖了 70°E~140°E,15°N~55°N 空间范围内的陆地区域。CMFD 2.0 融合了欧洲中期天气预报中心 ERA5 再分析数据与气象台站观测数据,并在辐射、降水数据产品中集成了采用人工智能技术制作的 ISCCP-ITP-CNN 和 TPHiPr 数据产品,其数据精度较 CMFD 的上一代产品有显著提升。 CMFD 历经十余年的发展,其间发布了多个重要版本。2019 年发布的 CMFD 1.6 是完全采用传统数据融合技术制作的最后一个 CMFD 版本,而本次发布的 CMFD 2.0 则是 CMFD 转向人工智能技术制作的首个版本。此版本与 1.6 版具有相同的时空分辨率和基础变量集,但在其它诸多方面存在大幅改进。除集成了采用人工智能技术制作的辐射和降水数据外,在制作 CMFD 2.0 的过程中,研发团队尽可能采用单一来源的再分析数据作为输入并引入气象台站迁址信息,显著缓解了 CMFD 1.6 中因多源数据拼接和气象台站迁址而产生的虚假气候突变。同时,CMFD 2.0 数据的时间长度从 CMFD 1.6 的 40 年大幅扩展到了 74 年,并将继续向后延伸。CMFD 2.0 的网格空间范围虽然与 CMFD 1.6 相同,但其有效数据扩展到了中国之外,能够更好地支持跨境区域研究。为方便用户使用,CMFD 2.0 还在基础变量集之外提供了若干衍生变量,包括近地面相对湿度、雨雪分离降水产品等。此外,CMFD 2.0 摒弃了 CMFD 1.6 中通过 scale_factor 和 add_offset 参数将实型数据化为整型数据的压缩技术,转而直接将实型数据压缩存储于 NetCDF4 格式文件中,从而消除了用户使用数据时进行解压换算的困扰。 本数据集原定版本号为 1.7,但鉴于本数据集从输入数据到研制技术都较上一代数据产品有了大幅的改变,故将其版本号重新定义为 2.0。CMFD 2.0 的数据内容与此前宣传的 CMFD 1.7 基本一致,仅对 1983 年 7 月以后的向下短/长波辐射通量数据进行了更新,以修正其长期趋势存在的问题。

国家青藏高原科学数据中心 收录

高精度负荷预测

超短期统调负荷预测 短期统调负荷预测 D+45统调负荷预测

郑州数据交易中心 收录

HazyDet

HazyDet是由解放军工程大学等机构创建的一个大规模数据集,专门用于雾霾场景下的无人机视角物体检测。该数据集包含383,000个真实世界实例,收集自自然雾霾环境和正常场景中人工添加的雾霾效果,以模拟恶劣天气条件。数据集的创建过程结合了深度估计和大气散射模型,确保了数据的真实性和多样性。HazyDet主要应用于无人机在恶劣天气条件下的物体检测,旨在提高无人机在复杂环境中的感知能力。

arXiv 收录

DAGM 2007

DAGM 2007数据集是一个用于工业图像分类的基准数据集,主要用于研究表面缺陷检测。该数据集包含6个不同类别的图像,每个类别有1000张正常图像和150张带有缺陷的图像。数据集的目的是评估和比较不同算法在工业图像中的缺陷检测能力。

www.ais.uni-bonn.de 收录

danaroth/icvl

ICVL是一个高光谱图像数据集,由Specim PS Kappa DX4高光谱相机和旋转平台进行空间扫描采集。数据集目前包含200张图像,并且会逐步增加。图像的空间分辨率为1392×1300,覆盖519个光谱波段(400-1000nm,间隔约1.25nm)。数据集提供了ENVI格式的原始数据和MAT格式的下采样数据(31个光谱通道,400-700nm,间隔10nm)。原始数据集仅包含干净的图像,用于高光谱图像去噪的测试数据来自另一篇论文。

hugging_face 收录