LakeSoul 流批一体湖仓平台

LakeSoul是由数元灵科技自主研发国际领先的云原生湖仓一体框架，能为多源异构、多模态、流批一体的数据要素建立统一的数据资产底座；也可无缝对接AI 生态，支持端到端的AI 各行业专业应用；LakeSoul 具有工信部颁发的国产信创资质，也是国际 Linux 基金会孵化项目。主要特性：•高效可扩展的元数据管理：使用 PostgreSQL 数据库来存储 Catalog 信息，提升元数据可扩展性和事务并发能力；•支持并发写和ACID事务：实现并发控制，具备高度写并发能力，自动判断冲突并进行处理，保证数据一致性；•支持增量写入和并发 Upsert 更新：提供高性能、高吞吐的 Merge on Read、Upsert 功能，提升数据摄入的灵活性和性能；•实时数据仓库：支持流式和批式的写入，快照读取；Flink CDC 多源实时入湖，流式增量读取计算，实现全链路实时数仓；•多模态融合检索：向量召回、表查询、原始文件统一检索，灵活指定过滤条件和计算，功能丰富；•开放的生态系统：支持 Spark、Flink、Presto、PyTorch、Ray 等多种计算引擎，完整地支持实时数仓、BI 分析、AI模型训练等各类数据智能计算业务；•对AI 的支持：包括传统的一站式 AI 框架如 Pythorch 的支撑，以及大模型向量化召回的支持等。适用场景：•构建实时湖仓，并且新增数据需要高效实时大批量写入，同时需要行、列级别的并发增量更新的场景； •历史数据存储量很大，并且需要对大跨度时间范围做明细查询、修改，同时希望使用对象存储控制成本的场景； •查询请求不固定，资源消耗变化较大，希望计算资源能够独立弹性伸缩的场景； •需要多并发写，同时文件数量多，对元数据性能和并发有较高要求的场景； •针对主键进行数据更新，对写吞吐有较高要求的场景；•对行业的 AI 应用有明确诉求，包括传统的机器学习建模，以及行业大模型的应用落地等。