极客公园用户3440
未来已来：AI驱动的数据湖仓
输入“/”快速插入内容
未来已来：AI驱动的数据湖仓
未来已来：AI驱动的数据湖仓
用户3440用户34405月13日修改
Cloudera开放式基础架构支持企业访问其位于复杂环境中的数据
从前，企业依赖双层架构，专为商业智能和报告优化的数据仓库，以及面向大规模 AI 和机器学习（ML）设计的数据湖。这种分离带来了诸多成本，包括复杂的数据迁移、专业化的工程设计以及系统间重复储存数据，且这些数据很少保持同步。
Cloudera的开放式数据湖仓一体架构旨在应对这一挑战，将分析（BI、临时查询）和 AI（预测性和生成式 AI）工作负载整合在单一受控的数据基础架构之上。借助Apache Iceberg 等开放表格式，这种统一的数据架构能够帮助企业实现“将计算能力引入数据”（而非反之），并为在更贴近数据的位置运行AI工作负载奠定了基础。智能湖仓上的AI工作负载可直接在受控、版本化的高质量数据上运行。
开放基础架构对运行AI工作负载的重要性
过去十年间，企业逐渐认识到仅具备性能和可扩展性远远不够，灵活性和互操作性才是决定长期成功的关键。尤其对于 AI 负载而言，其运行依赖于能够调用不同的数据源、框架和工具的能力，而不受专有格式或系统的限制。
在此背景下，如Apache Iceberg等开放表格式重塑了数据平台的架构。Iceberg将表的逻辑定义与其物理存储布局分离，允许多个引擎和框架在完全事务保证（Transactional Guarantees）的前提下读写相同的数据。这种开放性支持基础设施持续演进，并采用新的计算引擎，而无需重写现有流程。
运行生产级流水线需要一个统一平台，能够连接 AI 生命周期各个阶段的数据、模型和治理机制。其核心是数据与特征工程管道（feature engineering pipelines），它们持续地将原始的结构化、半结构化和非结构化数据转换为可用于 AI的特征，并保持模型训练和评估的数据血缘和可复现性。
除了传统的机器学习，生成式 AI 还带来了新的运营需求。团队需要基础设施和数据访问权限，以实现检索增强生成（retrieval-augmented generation, RAG）、在私有数据上微调大语言模型（large language models, LLMs），并构建结合模型、提示词和模型上下文协议（model context protocols, MCPs）（API）的智能体工作流，从而完成特定领域的任务。这些工作负载同时依赖表格和非结构化数据，包括文本、文档、图像和嵌入向量（embeddings），所有数据都由单一的数据和元数据平面管理。此外，可扩展的推理层对于安全高效地部署和运行这些模型至关重要。
随着 AI 工作负载日益趋向多模态和智能体化，访问目录与元数据也变得更加重要。AI 流水线、检索系统和自主智能体都依赖元数据来发现数据集、复现训练状态和维护数据血缘。开放式目录为这些系统提供了一种通用方式来查询、注册和追踪数据集，无论数据集在何处或以何种方式处理。
Cloudera的开放基础架构能够帮助企业支持各种分析、预测和生成式 AI 工作负载。
Cloudera 的统一数据和AI平台
Cloudera的开放式数据湖仓一体架构基于 Apache Iceberg 和 REST Catalog等开放基础架构，将数据工程、分析和 AI 整合到同一受控架构中。该平台的设计原则是工作负载（无论是分析还是 AI）都应在数据所在位置运行。通过消除数据迁移或复制的繁琐步骤，团队可以构建涵盖数据摄取、转换、分析及模型操作的生命周期，并具备完整的数据血缘与治理能力。
图 1：Cloudera 基于开放基础架构（Apache Iceberg）构建的数据和 AI 平台
接下来，我们将回顾Cloudera平台（图 1）的各个组件如何支持团队构建机器学习流水线和生成式 AI 应用，同时覆盖从摄取到推理的数据与 AI 生命周期的各个阶段，同时作为统一的互操作平台运行。该平台的每个组件均基于开放标准构建，确保了跨环境的灵活性和互操作性。
存储：Apache Iceberg
Apache Iceberg是 Cloudera 湖仓架构的基础，是一种开放、版本化和事务表（transactional table）格式。Iceberg 支持模式演化、数据版本回溯和原子操作，从而保持分析和 AI 工作负载在同一受控数据上进行一致操作。Cloudera 提供受控且版本化的基础架构，确保不同模型、提示或检索任务都基于一致且可追溯的数据视图。
Iceberg的原生功能，如模式演化，与 AI 数据集的演进方式高度契合。在Cloudera 智能湖仓中，特征存储、训练数据集和检索语料库都可以共享相同的Iceberg表，通过快照技术冻结用于训练的一致视图，同时持续接收新数据用于推理。这种设计削弱了分析表与 AI 专用存储之间的隔阂。
数据摄取：Cloudera Data in Motion
Cloudera DataFlow 基于Apache NiFi 构建，为数据持续迁移到智能湖仓奠定了基础。它能够从各类企业数据源，包括数据库、API、物联网设备和事件日志进行低延迟数据摄取，从而支持批处理和流式工作负载。NiFi 原生集成Apache Iceberg的最新创新，可实现数据直接写入开放式数据湖仓一体架构，无需中间暂存。NiFi 与Iceberg 之间的紧密耦合简化了数据管道复杂性，并使数据摄取更贴近开放表格式本身。
在实时应用场景中，NiFi、Apache Kafka 和 Apache Flink 共同构成了事件驱动的数据摄取架构，NiFi 负责数据编排和路由，Kafka 提供持久流式传输，Flink 则在数据持久化到Iceberg之前进行实时数据增强。该设计确保数据在下游消费者中保持新鲜度与可控性。这种持续流动的多模态数据流，正是驱动智能湖仓上 AI 工作负载的核心动力。通过在 Iceberg 表中以一致的治理方式持续提供实时数据，企业可以为 生成式 AI 系统提供及时、特定领域的信息，从而使RAG管道和智能体工作流更加精确、可靠和稳定。
目录：Cloudera Iceberg REST Catalog
Cloudera Iceberg REST Catalog基于开放的REST 规范，提供了一个集中且可互操作的元数据服务，允许支持开放规范的第三方引擎，如Snowflake、Redshift和Databricks对Iceberg表进行零拷贝访问。这对企业而言至关重要，因为他们不再局限于单一平台提供的单一计算引擎，从而可以灵活地根据业务需求选择更适合的计算资源。用户可以使用他们偏好的工具，同时Cloudera提供的安全性和治理策略将贯穿各类数据，确保跨环境的一致性。