学院资讯
深化相识Cloudera新一代混杂数据湖仓一体架构
作者:[db:作者]日期:2025/02/06 浏览:
人工智能(AI)正逐渐成为重塑企业经营方法的强盛力气。IDC猜测,因为数据平台在数据存储、尺度化跟拜访方面的采取率的增添,超越 50% 的中国企业将筹备好应用GenAI来处置数据 。依据Cloudera的一项研讨猜测,美国有超越三分之一(36%)的企业正处于摸索AI利用潜力的晚期阶段。但是,只管AI的遍及水平日益晋升,一些企业仍在其利用中面对挑衅。成绩的关键在于AI跟各种剖析技巧都基于数据,而这些数据每每零碎且彼此伶仃,招致良多企业难以拜访并从各个情况中网络数据,进而投喂给AI应用。以是,企业想要从AI中获取营业洞察跟代价会变得愈加艰苦。面临散布式数据基本设备、管理、一直变更的保险情况等方面的特别挑衅,企业想要实现AI的片面、疾速利用,亟需取得专业的支撑。为了满意客户在数据、AI跟剖析方面的需要,咱们宣布了新一代开放式数据湖仓一体架构,参加了多项加强功效,专为疾速扩大企业AI利用跟发明更多营业代价而构建。现在,Cloudera为云跟当地供给带有Apache Iceberg的开放式数据湖仓一体架构。这标记着平台开展的一座主要里程碑:IDC的数据表现,现在寰球企业治理的出产数据中约有一半安排在当地。新一代Cloudera平台凭仗强盛的功效,为数据核心带来与云端完整雷同的开放式数据湖仓一体架构功效。对高度敏感但又至关主要的公司数据,该平台可处理其在治理上的庞杂性,同时还能从这些数据中提炼出更年夜代价。以下是本次更新中最具影响力的三个功效:Apache Iceberg在增添了对Apache Iceberg的功效支撑之后,Cloudera可能支撑企业将要害义务数据投喂给AI,以优化一些轻易犯错的流程,从而天生新的用例、进步团体机能跟下降本钱。借助Iceberg供给的开放表格局,企业能够在当地情况中应用AI处置数据。该方式使企业可能应用新的盘算引擎,而且增添了Spark、Flink、Impala跟NiFi,实现了在Iceberg中对数据集的并发拜访跟处置。凭仗时光游览、形式演进、数据发明简化等外置功效,Iceberg使数据团队可能在坚持数据完全性的同时增强对数据湖的治理。因为企业须要实现合规并遵照《中华国民共跟国数据保险法》等政策,因而数据湖仓一体架构上的当场形式演进跟ACID事件等功效对他们至关主要。无论是在数据核心仍是在云端,功效强盛的平台数据保险跟管理层Shared Data Experience(SDX) 都是开放式数据湖仓一体架构的基础构成局部。Apache Ozone跟着AI跟其余进步剖析技巧的范围日益扩展,机能跟可扩大的数据存储也须要随之晋升。Apache Ozone专门用于数据核心,更低的本钱供给了愈加强盛的扩大才能,辅助企业发明更年夜的营业代价。经由过程此次更新,Cloudera为客户供给了加强保险性跟增强企业停当性所需的新功效。咱们的新一代平台参加了复制改良、卷配额改良、增进云原生架构的存储桶(Bucket)、快照等Ozone功效,并且当初还支撑存储桶(Bucket)跟卷级其余数据存储。免停机进级(Zero Downtime Upgrades)除了Iceberg跟Ozone的各项改良之外,该平台现已推出免停机进级(ZDU)功效,为企业供给了一种愈加便捷的进级方法。当初,HDFS、Hive、HBase、Kudu、Kafka、Ranger、YARN跟Ranger KMS均支撑转动进级。ZDU尽可能增加了对客户任务流程的影响,以增加乃至防止漫长且昂贵的停机。经由过程增加ZDU,客户将取得单段进级跟年夜型集群主动进级等功效,从而更年夜水平进步出产力。对估计仍会呈现停机的平台组件,此次更新将经由过程Cloudera Manager优化,并疾速重启这些组件。在从前的进级换代中,Queue Manager等一些效劳每每开始停机并最后重启。当初,这些效劳在ZDU启动后多少分钟内就能规复运转。对想要从数据中提炼出更年夜营业代价的企业,AI已逐步成为必弗成少的东西。企业须要在合适数据跟剖析的情况中运转,这不只是实现混杂数据战略的要害,也是Cloudera的奇特之处。Cloudera平台供给了可移植云原生剖析功效,可能安排在所有基本设备,同时坚持数据管理跟保险的分歧性,而且实用于云跟数据核心。
上一篇:AI 事迹亮眼,google母公司 Alphabet 往年资源付出飙
下一篇:没有了
下一篇:没有了
相关文章
- 2025-02-06深化相识Cloudera新一代混杂数据湖仓一体
- 2025-02-06定了!小米15 Ultra月尾见,设置很顶,跑
- 2025-02-05AI 事迹亮眼,google母公司 Alphabet 往年资源
- 2025-02-05倍思摄像头智能探测仪多功用智能报警仅
- 2025-02-04RTX 5060 Ti/5060将于3月上市,16GB大显存