Cloudera數(shù)據(jù)倉庫產(chǎn)品管理高級總監(jiān)Bill Zhang
IDC調(diào)研中國數(shù)據(jù)顯示，在落地GenAI應(yīng)用時，68%的企業(yè)認為需要梳理內(nèi)部數(shù)據(jù)資產(chǎn)，66%的企業(yè)希望搭建數(shù)據(jù)湖等數(shù)據(jù)底座。開放式數(shù)據(jù)湖倉一體架構(gòu)正迅速成為海量數(shù)據(jù)進行統(tǒng)一、多功能分析的標準架構(gòu)。這種架構(gòu)既融合了數(shù)據(jù)湖的靈活性和可擴展性，又具備數(shù)據(jù)倉庫的數(shù)據(jù)分析、治理和管理功能，為企業(yè)提供了強大的數(shù)據(jù)處理能力。開放表格式是這一架構(gòu)的關(guān)鍵組成部分，它直接在數(shù)據(jù)湖存儲上提供了大量傳統(tǒng)數(shù)據(jù)倉庫的功能。目前，Apache Iceberg正迅速成為廠商和客戶的標準格式。
盡管Iceberg的諸多特性可大幅降低實現(xiàn)高性能數(shù)據(jù)視圖所需的工作量，但這些特性也帶來了額外的開銷，并且需要手動執(zhí)行作業(yè)以優(yōu)化性能和成本。為進一步簡化數(shù)據(jù)湖倉一體架構(gòu)的管理，Cloudera推出了Cloudera Lakehouse Optimizer。該服務(wù)可智能化自動處理Iceberg表，使得許多維護作業(yè)能夠在后臺自動運行。下面，我們將詳細介紹Cloudera Lakehouse Optimizer的功能、優(yōu)勢以及未來的發(fā)展方向。
Cloudera Lakehouse Optimizer的功能
Cloudera Lakehouse Optimizer根據(jù)用戶配置和Iceberg表統(tǒng)計數(shù)據(jù)，自動運行基于策略的Iceberg表優(yōu)化任務(wù)。自動優(yōu)化任務(wù)包括：
壓縮（Compaction）：企業(yè)通常會通過微批處理（MicroBatching）或流式攝取（StreamingIngestion）等方式接收大量小文件，而讀取這些小文件會嚴重影響查詢性能。壓縮是將小文件合并為大文件以提升性能的過程。Cloudera Lakehouse Optimizer能夠自主判斷自動壓縮數(shù)據(jù)文件的最佳時機，確保用戶的表始終保持最佳性能。該服務(wù)還會根據(jù)使用模式優(yōu)先優(yōu)化高價值的表，確保每次優(yōu)化都能帶來實際的投資回報。
表清理（Table Cleanup）：隨著表的增長，往往會積累大量不再使用的數(shù)據(jù)文件、清單文件和快照。用戶通常需要執(zhí)行表維護功能，例如清除過期快照、移除舊元數(shù)據(jù)文件以及清理孤立文件，以優(yōu)化存儲利用率并提升性能。Cloudera Lakehouse Optimizer能夠自主判斷維護任務(wù)的最佳時機，確保表的存儲利用率最大化。
除了優(yōu)化措施和基于策略的控制措施，Cloudera Lakehouse Optimizer還提供了優(yōu)化任務(wù)的可觀測性，以幫助數(shù)據(jù)團隊清晰了解策略對表和存儲健康狀況及性能的影響。
Cloudera Lakehouse Optimizer的優(yōu)勢
Cloudera Lakehouse Optimizer為使用Iceberg表的企業(yè)帶來了諸多優(yōu)勢：
·通過優(yōu)化存儲占用空間和減少查詢運行時間，降低總體擁有成本（TCO）。
·通過減少查詢中需要讀取的文件數(shù)量，提供高性能的數(shù)據(jù)視圖。
·通過自動執(zhí)行一些繁瑣的湖倉維護任務(wù)，減少數(shù)據(jù)管理工作和開銷。
Cloudera內(nèi)部基準測試表明，使用Cloudera Lakehouse Optimizer維護Iceberg表可顯著節(jié)約成本。實際效果因使用場景不同可能有所差異。
未來方向
對于想要轉(zhuǎn)向開放式數(shù)據(jù)湖倉一體架構(gòu)的企業(yè)，Cloudera Lakehouse Optimizer當前推出的功能為他們解決了兩個重要難題。Cloudera的愿景是讓提供高性能的數(shù)據(jù)視圖變得更加容易，而這僅僅是實現(xiàn)這一愿景所邁出的第一步。未來，我們計劃增加對更多優(yōu)化功能的支持，包括通過分區(qū)重組解決影響查詢性能的數(shù)據(jù)分布問題和查詢優(yōu)化。
我們的目標是確保Cloudera成為管理和訪問Iceberg表的最佳平臺之一，同時讓企業(yè)更輕松地采用開放式數(shù)據(jù)湖倉一體架構(gòu)。
