本篇文章1454字，讀完約4分鐘

9月18日，在云棲大會(huì)上，AlibabaCloud正式發(fā)布大數(shù)據(jù)平臺(tái)新一代框架“湖倉一體”，通過數(shù)據(jù)倉庫和數(shù)據(jù)湖兩個(gè)體系，使數(shù)據(jù)和計(jì)算在湖與倉之間自由移動(dòng)， 為公司提供兼具數(shù)據(jù)湖靈活性和數(shù)據(jù)倉庫成長性的新一代大數(shù)據(jù)平臺(tái)，降低公司構(gòu)建大數(shù)據(jù)平臺(tái)的整體價(jià)格。

大數(shù)據(jù)技術(shù)從本世紀(jì)初的快速發(fā)展到現(xiàn)在發(fā)展了數(shù)據(jù)倉庫和數(shù)據(jù)湖兩大趨勢(shì)。 前者一般是基于云廠商提供的大數(shù)據(jù)技術(shù)的一體化服務(wù)，后者一般是由一系列云產(chǎn)品或開源組件構(gòu)成的大數(shù)據(jù)處理方案。

公司處于最初階段時(shí)，靈活性很重要，數(shù)據(jù)湖的結(jié)構(gòu)更合適。 一旦公司成熟，成長性成為最重要的因素，數(shù)據(jù)倉庫的體系結(jié)構(gòu)就不是最佳的。 那么，數(shù)據(jù)倉庫和數(shù)據(jù)湖只是一個(gè)選擇題嗎？ 有兼顧數(shù)據(jù)湖靈活性和云數(shù)據(jù)倉庫成長性的方案嗎？

阿里巴巴集團(tuán)副總裁、阿里巴巴云計(jì)算平臺(tái)負(fù)責(zé)人賈揚(yáng)清指出，maxcompute湖倉一體化方案打破了數(shù)據(jù)湖與數(shù)據(jù)倉庫的分割體系，提高了數(shù)據(jù)湖的靈活性、生態(tài)系統(tǒng)的豐富性和數(shù)據(jù)倉庫 maxcompute湖倉一體方案不僅支持超大規(guī)模的機(jī)器學(xué)習(xí)和深度學(xué)習(xí)，還有助于公司有效提高自身的大數(shù)據(jù)能力，實(shí)現(xiàn)敏捷運(yùn)營，降低本插件。

maxcompute將存儲(chǔ)計(jì)算一體化的數(shù)據(jù)倉庫和云中的存儲(chǔ)計(jì)算分離的數(shù)據(jù)湖結(jié)合到傳統(tǒng)的數(shù)據(jù)倉庫體系結(jié)構(gòu)中，最終實(shí)現(xiàn)湖倉一體化的整體體系結(jié)構(gòu) 該體系結(jié)構(gòu)中共存著多個(gè)底層存儲(chǔ)系統(tǒng)，但通過統(tǒng)一的存儲(chǔ)訪問層和統(tǒng)一的元數(shù)據(jù)管理提供與高級(jí)引擎集成的封裝接口。 客戶可以聯(lián)合數(shù)據(jù)倉庫和數(shù)據(jù)倉庫兩個(gè)表，并在整個(gè)體系結(jié)構(gòu)中提供統(tǒng)一的數(shù)據(jù)安全、管理和治理等中端功能。

在技術(shù)融合過程中，maxcompute不僅實(shí)現(xiàn)了高速訪問、統(tǒng)一數(shù)據(jù)/元數(shù)據(jù)管理、統(tǒng)一開發(fā)體驗(yàn)、自動(dòng)數(shù)倉4個(gè)關(guān)鍵技術(shù)點(diǎn)，還持續(xù)提高了核心性能。 在tpcx-bigbench上，如果maxcompute基于英特爾至強(qiáng)可擴(kuò)展解決方案以100tb的規(guī)模維持性能，則在30tb的規(guī)模上，性能比去年下降了40%，則性能提高了50%以上，價(jià)格提高了30%

微博是享受“湖倉一體”味道的人。 迄今為止，微博擁有hadoop數(shù)據(jù)湖、阿里云大數(shù)據(jù)和ai兩個(gè)異構(gòu)大數(shù)據(jù)平臺(tái)，而且兩個(gè)平臺(tái)在集群層面完全分割，數(shù)據(jù)和計(jì)算無法自由移動(dòng)。 為了應(yīng)對(duì)這些難題，微博基于AlibabaCloud (阿里巴巴云)構(gòu)建了湖倉一體化的ai計(jì)算中心，擺脫了大量的數(shù)據(jù)傳輸。 這樣，微博的數(shù)據(jù)工程師和算法工程師就可以簡單、無縫地利用阿里巴巴成熟的超大規(guī)模計(jì)算力和算法力來提高業(yè)務(wù)效率。 然后，通過將maxcompute云數(shù)據(jù)倉庫(結(jié)構(gòu)化數(shù)據(jù))和數(shù)據(jù)湖)非結(jié)構(gòu)化數(shù)據(jù))設(shè)為閉環(huán)，大大提高了ai類的工作效率，產(chǎn)生了巨大的商業(yè)價(jià)值。

AlibabaCloud (阿里巴巴云)自研云數(shù)據(jù)倉庫maxcompute經(jīng)過近十年的技術(shù)沉淀，不僅穩(wěn)定支持阿里巴巴集團(tuán)的數(shù)據(jù)存儲(chǔ)和數(shù)據(jù)計(jì)算業(yè)務(wù)，也是云上的客戶大數(shù)據(jù)平臺(tái)。 此次湖倉一體發(fā)布為公司提供了更靈活、高效、經(jīng)濟(jì)的數(shù)據(jù)平臺(tái)處理方案，對(duì)新構(gòu)建大數(shù)據(jù)平臺(tái)的公司和現(xiàn)有大數(shù)據(jù)平臺(tái)的公司進(jìn)行了架構(gòu)升級(jí)，并以技術(shù)實(shí)現(xiàn)了公司數(shù)字化

在此次云棲大會(huì)上，賈揚(yáng)清首次發(fā)布阿里云原生數(shù)據(jù)湖系統(tǒng)，基于目標(biāo)存儲(chǔ)oss、數(shù)據(jù)湖，打造了data lake formation和云原生開源大數(shù)據(jù)產(chǎn)品e-mapreduce的強(qiáng)大組合。 發(fā)現(xiàn)提供了涵蓋湖泊存儲(chǔ)、湖泊加速、湖泊管理和湖泊計(jì)算的公司級(jí)數(shù)據(jù)湖泊處理方案。 然后推出maxcompute和hologres產(chǎn)品的融合升級(jí)，提供離線、實(shí)時(shí)、分解、服務(wù)一體化的數(shù)據(jù)倉庫。