訂閱
糾錯(cuò)
加入自媒體

好未來(lái) x DorisDB:全新實(shí)時(shí)數(shù)倉(cāng)實(shí)踐,深入釋放實(shí)時(shí)數(shù)據(jù)價(jià)值

2021-07-22 15:14
來(lái)源: 粵訊

好未來(lái)(NYSE:TAL)是一家以智慧教育和開(kāi)放平臺(tái)為主體,以素質(zhì)教育和課外輔導(dǎo)為載體,在全球范圍內(nèi)服務(wù)公辦教育,助力民辦教育,探索未來(lái)教育新模式的科技教育公司。截至2020年11月底,好未來(lái)在102個(gè)城市建立起990個(gè)教學(xué)點(diǎn),業(yè)務(wù)范圍覆蓋全國(guó)331個(gè)地級(jí)市以及海外20多個(gè)國(guó)家和地區(qū)。

隨著業(yè)務(wù)的發(fā)展,實(shí)時(shí)數(shù)據(jù)的分析需求日益增多,尤其在營(yíng)銷推薦、歸因分析、業(yè)務(wù)輔助決策等場(chǎng)景下,實(shí)時(shí)數(shù)據(jù)分析所帶來(lái)的效益提升是離線數(shù)據(jù)所不能比擬的。在這些業(yè)務(wù)場(chǎng)景的驅(qū)動(dòng)下,好未來(lái)選擇了DorisDB來(lái)支撐實(shí)時(shí)數(shù)據(jù)的分析應(yīng)用。實(shí)現(xiàn)了數(shù)據(jù)秒級(jí)查詢響應(yīng)能力,構(gòu)建了一個(gè)統(tǒng)一&快速&高效&靈活的實(shí)時(shí)數(shù)倉(cāng)。

“作者:王岳 好未來(lái)數(shù)據(jù)科學(xué)組負(fù)責(zé)人,專注于數(shù)倉(cāng)建設(shè)、數(shù)據(jù)分析、算法等領(lǐng)域研究!

一、業(yè)務(wù)背景

1.業(yè)務(wù)場(chǎng)景分類

在教育場(chǎng)景下,根據(jù)數(shù)據(jù)時(shí)效性劃分,數(shù)據(jù)分析處理可分為離線和實(shí)時(shí)兩大部分:

(1)離線

離線數(shù)據(jù)以8大數(shù)據(jù)域(日志、營(yíng)銷、交易、服務(wù)、教學(xué)、內(nèi)容、學(xué)習(xí)、畫像)建設(shè)為主,主要處理核心歷史數(shù)據(jù),解決“業(yè)務(wù)運(yùn)營(yíng)、分析師、算法”等海量數(shù)據(jù)多維度分析和挖掘等,采用批處理的方式定時(shí)計(jì)算。

(2)實(shí)時(shí)

實(shí)時(shí)數(shù)據(jù)分析處理,主要包括由埋點(diǎn)產(chǎn)生的各種日志數(shù)據(jù),數(shù)據(jù)量大,以結(jié)構(gòu)化或半結(jié)構(gòu)化類型為主;另外還包括由業(yè)務(wù)交易產(chǎn)生的業(yè)務(wù)數(shù)據(jù),通常使用數(shù)據(jù)庫(kù)的Binlog獲取。

實(shí)時(shí)數(shù)據(jù)分析的需求越來(lái)越多,特別是在營(yíng)銷簽單業(yè)務(wù)和在讀學(xué)員是否續(xù)報(bào)等場(chǎng)景,需要實(shí)時(shí)數(shù)據(jù)來(lái)助力業(yè)務(wù)營(yíng)銷付費(fèi)和續(xù)費(fèi)目標(biāo)達(dá)成。當(dāng)目標(biāo)沒(méi)完成時(shí),業(yè)務(wù)運(yùn)營(yíng)需要對(duì)數(shù)據(jù)進(jìn)行多維度分析,找到原因,并快速做出決策調(diào)整等管理動(dòng)作。

2.業(yè)務(wù)痛點(diǎn)

T+1的離線數(shù)據(jù)分析已經(jīng)無(wú)法滿足業(yè)務(wù)對(duì)時(shí)效性的需求,我們希望建設(shè)實(shí)時(shí)數(shù)倉(cāng)來(lái)支持業(yè)務(wù)實(shí)時(shí)數(shù)據(jù)分析場(chǎng)景,解決如下痛點(diǎn):

·市場(chǎng):想通過(guò)廣告頁(yè)投放策略,洞悉PV、UV等流量數(shù)據(jù),如果出現(xiàn)異常,可快速分析和優(yōu)化。但之前因?yàn)楦鞣N因素我們無(wú)法提供實(shí)時(shí)數(shù)據(jù),對(duì)于業(yè)務(wù)來(lái)說(shuō)T+1數(shù)據(jù)時(shí)效性滯后,參考價(jià)值有限。

·銷售:通過(guò)分析意向用戶跟進(jìn)和簽單數(shù)據(jù),根據(jù)當(dāng)日銷售目標(biāo),及時(shí)發(fā)現(xiàn)還有哪些管理動(dòng)作需要優(yōu)化。但目前是提供滯后數(shù)據(jù),每日簽多少單都通過(guò)人來(lái)統(tǒng)計(jì),分析也是通過(guò)歷史數(shù)據(jù),分析效果很差。

·在讀學(xué)員續(xù)報(bào):實(shí)時(shí)觀測(cè)哪些學(xué)員續(xù)報(bào)了,老師需要做哪些續(xù)報(bào)動(dòng)作。

·課堂行為分析:分析課堂實(shí)時(shí)互動(dòng)行為、答題行為等,階段評(píng)測(cè)報(bào)告、課堂質(zhì)量等。

·算法模型:實(shí)時(shí)更新模型需要的特征數(shù)據(jù),更準(zhǔn)時(shí)的預(yù)測(cè)模型效果。

3.實(shí)時(shí)數(shù)倉(cāng)目標(biāo)

數(shù)據(jù)團(tuán)隊(duì)要提供靈活&豐富的分鐘級(jí)的實(shí)時(shí)數(shù)據(jù),并要保證數(shù)據(jù)的豐富性&準(zhǔn)確性&及時(shí)性等。

(1)豐富性

沿用離線數(shù)倉(cāng)建模好的數(shù)據(jù)維度和指標(biāo),保證離線能用到的,實(shí)時(shí)也能用到。

(2)準(zhǔn)確性

實(shí)時(shí)指標(biāo)的構(gòu)建需要可以保證數(shù)據(jù)完整性和準(zhǔn)確性。所有指標(biāo)開(kāi)發(fā)按照指標(biāo)定義文檔,線上使用DQC平臺(tái)來(lái)監(jiān)控?cái)?shù)據(jù)準(zhǔn)確性,實(shí)時(shí)發(fā)送異常數(shù)據(jù)等。

(3)及時(shí)性

要保證數(shù)據(jù)的“新鮮”度,線上實(shí)時(shí)產(chǎn)生的業(yè)務(wù)數(shù)據(jù)和日志數(shù)據(jù),要能及時(shí)地被用于數(shù)據(jù)分析,提升一線人員或業(yè)務(wù)的反饋速度。

二、實(shí)時(shí)數(shù)倉(cāng)技術(shù)架構(gòu)演進(jìn)

實(shí)時(shí)數(shù)倉(cāng)的探索過(guò)程中,我們先后經(jīng)歷了如下幾個(gè)階段:

·2018年~2019年,基于Hive框架下的小時(shí)級(jí)任務(wù)方案;

·2019年,基于Flink+Kudu的實(shí)時(shí)計(jì)算方案;

·2020年至今,基于DorisDB的實(shí)時(shí)數(shù)倉(cāng)技術(shù)架構(gòu)。

1.基于Hive

在原有天級(jí)延遲的離線數(shù)據(jù)處理任務(wù)基礎(chǔ)上,開(kāi)發(fā)小時(shí)級(jí)延遲的數(shù)據(jù)處理鏈路,將核心數(shù)據(jù)按小時(shí)同步到Hive數(shù)倉(cāng)中,每小時(shí)調(diào)度一次DAG任務(wù),實(shí)現(xiàn)小時(shí)級(jí)任務(wù)計(jì)算。任務(wù)DAG示意圖如下所示:

好未來(lái) x DorisDB:全新實(shí)時(shí)數(shù)倉(cāng)實(shí)踐,深入釋放實(shí)時(shí)數(shù)據(jù)價(jià)值

(1)優(yōu)點(diǎn):

·離線和小時(shí)級(jí)任務(wù)各自獨(dú)立

·代碼邏輯復(fù)用性高,減少開(kāi)發(fā)成本

·可以使用離線數(shù)據(jù)覆蓋小時(shí)級(jí)數(shù)據(jù),進(jìn)行數(shù)據(jù)修復(fù)

(2)缺點(diǎn):

·小時(shí)級(jí)數(shù)據(jù)的延遲性還是很高,已無(wú)法滿足業(yè)務(wù)對(duì)數(shù)據(jù)時(shí)效性的要求

·MapReduce不適合分鐘級(jí)頻次的任務(wù)調(diào)度,主要是MapReduce任務(wù)啟動(dòng)慢,另外會(huì)過(guò)高的頻次會(huì)產(chǎn)生很多小文件,影響HDFS的穩(wěn)定性,以及SQL on Hadoop系統(tǒng)的查詢速度

·批量數(shù)據(jù)處理每次運(yùn)行對(duì)資源要求高,尤其是當(dāng)凌晨Hadoop資源緊張時(shí),任務(wù)經(jīng)常無(wú)法得到調(diào)度,延遲嚴(yán)重

2.基于Flink+Kudu

為了解決上面基于MapReduce小時(shí)級(jí)任務(wù)的問(wèn)題,我們采用了流式處理系統(tǒng)Flink和支持增量更新的存儲(chǔ)系統(tǒng)Kudu。

好未來(lái) x DorisDB:全新實(shí)時(shí)數(shù)倉(cāng)實(shí)踐,深入釋放實(shí)時(shí)數(shù)據(jù)價(jià)值

如上圖所示,實(shí)時(shí)的日志數(shù)據(jù)通過(guò)Flume采集到Kafka,實(shí)時(shí)的業(yè)務(wù)數(shù)據(jù)通過(guò)canal實(shí)時(shí)同步數(shù)據(jù)庫(kù)的binlog再轉(zhuǎn)發(fā)到Kafka中,F(xiàn)link再實(shí)時(shí)消費(fèi)Kafka中的數(shù)據(jù)寫入Kudu中。

在使用Flink+Kudu的實(shí)踐中,我們遇到了如下幾個(gè)問(wèn)題:

·Flink基于stream語(yǔ)義,做復(fù)雜指標(biāo)計(jì)算非常復(fù)雜,門檻高,開(kāi)發(fā)效率不高,數(shù)據(jù)倉(cāng)庫(kù)更多使用批處理SQL

·Kudu+I(xiàn)mpala聚合查詢效率不高,查詢響應(yīng)時(shí)間不能滿足業(yè)務(wù)多維分析要求

·使用Kudu需要依賴Impala、Hive等整個(gè)Hadoop組件,維護(hù)成本太高

·Kudu社區(qū)不活躍,遇到問(wèn)題很難找到相關(guān)解決方案,使用過(guò)程中遇到過(guò)宕機(jī)等各類疑難問(wèn)題

3.基于DorisDB

基于上面方案的問(wèn)題,我們開(kāi)始對(duì)實(shí)時(shí)數(shù)倉(cāng)進(jìn)行調(diào)研,包括DorisDB、ClickHouse、Kylin等系統(tǒng),考慮到查詢性能、社區(qū)發(fā)展、運(yùn)維成本等多種因素,我們最后選擇DorisDB作為我們的實(shí)時(shí)數(shù)倉(cāng),各系統(tǒng)的對(duì)比總結(jié)如下:

好未來(lái) x DorisDB:全新實(shí)時(shí)數(shù)倉(cāng)實(shí)踐,深入釋放實(shí)時(shí)數(shù)據(jù)價(jià)值

我們也深入考慮過(guò)ClickHouse,對(duì)于教育場(chǎng)景,一個(gè)學(xué)員要關(guān)聯(lián)的數(shù)據(jù)維度多,包括課堂、服務(wù)、訂單、教研等。在每個(gè)主題我們都會(huì)建設(shè)靈活且易用的星型數(shù)據(jù)模型。當(dāng)業(yè)務(wù)想進(jìn)行個(gè)性化自助分析時(shí),僅需要關(guān)聯(lián)相關(guān)表即可。但如果直接構(gòu)建明細(xì)大寬表,隨著業(yè)務(wù)不斷調(diào)整,經(jīng)常需要重構(gòu)開(kāi)發(fā)。這種情況下,ClickHouse的join能力弱,無(wú)法滿足需求,而DorisDB強(qiáng)悍的Join能力,就成了我們應(yīng)對(duì)業(yè)務(wù)變化的利器。而且DorisDB支持CBO(基于成本統(tǒng)計(jì)的優(yōu)化器),具備復(fù)雜查詢的優(yōu)化能力,從而可以快速的進(jìn)行復(fù)雜實(shí)時(shí)微批處理任務(wù),可以幫助我們更好的進(jìn)行實(shí)時(shí)指標(biāo)構(gòu)建。

最終選擇DorisDB的原因:

·使用DorisDB可以讓我們像開(kāi)發(fā)離線Hive任務(wù)一樣進(jìn)行實(shí)時(shí)數(shù)倉(cāng)的開(kāi)發(fā),避免了復(fù)雜的Flink stream語(yǔ)義,同時(shí)也能在功能上對(duì)齊離線指標(biāo),保證指標(biāo)豐富性的基礎(chǔ)上完成指標(biāo)定義口徑的一致,并且可以保證分鐘級(jí)的數(shù)據(jù)可見(jiàn)性。

·大寬表和星型模型的查詢性能都很好,可以靈活高效的滿足各類業(yè)務(wù)分析要求。

·DorisDB簡(jiǎn)單易用,運(yùn)維管理成本低。

三、基于DorisDB的實(shí)時(shí)數(shù)倉(cāng)架構(gòu)

1.系統(tǒng)搭建

好未來(lái) x DorisDB:全新實(shí)時(shí)數(shù)倉(cāng)實(shí)踐,深入釋放實(shí)時(shí)數(shù)據(jù)價(jià)值

整個(gè)系統(tǒng),除了DorisDB集群之外,我們還搭建了下面兩個(gè)配套系統(tǒng)

·調(diào)度:使用Airflow,進(jìn)行DAG任務(wù)調(diào)度

·監(jiān)控:使用grafana+prometheus,采集DorisDB信息并進(jìn)行實(shí)時(shí)監(jiān)控

2.實(shí)時(shí)數(shù)倉(cāng)總體架構(gòu)

好未來(lái) x DorisDB:全新實(shí)時(shí)數(shù)倉(cāng)實(shí)踐,深入釋放實(shí)時(shí)數(shù)據(jù)價(jià)值

基于DorisDB的實(shí)時(shí)數(shù)倉(cāng)總體架構(gòu),主要包括下面三個(gè)部分:

(1)數(shù)據(jù)源:業(yè)務(wù)數(shù)據(jù)(使用Flink實(shí)時(shí)同步mysql的binlog日志,寫入到Kafka)、日志數(shù)據(jù)(包括H5小程序、APP、直播ipad客戶端等埋點(diǎn)采集的各類日志數(shù)據(jù),通過(guò)Flume寫入到Kafka中)

(2)數(shù)據(jù)存儲(chǔ):

·采用DorisDB的Routine Load直接消費(fèi)Kafka中的日志和業(yè)務(wù)數(shù)據(jù)

·使用DorisDB的Broker Load將Hadoop中的DWD、DWS、ADS等數(shù)據(jù)導(dǎo)入到DorisDB中

·對(duì)于Flink等流式處理下系統(tǒng),使用DorisDB的Stream Load方式實(shí)時(shí)將數(shù)據(jù)導(dǎo)入DorisDB

(3)數(shù)據(jù)應(yīng)用:

·使用DataX可以將DorisDB數(shù)據(jù)導(dǎo)出到MySQL中

·使用DorisDB的Export可以將DorisDB中的數(shù)據(jù)導(dǎo)出到HDFS中

·DorisDB完全兼容Mysql協(xié)議,BI或業(yè)務(wù)系統(tǒng)可以使用Mysql Connector直接連接DorisDB進(jìn)行使用

3.實(shí)時(shí)數(shù)倉(cāng)數(shù)據(jù)處理流程

好未來(lái) x DorisDB:全新實(shí)時(shí)數(shù)倉(cāng)實(shí)踐,深入釋放實(shí)時(shí)數(shù)據(jù)價(jià)值

在實(shí)時(shí)數(shù)倉(cāng)內(nèi)部,也是按照傳統(tǒng)離線數(shù)倉(cāng)的方式,對(duì)數(shù)據(jù)處理進(jìn)行分層處理:

·ODS層,設(shè)置DorisDB的Routine Load間隔30秒消費(fèi)一次Kafka數(shù),寫入到ODS表中

·DWD層,按業(yè)務(wù)分析的需要建模DWD表,通過(guò)Airflow間隔5分鐘,將ODS表中過(guò)去5分鐘的增量數(shù)據(jù)寫入到DWD表中

·DWS層,對(duì)DWD表中的維度進(jìn)行輕度或中度匯總,可以加快上層查詢速度

·BI層,通過(guò)自研的一個(gè)指標(biāo)定義工具,分析人員可以快速的基于DWS構(gòu)建報(bào)表,也可以衍生出一些復(fù)合指標(biāo)進(jìn)行二次加工。分析師也可以將取數(shù)口徑中的SQL做臨時(shí)修改,生成一個(gè)復(fù)雜跨主題查詢SQL,來(lái)應(yīng)對(duì)一些Adhoc需求場(chǎng)景。

四、DorisDB實(shí)時(shí)數(shù)倉(cāng)具體應(yīng)用

在好未來(lái),為保證課堂上課數(shù)據(jù)、訂單數(shù)據(jù)的實(shí)時(shí)分析要求,使用DorisDB支撐了課堂、訂單等分析業(yè)務(wù)。下面以課堂、訂單場(chǎng)景為例,從數(shù)據(jù)同步、數(shù)據(jù)加工等幾個(gè)步驟拆解DorisDB在好未來(lái)應(yīng)用場(chǎng)景的落地方案。

1.實(shí)時(shí)數(shù)據(jù)同步

在好未來(lái),采用flink采集業(yè)務(wù)庫(kù)的binlog數(shù)據(jù),然后寫入到kafka中,DorisDB只需要消費(fèi)kafka對(duì)應(yīng)的topic數(shù)據(jù)即可,整體流程如下圖:

好未來(lái) x DorisDB:全新實(shí)時(shí)數(shù)倉(cāng)實(shí)踐,深入釋放實(shí)時(shí)數(shù)據(jù)價(jià)值

2.實(shí)時(shí)數(shù)倉(cāng)數(shù)據(jù)處理

DorisDB內(nèi)部的實(shí)時(shí)數(shù)據(jù)加工處理主要有如下操作:

·縮短計(jì)算鏈路的長(zhǎng)度,實(shí)時(shí)部分最多計(jì)算2層。dwd或dws層

·增量計(jì)算,采用DorisDB的UNIQUE KEY模型,相當(dāng)于(insert+update),因此只計(jì)算增量部分即可

·采用時(shí)間分區(qū),多副本策略。既為了數(shù)據(jù)安全,又能避免鎖表

·離線表結(jié)構(gòu)與實(shí)時(shí)表結(jié)構(gòu),保持一樣,這樣就可以用離線修復(fù)T+1數(shù)據(jù)

好未來(lái) x DorisDB:全新實(shí)時(shí)數(shù)倉(cāng)實(shí)踐,深入釋放實(shí)時(shí)數(shù)據(jù)價(jià)值

3.DAG任務(wù)調(diào)度

為了使DorisDB能在airflow上執(zhí)行,我們封裝了airflow調(diào)用DorisDB執(zhí)行sql的算子,以便DorisDB的加工邏輯在airflow上被定時(shí)調(diào)度。

好未來(lái) x DorisDB:全新實(shí)時(shí)數(shù)倉(cāng)實(shí)踐,深入釋放實(shí)時(shí)數(shù)據(jù)價(jià)值

DorisDB任務(wù)執(zhí)行狀態(tài)的檢查,由于不像T+1,只需要判斷昨天任務(wù)是否執(zhí)行就行了,實(shí)時(shí)檢查需要滿足以下條件:

·檢查輪詢間隔,需要根據(jù)不同的調(diào)度間隔,適當(dāng)調(diào)整

·檢查輪詢總時(shí)長(zhǎng),不能超過(guò)(調(diào)度間隔時(shí)長(zhǎng)-10秒)

·檢查的范圍,最小需要大于調(diào)度間隔,最大小于2倍的調(diào)度間隔

根據(jù)以上的實(shí)時(shí)調(diào)度檢查條件,我們封裝了基于DorisDB的實(shí)時(shí)調(diào)度的任務(wù)檢查airflow算子,方便使用。

4.實(shí)時(shí)數(shù)據(jù)生產(chǎn)預(yù)警

為了監(jiān)控DorisDB的實(shí)時(shí)數(shù)據(jù)生產(chǎn)情況,我們?cè)O(shè)置了三種預(yù)警:

(1)檢查DorisDB消費(fèi)Kafka的任務(wù),是否停掉了,如果停掉自動(dòng)重啟,重啟3次依然失敗,再發(fā)通知,人為干預(yù)

(2)檢查常規(guī)任務(wù)的執(zhí)行,如果執(zhí)行報(bào)錯(cuò),就發(fā)通知。

(3)檢查數(shù)據(jù)源與DorisDB實(shí)時(shí)數(shù)倉(cāng)ods層表,schema的對(duì)比,如果出現(xiàn)schema變更,就發(fā)通知人為干預(yù)。這樣我們就能在白天實(shí)時(shí)了解schema的變更情況,不必要等到調(diào)度報(bào)錯(cuò)才發(fā)現(xiàn),而且不影響線上數(shù)據(jù)產(chǎn)出。

五、DorisDB使用效果

1.提升業(yè)務(wù)收益

DorisDB在眾多場(chǎng)景給業(yè)務(wù)帶來(lái)了直接收益,尤其是DorisDB的實(shí)時(shí)數(shù)據(jù)與算法模型相結(jié)合的場(chǎng)景。比如教育的獲客、轉(zhuǎn)化、用戶續(xù)報(bào)等業(yè)務(wù),之前模型需要特征數(shù)據(jù)都是前一天的,所以模型也相對(duì)滯后。而我們通過(guò)大量數(shù)據(jù)分析得出結(jié)論:是當(dāng)日行為和跟進(jìn)數(shù)據(jù),是最有價(jià)值的特征數(shù)據(jù),這樣模型效果較好。特別是意向用戶識(shí)別模型,成為線索當(dāng)天的歷史積累數(shù)據(jù)的特征和前一天的歷史積累數(shù)據(jù)的特征,分別訓(xùn)練模型后,線上實(shí)際預(yù)測(cè)效果相差2-3個(gè)百分點(diǎn),AUC 0.752和AUC 0.721的差別,所以,當(dāng)天的特征模型效果特別明顯。

2.降低使用成本

·用簡(jiǎn)單的SQL語(yǔ)義替代Stream語(yǔ)義完成實(shí)時(shí)數(shù)倉(cāng)的開(kāi)發(fā),大大降低了開(kāi)發(fā)的復(fù)雜度和時(shí)間成本,同時(shí)能夠保證和離線指標(biāo)的一致性。

·結(jié)合使用寬表模型和星型模型,寬表和物化視圖可以保證報(bào)表性能和并發(fā)能力,星型模型可以保證系統(tǒng)的查詢靈活性,在一套系統(tǒng)中滿足不同場(chǎng)景的分析需求。另外,明細(xì)表查詢我們通過(guò)DorisDB外表的方式暴露查詢,提升了查詢的速度,大大降低了業(yè)務(wù)方的成本。DorisDB的分布式Join能力非常強(qiáng),原來(lái)一些需要查詢多個(gè)Index在從內(nèi)存中計(jì)算的邏輯可以直接下推到DorisDB中,降低了原有方案的復(fù)雜度,提升了查詢服務(wù)的穩(wěn)定性,加快了響應(yīng)時(shí)間。

·BI報(bào)表遷移成本低,我們前期BI可視化是基于Mysql構(gòu)建的,某些看板不斷優(yōu)化和豐富需求后,加上多維度靈活條件篩選,每次加載超級(jí)慢,業(yè)務(wù)無(wú)法接受,當(dāng)同樣數(shù)據(jù)同步到DorisDB上后,我們僅需要修改數(shù)據(jù)源鏈接信息,SQL邏輯不用修改(這個(gè)超級(jí)爽,遷移成本超級(jí)低),查詢性能直接提升10倍以上。

·運(yùn)維成本低,相對(duì)其他大數(shù)據(jù)組件來(lái)說(shuō),DorisDB只需要部署一種即可滿足各類數(shù)據(jù)分析需求,不需要其他軟件輔助,而且部署運(yùn)維簡(jiǎn)單。

未來(lái)展望

DorisDB作為新一代MPP數(shù)據(jù)庫(kù)的引領(lǐng)者,當(dāng)前在多種場(chǎng)景下性能都非常優(yōu)秀,幫助我們非常好的重構(gòu)了實(shí)時(shí)數(shù)倉(cāng)。目前DorisDB高效的支持了實(shí)時(shí)指標(biāo)的計(jì)算,以及業(yè)務(wù)方在實(shí)時(shí)場(chǎng)景下的數(shù)據(jù)靈活探查和多維分析需求。DorisDB在集團(tuán)內(nèi)部各個(gè)業(yè)務(wù)線的應(yīng)用越來(lái)越多,我們也將推動(dòng)實(shí)時(shí)和離線數(shù)據(jù)分析進(jìn)行統(tǒng)一,為業(yè)務(wù)分析提供更好的支撐。后繼我們將分享更多DorisDB的成功實(shí)踐。最后,感謝鼎石科技的大力支持!

聲明: 本文系OFweek根據(jù)授權(quán)轉(zhuǎn)載自其它媒體或授權(quán)刊載,目的在于信息傳遞,并不代表本站贊同其觀點(diǎn)和對(duì)其真實(shí)性負(fù)責(zé),如有新聞稿件和圖片作品的內(nèi)容、版權(quán)以及其它問(wèn)題的,請(qǐng)聯(lián)系我們。

發(fā)表評(píng)論

0條評(píng)論,0人參與

請(qǐng)輸入評(píng)論內(nèi)容...

請(qǐng)輸入評(píng)論/評(píng)論長(zhǎng)度6~500個(gè)字

您提交的評(píng)論過(guò)于頻繁,請(qǐng)輸入驗(yàn)證碼繼續(xù)

  • 看不清,點(diǎn)擊換一張  刷新

暫無(wú)評(píng)論

暫無(wú)評(píng)論

智慧城市 獵頭職位 更多
文章糾錯(cuò)
x
*文字標(biāo)題:
*糾錯(cuò)內(nèi)容:
聯(lián)系郵箱:
*驗(yàn) 證 碼:

粵公網(wǎng)安備 44030502002758號(hào)