隨著信貸科技的不斷發(fā)展，使大數(shù)據(jù)分析場景相應地增加了許多，對于金融科技平臺而言，這些新場景對數(shù)據(jù)的安全性、準確性、實時性提出更嚴格的要求。與此同時，指數(shù)級增長的用戶數(shù)，也向業(yè)務端施加了交付效率、穩(wěn)定性、用戶體驗等多重壓力。

日前，毓數(shù)大數(shù)據(jù)平臺架構(gòu)全面升級，360數(shù)科完成了Apache Doris在毓數(shù)大數(shù)據(jù)分析多場景落地應用。值得一提的是，不同于市面上應用最為廣泛的實時數(shù)倉場景，360數(shù)科獨創(chuàng)的Doris + Presto秒級多級加速引擎，大大改良了大數(shù)據(jù)分析內(nèi)存占用過高，數(shù)據(jù)處理緩慢等問題。在Doris的支持下，360數(shù)科實時查詢一級加速性能提升190倍，二級加速性能提升19.1倍，實時數(shù)據(jù)分析效率大幅提升。

獨創(chuàng)加速機制，打造秒級響應競爭力

(資料圖片僅供參考)

伴隨業(yè)務的不斷深入，360數(shù)科早期應用的OLAP多維分析數(shù)據(jù)庫集群穩(wěn)定性較低、運維復雜和表關(guān)聯(lián)查詢較慢等問題凸顯?！俺酥?，在大數(shù)據(jù)查詢分析場景，基于Spark單一查詢引擎分鐘級響應，影響數(shù)據(jù)分析人員工作效率，亟需做出優(yōu)化和重構(gòu)?！?360數(shù)科系統(tǒng)架構(gòu)總監(jiān)黃建庭稱。

基于以上需求及痛點，360數(shù)科對大數(shù)據(jù)計算引擎的選型目標提出了明確的需求，即：數(shù)據(jù)寫入性能高、查詢響應秒級、兼容標準 SQL 協(xié)議、表關(guān)聯(lián)查詢性能優(yōu)秀、支持豐富的數(shù)據(jù)模型、運維復雜度低、社區(qū)活躍以及對商業(yè)友好，無法律風險。

今年3月，360數(shù)科對符合以上特點的數(shù)據(jù)庫 Apache Doris 展開了為期兩個月的調(diào)研測試，并在多次適配后，獨創(chuàng)多級查詢引擎動態(tài)切換的機制，完成了針對業(yè)務場景的調(diào)優(yōu)。“Doris的應用，使我們的數(shù)據(jù)處理分析能力發(fā)生了質(zhì)的飛躍。從效果來講，Doris不僅可以支持高并發(fā)的實時查詢場景，也能支持高吞吐的復雜分析場景?！?/p>

以實時查詢場景舉例，傳統(tǒng)的大數(shù)據(jù)查詢引擎難以滿足數(shù)據(jù)開發(fā)者、數(shù)據(jù)分析師對查詢響應性能提出的高要求，動輒分鐘級甚者小時級的查詢耗時極大的限制了相關(guān)場景的數(shù)據(jù)分析效率。

為提高查詢性能，360數(shù)科自主研發(fā)的多級加速查詢引擎，支持多查詢引擎動態(tài)切換的機制，能夠通過識別查詢數(shù)據(jù)的元信息對當次查詢做自動的查詢引擎(Doris/Presto/Spark/Hive)路由和故障切換。通過將Doris 架設(shè)在 Hive 數(shù)倉的上層，360數(shù)科可以直接復用已經(jīng)建設(shè)好的數(shù)據(jù)血緣關(guān)系，在不利用Doris 集群產(chǎn)生新表的前提下，就能完成對特定場景的低成本查詢加速。

擁抱新技術(shù)，反哺開源

顯然，對于Doris的應用并非360數(shù)科在開源領(lǐng)域的首次嘗試。

2019年，360數(shù)科加入Apache OpenMessaging，參與開放消息技術(shù)標準推廣和實踐，為包括Apollo、Dubbo、Skywalking、Sentinal、Arthas等頂級開源項目在內(nèi)的多個項目提出問題、貢獻代碼及解決方案。

在自主開源方面，360數(shù)科技術(shù)團隊貢獻的首個自主開源項目Chronus，在完成內(nèi)部5個里程碑版本后，無縫支持Dubbo協(xié)議、Http及SpringCloud等，致力于成為微服務生態(tài)輕量級分布式調(diào)度平臺。

對此，黃建庭認為，受益于開源，就應該反哺開源，這是每一個技術(shù)人都會有的信念?！盎诎荨㈤_放的技術(shù)行為準則，我們一直在參與開源、自主開源方面發(fā)力。從2018年開始，我們在使用過程當中發(fā)現(xiàn)一些問題，比如當前的開源項目不完全符合內(nèi)部的環(huán)境或需求，我們就會自己去改，如：對Hadoop生態(tài)改進優(yōu)化超過40處；再比如，發(fā)現(xiàn)開源項目里有一些缺陷，我們就會去修復，并回饋到開源項目中，如：近期反饋PR到Apache Doris項目?！?/p>

今年6月，Apache Doris成功從 Apache 孵化器畢業(yè)，正式成為 Apache 頂級項目，這背后是以360數(shù)科為代表的開源社區(qū)成員共同努力的結(jié)果?！白鳛殚_源社區(qū)曾經(jīng)的受益者，我們更希望能夠以助力者的身份與其他高科技公司共同攜手推動我國計算機技術(shù)和高科技企業(yè)的發(fā)展?！?/p>

據(jù)了解，360數(shù)科將繼續(xù)應用Doris在實時查詢引擎加速、實時數(shù)倉、用戶畫像/標簽、RTA等業(yè)務場景不斷優(yōu)化。同時公司也將通過分析用戶的查詢 SQL 特征，結(jié)合Doris的查詢緩存、物化視圖、Doris on Hive等特性，進一步提升查詢效率等，以期支撐更多的業(yè)務場景、發(fā)揮更大價值。

談及后續(xù)規(guī)劃，黃建庭表示，“未來我們也會考慮全面開源，但不是簡單地把系統(tǒng)開源，會充分考慮到開源項目的適用性、通用性等，避免系統(tǒng)的環(huán)境依賴、內(nèi)部依賴、能力依賴，以開放的金融科技創(chuàng)新能力幫助相關(guān)公司提升效率、節(jié)約資源，同時也不斷完善我們開源的系統(tǒng)，進一步推動金融科技底層生態(tài)的完善。”(中新經(jīng)緯APP)