行業(yè)動態(tài)

      如何編織數(shù)據(jù)?國產(chǎn)廠商為何止步不前?

      2021-09-03
      0

      數(shù)據(jù)是指記錄和識別客觀事件的符號,是記錄客觀事物的性質(zhì)、狀態(tài)和相互關(guān)系或這些物理符號組合的物理符號。它是一個可識別的抽象符號。如何實(shí)現(xiàn)“數(shù)據(jù)找人而不是人找數(shù)據(jù)”的夢想?“數(shù)據(jù)織物”悄然出現(xiàn)。IBM大中華區(qū)技術(shù)事業(yè)部vps/' target='_blank'>云計(jì)算與認(rèn)知軟件事業(yè)部數(shù)據(jù)與人工智能信息架構(gòu)產(chǎn)品總監(jiān)王積杰稱之為“數(shù)據(jù)經(jīng)緯度”,而高德納高級研究總監(jiān)孫鑫則認(rèn)為“數(shù)據(jù)編織”更適合,因?yàn)樗J(rèn)為數(shù)據(jù)編織更“動態(tài)”。在Data Fabric問世之前,數(shù)據(jù)結(jié)構(gòu)的設(shè)計(jì)主要部署為靜態(tài)基礎(chǔ)設(shè)施,但未來將需要采用更加動態(tài)的數(shù)據(jù)網(wǎng)格方法進(jìn)行徹底的重新設(shè)計(jì)。孫鑫在接受記者采訪時(shí)表示,Data Fabric不是產(chǎn)品,而是一種設(shè)計(jì)理念,利用AI、機(jī)器學(xué)習(xí)和數(shù)據(jù)科學(xué)的功能來訪問數(shù)據(jù)或支持?jǐn)?shù)據(jù)動態(tài)集成,從而發(fā)現(xiàn)可用數(shù)據(jù)之間獨(dú)特的、與業(yè)務(wù)相關(guān)的關(guān)系。

      如何編織數(shù)據(jù)?國產(chǎn)廠商為何止步不前?

      然而,IBM對數(shù)據(jù)結(jié)構(gòu)的看法與高德納專家提到的“動態(tài)”、“數(shù)據(jù)網(wǎng)格”和人工智能賦能并不沖突。IBM中國R&D中心首席技術(shù)官趙俊偉解釋說:“經(jīng)緯作為名詞,原本是指織物的直線和水平線,引申為萬物相連的規(guī)律。”《左傳·趙專公二十五年》寫道——‘禮,紀(jì)律上下,天地經(jīng)緯’。”作為地理概念,經(jīng)緯度可以定位地球上的任何位置,而‘數(shù)據(jù)經(jīng)緯度’可以定位復(fù)雜企業(yè)數(shù)據(jù)目錄中的任何數(shù)據(jù)源。經(jīng)緯是動詞,意思是規(guī)劃和治理。《周樹》中提到的“田靜狄威紀(jì)”,意思是治理天下。"

      “我們可以將Data Fabric視為虛擬網(wǎng)絡(luò),它不是點(diǎn)對點(diǎn)連接,而是虛擬連接。每個節(jié)點(diǎn)可以是不同的數(shù)據(jù)系統(tǒng),不同系統(tǒng)上的數(shù)據(jù)可以在互聯(lián)網(wǎng)上快速定位和找到。數(shù)據(jù)結(jié)構(gòu)的主要功能是在正確的時(shí)間將正確的數(shù)據(jù)提供給正確的人。通過數(shù)據(jù)結(jié)構(gòu),合適的人可以在合適的時(shí)間從合適的地點(diǎn)獲得合適的數(shù)據(jù)。”王積杰告訴記者。目前數(shù)據(jù)連接的架構(gòu)設(shè)計(jì)主要以“人找數(shù)據(jù)”為主,而Data Fabric設(shè)計(jì)的核心是“數(shù)據(jù)找人”,可以在合適的時(shí)間將合適的數(shù)據(jù)推送給需要的人。

      為什么Data Fabric會成為一種趨勢,為什么未來會有越來越多的企業(yè)以這種方式部署?王積杰談到了數(shù)據(jù)利用結(jié)構(gòu)模式的變化。在傳統(tǒng)的IT時(shí)代,無論是早年的“數(shù)據(jù)倉庫”還是近年來的“數(shù)據(jù)湖”“大數(shù)據(jù)”時(shí)代,其實(shí)數(shù)據(jù)利用都是一個集中的結(jié)構(gòu),將數(shù)據(jù)集中在一起,讓企業(yè)數(shù)據(jù)分析師和BI (Business Intelligence)分析師對數(shù)據(jù)進(jìn)行分析。然而,在云計(jì)算時(shí)代,用戶的業(yè)務(wù)部署在多云的環(huán)境中,收集分布在不同云中的數(shù)據(jù)成本高、費(fèi)力,因此采用分散、分布式的數(shù)據(jù)網(wǎng)絡(luò)架構(gòu)是必然的選擇。

      數(shù)據(jù)結(jié)構(gòu)可以同時(shí)為業(yè)務(wù)和技術(shù)團(tuán)隊(duì)帶來明顯的價(jià)值。王積杰表示,從業(yè)務(wù)角度來看,因?yàn)槠髽I(yè)可以輕松獲得高質(zhì)量的數(shù)據(jù),他們可以更快、更準(zhǔn)確地獲得企業(yè)數(shù)據(jù)洞察。從技術(shù)方面來說,數(shù)據(jù)復(fù)制的次數(shù)和頻率更少,減少了數(shù)據(jù)整合的工作,方便了數(shù)據(jù)質(zhì)量和標(biāo)準(zhǔn)的維護(hù),降低了硬件架構(gòu)和存儲的開銷。由于減少了數(shù)據(jù)復(fù)制并大大優(yōu)化了數(shù)據(jù)流,數(shù)據(jù)處理過程得到了加速和簡化,從而通過實(shí)施自動化的整體數(shù)據(jù)策略減少了數(shù)據(jù)訪問管理的工作。

      Gartner認(rèn)為,隨著數(shù)據(jù)復(fù)雜性的不斷增加和數(shù)字服務(wù)的加速發(fā)展,Data Fabric已成為支持組合數(shù)據(jù)分析及其各種組件的基礎(chǔ)架構(gòu)。由于在技術(shù)設(shè)計(jì)中可以使用/重用和組合不同的數(shù)據(jù)集成方法,Data Fabric可以將集成設(shè)計(jì)時(shí)間縮短30%,部署時(shí)間縮短30%,維護(hù)時(shí)間縮短70%。IBM 7月發(fā)布的Cloud Pak for Data4.0增加了智能數(shù)據(jù)結(jié)構(gòu)功能,其中AutoSQL(結(jié)構(gòu)化查詢語言)可以通過AI自動訪問、集成和管理數(shù)據(jù),可以幫助客戶以8倍的速度、不到一半的成本獲得分布式查詢的答案。

      如何“編織”數(shù)據(jù)?

      數(shù)據(jù)結(jié)構(gòu)如何“編織”實(shí)現(xiàn)“數(shù)據(jù)找人而不是人找數(shù)據(jù)”?據(jù)王積杰介紹,數(shù)據(jù)結(jié)構(gòu)至少需要四個維度。首先,它可以在數(shù)據(jù)之間建立虛擬鏈接,簡化數(shù)據(jù)訪問模式,從而減少數(shù)據(jù)復(fù)制的次數(shù)。二是建立企業(yè)數(shù)據(jù)目錄,利用AI技術(shù)自動實(shí)現(xiàn)語義和知識分析,理解數(shù)據(jù)及其業(yè)務(wù)含義,建立知識圖譜,從而使數(shù)據(jù)目錄智能化、自動化。需要數(shù)據(jù)的用戶可以隨時(shí)知道哪里需要數(shù)據(jù)以及如何需要數(shù)據(jù)。三是建立自動化數(shù)據(jù)平臺,允許用戶以自助方式訪問和獲取數(shù)據(jù)。第四,通過提供全面的自動化策略,我們可以確保數(shù)據(jù)安全,增加數(shù)據(jù)隱私和權(quán)限保護(hù),并提高數(shù)據(jù)質(zhì)量。

      數(shù)據(jù)編織是一種新的設(shè)計(jì)理念,是數(shù)據(jù)管理和數(shù)據(jù)收集理念的轉(zhuǎn)變。它不是與數(shù)據(jù)倉庫、數(shù)據(jù)湖等技術(shù)的替代關(guān)系。既可以利用數(shù)據(jù)中心、數(shù)據(jù)湖、數(shù)據(jù)倉庫的現(xiàn)有技術(shù)和技能,也可以在未來增加新的方法和工具。孫鑫談到了實(shí)現(xiàn)Data Fabric的一些關(guān)鍵技術(shù),比如增強(qiáng)數(shù)據(jù)目錄。為了找到數(shù)據(jù)而不是數(shù)據(jù)的人,需要一個增強(qiáng)的數(shù)據(jù)目錄。應(yīng)該涵蓋用戶數(shù)據(jù)使用的頻率和機(jī)制,了解數(shù)據(jù)和業(yè)務(wù)的關(guān)系。它還包括知識地圖,通過知識地圖可以發(fā)現(xiàn)數(shù)據(jù)和業(yè)務(wù)之間的關(guān)系,并找到元數(shù)據(jù)利用的集成策略。還包括推薦引擎和數(shù)據(jù)準(zhǔn)備階段的低代碼等工具。低代碼工具的作用是降低數(shù)據(jù)使用的門檻。

      從Data Fabric推動的困難來看,“一是概念層面的問題,中國用戶還沒有意識到數(shù)據(jù)利用和使用的方式發(fā)生了變化,傳統(tǒng)的集中收集和復(fù)用的方式已經(jīng)不能滿足需求。二是目前很多企業(yè)對元數(shù)據(jù)不夠重視。第三,從人的角度出發(fā),需要提高企業(yè)數(shù)據(jù)工程師培訓(xùn)知識圖譜、圖語言、圖建模等數(shù)據(jù)工具的能力。第四,數(shù)據(jù)編織的實(shí)現(xiàn)不是找廠家就能完成的。這是一段旅程,需要分幾步走。”據(jù)孫鑫介紹,從用戶角度來看,率先采用Data Fabric的是金融電信行業(yè)和數(shù)據(jù)應(yīng)用場景復(fù)雜的用戶。在這一點(diǎn)上,王積杰表達(dá)了與孫鑫相同的觀點(diǎn)——這是一個方向,但不可能一蹴而就。用戶需要一步一步地實(shí)現(xiàn)它。關(guān)鍵是要意識到趨勢,并在后續(xù)的項(xiàng)目實(shí)施中按照Data Fabric的思路進(jìn)行構(gòu)建。

      國產(chǎn)廠商為何止步不前?

      雖然Gartner、Forrester等分析師在幾年前就指出,Data Fabric是數(shù)據(jù)利用和分析領(lǐng)域的革命性變革,是未來的方向,但記者在國內(nèi)大數(shù)據(jù)相關(guān)領(lǐng)域企業(yè)采訪時(shí)發(fā)現(xiàn),了解或布局,甚至找不到的企業(yè)并不多。這與國內(nèi)大數(shù)據(jù)廠商的分布有關(guān)。“國內(nèi)做數(shù)據(jù)庫和BI(商業(yè)智能)的企業(yè)很多,但做數(shù)據(jù)集成的企業(yè)很少。事實(shí)上,國外的數(shù)據(jù)編織往往是由數(shù)據(jù)集成和數(shù)據(jù)虛擬化廠商完成的。這很好地理解了為什么國內(nèi)大數(shù)據(jù)廠商沒有進(jìn)入Data Fabric,因?yàn)檫@樣的企業(yè)并不多。”孫鑫告訴記者。

      大廠商不進(jìn)入市場很容易理解,因?yàn)樵贒ata Fabric的思想下,往往需要用點(diǎn)和邊的新方式來描述數(shù)據(jù)關(guān)系,需要知識圖譜、圖數(shù)據(jù)庫等。,這往往是新公司正在做的領(lǐng)域,而大廠商往往都有自己的數(shù)據(jù)集成工具,都希望在自己的平臺上進(jìn)行集成,但這種情況在未來幾年肯定會改變。“數(shù)據(jù)結(jié)構(gòu)(Data Fabric)的概念在全球范圍內(nèi)變得炙手可熱,但目前國內(nèi)了解它的IT用戶并不多。十年前,大數(shù)據(jù)概念在國外興起后,不到三年就被中國用戶廣泛接受。未來中國接受和應(yīng)用這種數(shù)據(jù)結(jié)構(gòu)概念需要多長時(shí)間?等待時(shí)間給出答案。”王積杰說道。租用服務(wù)器可咨詢夢飛云idc了解。

      部分文章來源與網(wǎng)絡(luò),若有侵權(quán)請聯(lián)系站長刪除!

      推薦產(chǎn)品