數(shù)據(jù)編織是一種新興的數(shù)據(jù)管理設(shè)計(jì),在中國(guó)保持了較高的市場(chǎng)吸引力。2022年Gartner數(shù)據(jù)和分析云采用調(diào)研顯示,盡管受訪者對(duì)“數(shù)據(jù)編織”一詞的定義不盡相同,但42%的中國(guó)用戶表示已采用這一技術(shù),另有34%的受訪者計(jì)劃在未來(lái)12個(gè)月內(nèi)采用這項(xiàng)技術(shù)。這兩個(gè)選項(xiàng)的受訪者占比都超過了全球水平(見圖1)。
圖1:中國(guó)客戶與全球客戶的數(shù)據(jù)編織采用計(jì)劃
數(shù)據(jù)分析和人工智能(AI)技術(shù)及其在垂直行業(yè)用例的爆炸式增長(zhǎng),使企業(yè)數(shù)據(jù)基礎(chǔ)設(shè)施變得日益復(fù)雜和難以維護(hù)。經(jīng)濟(jì)和地緣政治不確定性導(dǎo)致數(shù)據(jù)監(jiān)管環(huán)境難以預(yù)測(cè),進(jìn)一步提高了管理難度。如果企業(yè)無(wú)法實(shí)施由主動(dòng)元數(shù)據(jù)驅(qū)動(dòng)的數(shù)據(jù)編織來(lái)提升數(shù)據(jù)和分析(D&A)彈性和敏捷性,D&A系統(tǒng)的維護(hù)成本將超過其創(chuàng)造的價(jià)值。
千變?nèi)f化的宏觀環(huán)境導(dǎo)致了數(shù)據(jù)管理規(guī)范的不確定性
過去兩年,中國(guó)政府發(fā)布了多項(xiàng)國(guó)家原則,如《數(shù)據(jù)二十條》和《數(shù)字經(jīng)濟(jì)發(fā)展十四五規(guī)劃》,以促進(jìn)數(shù)據(jù)、分析和AI在經(jīng)濟(jì)中的應(yīng)用。與此同時(shí),新的數(shù)據(jù)分析和AI用例(物聯(lián)網(wǎng)[IOT]、數(shù)字孿生、元宇宙、生成式AI等)不斷涌現(xiàn),使中國(guó)企業(yè)機(jī)構(gòu)進(jìn)一步推動(dòng)數(shù)據(jù)分析和AI的普及。
另一方面,主要由地緣政治緊張局勢(shì)驅(qū)動(dòng)的數(shù)據(jù)安全原則和自給自足要求,也在迫使企業(yè)更謹(jǐn)慎、更合規(guī)地使用數(shù)據(jù)。
為同時(shí)滿足上述兩個(gè)看上去對(duì)立的需求,數(shù)據(jù)和分析能力的升級(jí)路線圖和優(yōu)先任務(wù)變得難以預(yù)測(cè)。同時(shí),由于缺乏對(duì)當(dāng)前數(shù)據(jù)和分析平臺(tái)使用情況的持續(xù)監(jiān)控和分析,企業(yè)無(wú)法主動(dòng)識(shí)別潛在的分析需求和問題,導(dǎo)致大部分?jǐn)?shù)據(jù)管理任務(wù)很被動(dòng)。數(shù)據(jù)編織中的主動(dòng)元數(shù)據(jù)管理,可以幫助企業(yè)機(jī)構(gòu)以主動(dòng)和自主的方式識(shí)別這些需求和問題。
更加復(fù)雜和去中心化的D&A架構(gòu)
由于境內(nèi)外的D&A供應(yīng)商生態(tài)系統(tǒng)完全不同,數(shù)據(jù)安全和跨境數(shù)據(jù)傳輸法規(guī)日益明確,在中國(guó)境內(nèi)和境外同時(shí)開展業(yè)務(wù)的企業(yè)(例如在中國(guó)開展業(yè)務(wù)的跨國(guó)企業(yè),以及正在海外開展業(yè)務(wù)的中國(guó)企業(yè))必須構(gòu)建兩組不同的D&A架構(gòu),甚至是不同的IT架構(gòu)。對(duì)于僅在中國(guó)境內(nèi)開展業(yè)務(wù)的企業(yè)機(jī)構(gòu)來(lái)說,云遷移和技術(shù)自給自足計(jì)劃的開展,會(huì)使其D&A架構(gòu)長(zhǎng)期處于轉(zhuǎn)型中的狀態(tài)。
出于上述原因,中國(guó)企業(yè)機(jī)構(gòu)的D&A架構(gòu)與全球同行相比,會(huì)具有更強(qiáng)的去中心化屬性和復(fù)雜性。這將導(dǎo)致IT運(yùn)營(yíng)成本大幅增加,流程也會(huì)變得更為復(fù)雜。
分析對(duì)比數(shù)據(jù)的設(shè)計(jì)期望與實(shí)際體驗(yàn)之間的差距,可以更有效地完成上述大部分任務(wù)。數(shù)據(jù)編織中的主動(dòng)元數(shù)據(jù)管理,通過比較設(shè)計(jì)時(shí)元數(shù)據(jù)和運(yùn)行時(shí)元數(shù)據(jù)來(lái)幫助企業(yè)機(jī)構(gòu)分析數(shù)據(jù)的設(shè)計(jì)期望與實(shí)際體驗(yàn)。這將使企業(yè)機(jī)構(gòu)的系統(tǒng)、數(shù)據(jù)和數(shù)據(jù)管道在資源效率、性能、安全性、合規(guī)性和可用性方面始終處于“自動(dòng)化可觀測(cè)”狀態(tài)。
跨部門溝通障礙
技術(shù)和業(yè)務(wù)團(tuán)隊(duì)之間的溝通障礙,仍然是中國(guó)企業(yè)機(jī)構(gòu)快速、可持續(xù)地利用數(shù)據(jù)創(chuàng)造業(yè)務(wù)價(jià)值的一個(gè)主要障礙。2022年,Gartner收到了大量中國(guó)客戶關(guān)于D&A項(xiàng)目跨部門溝通的問詢,包括如何更好地與業(yè)務(wù)利益相關(guān)者對(duì)齊數(shù)據(jù)業(yè)務(wù)語(yǔ)義,以及如何使數(shù)據(jù)團(tuán)隊(duì)更快地做出響應(yīng)。這些問題大多關(guān)乎數(shù)據(jù)定義與其真實(shí)運(yùn)營(yíng)體驗(yàn)之間的偏差,即“語(yǔ)義漂移”。在大型企業(yè)機(jī)構(gòu)中,這個(gè)問題更嚴(yán)重,會(huì)拖累或阻礙數(shù)據(jù)和分析項(xiàng)目。
主動(dòng)元數(shù)據(jù)管理通過對(duì)數(shù)據(jù)工程師和數(shù)據(jù)消費(fèi)者內(nèi)容的持續(xù)分析,生成大量洞察,包括:
特定用例中使用的源數(shù)據(jù)語(yǔ)義是否發(fā)生了變化
數(shù)據(jù)使用過程中是否存在安全或隱私問題
數(shù)據(jù)管道中的業(yè)務(wù)邏輯是否需要更新,以糾正語(yǔ)義漂移導(dǎo)致的數(shù)據(jù)質(zhì)量問題