數(shù)據(jù)的價(jià)值與挑戰(zhàn)

　　1.數(shù)據(jù)的價(jià)值

　　數(shù)據(jù)的核心價(jià)值是幫助我們決策。

　　我們無時(shí)無刻不在決策，大到戰(zhàn)略決策——為一家新醫(yī)院選址，還有戰(zhàn)術(shù)決策——鑒別產(chǎn)品的目標(biāo)市場(chǎng)或抵押貸款審批，更頻繁的是操作決策——決定患者的手術(shù)方案或患者藥物的調(diào)整。

　　這些決策要求不同的決策速度，傳統(tǒng)的數(shù)據(jù)中心已經(jīng)能較好地幫助我們做戰(zhàn)略決策、戰(zhàn)術(shù)決策，甚至一些操作決策。但新的業(yè)務(wù)需求要求我們的決策速度越來越快，甚至借助機(jī)器學(xué)習(xí)自動(dòng)為我們做出即時(shí)的決策，例如批準(zhǔn)還是拒絕一筆信用卡交易或基于算法自動(dòng)交易。

　　無論是人工決策還是基于機(jī)器學(xué)習(xí)的自動(dòng)決策，決策的依據(jù)是數(shù)據(jù)。數(shù)據(jù)的速度和質(zhì)量決定了決策的速度和質(zhì)量。要支持決策，需要數(shù)據(jù)具有如下特征：

　　(1)完整 ：關(guān)聯(lián)且具有完整上下文;

　　(2)干凈 ：數(shù)據(jù)質(zhì)量沒有問題;

　　(3)及時(shí) ：在決策點(diǎn)上沒有延遲。

　　傳統(tǒng)數(shù)據(jù)中心很難在及時(shí)性上滿足要求。

　　2.數(shù)據(jù)挑戰(zhàn)

　　數(shù)字化浪潮下，我們面臨更大的數(shù)據(jù)挑戰(zhàn)：

　　● 數(shù)據(jù)規(guī)模：數(shù)據(jù)量已經(jīng)完全超出了人工處理能力。

　　● 數(shù)據(jù)源多樣性：數(shù)據(jù)源不再僅是數(shù)據(jù)庫，流式引擎的消息、物聯(lián)網(wǎng)、對(duì)象存儲(chǔ)......它們還帶來了越來越多模型種類的數(shù)據(jù)。

　　● 更多的數(shù)據(jù)孤島：更多的系統(tǒng)和應(yīng)用被建設(shè)，進(jìn)一步增加了數(shù)據(jù)孤島現(xiàn)象。

　　● 跨部門的數(shù)據(jù)不一致：統(tǒng)計(jì)口徑和統(tǒng)計(jì)時(shí)間的差異，造成財(cái)務(wù)部門統(tǒng)計(jì)的數(shù)據(jù)，總是和業(yè)務(wù)部門統(tǒng)計(jì)的數(shù)據(jù)對(duì)不上。

　　● 數(shù)據(jù)服務(wù)對(duì)象變化：現(xiàn)在業(yè)務(wù)分析師、運(yùn)營數(shù)據(jù)消費(fèi)者、數(shù)據(jù)工程師、數(shù)據(jù)科學(xué)家和普通人群都是服務(wù)對(duì)象。

　　● 部署需求的多樣性：傳統(tǒng)本地部署、云部署、混合部署......

　　而由于技術(shù)、法律、經(jīng)濟(jì)性等原因，傳統(tǒng)的數(shù)據(jù)集中保存無以為繼......

　　數(shù)據(jù)庫、數(shù)據(jù)倉庫、數(shù)據(jù)湖，這些傳統(tǒng)的數(shù)據(jù)管理技術(shù)應(yīng)對(duì)這些需求和挑戰(zhàn)，越來越力不從心。數(shù)據(jù)庫能保持?jǐn)?shù)據(jù)的熱度(良好的數(shù)據(jù)存取速度)，但支持的模型類型和數(shù)據(jù)來源有限;數(shù)據(jù)倉庫要統(tǒng)一數(shù)據(jù)質(zhì)量與格式(Schema on Write)，缺乏靈活性;數(shù)據(jù)湖可以“以原始形態(tài)保存一切數(shù)據(jù)” (Schema on Read)，但各種數(shù)據(jù)進(jìn)入這樣一個(gè)湖，全都變成了無法直接分析利用的冷數(shù)據(jù)!

應(yīng)對(duì)之道 – 數(shù)據(jù)編織和智能數(shù)據(jù)編織

　　數(shù)據(jù)編織是正在興起的數(shù)據(jù)管理技術(shù)以應(yīng)對(duì)數(shù)據(jù)挑戰(zhàn)，Gartner將其定為2022年12大戰(zhàn)略技術(shù)趨勢(shì)之首。

　　那什么是數(shù)據(jù)編織?

　　Gartner將數(shù)據(jù)編織定義為一種設(shè)計(jì)概念，可作為數(shù)據(jù)和連接流程的集成層(結(jié)構(gòu))。通過對(duì)現(xiàn)有、可發(fā)現(xiàn)和可推理的元數(shù)據(jù)資產(chǎn)進(jìn)行持續(xù)分析，數(shù)據(jù)編織能夠在所有環(huán)境(包括混合云和多云平臺(tái))中設(shè)計(jì)、部署和利用可重復(fù)使用的集成數(shù)據(jù)。

　　智能數(shù)據(jù)編織(Smart Data Fabric)則更進(jìn)一步，在結(jié)構(gòu)中直接嵌入各種分析能力，包括數(shù)據(jù)探索、商業(yè)智能、自然語言處理和機(jī)器學(xué)習(xí)，使企業(yè)可以更快、更容易地獲得全新洞察，為智能預(yù)測(cè)和規(guī)范性服務(wù)及應(yīng)用提供動(dòng)力。

　　Gartner的這個(gè)名詞解釋還是有些抽象，如何理解它?為何數(shù)據(jù)編織/智能數(shù)據(jù)編織是解決上述挑戰(zhàn)的利器? 如何利用現(xiàn)有的產(chǎn)品真實(shí)實(shí)現(xiàn)智能數(shù)據(jù)編織的落地?

InterSystems提供的智能數(shù)據(jù)編織解決方案

　　今天，智能數(shù)據(jù)編織(Smart Data Fabric)正被用于許多行業(yè)的實(shí)際生產(chǎn)中，為各種企業(yè)級(jí)、關(guān)鍵任務(wù)創(chuàng)新提供動(dòng)力，包括場(chǎng)景規(guī)劃和決策支持、法規(guī)遵從、實(shí)時(shí)可見性和警報(bào)等，作為全球領(lǐng)先的數(shù)據(jù)技術(shù)提供商，為應(yīng)對(duì)當(dāng)前數(shù)據(jù)挑戰(zhàn)，特別通過InterSystems IRIS新一代數(shù)據(jù)平臺(tái)提供智能數(shù)據(jù)編織解決方案，整合了許多關(guān)鍵特性和能力，以滿足客戶實(shí)施智能數(shù)據(jù)編織進(jìn)行數(shù)字化轉(zhuǎn)型的需求，該方案在解決數(shù)據(jù)挑戰(zhàn)的同時(shí)，允許現(xiàn)有的遺留應(yīng)用和數(shù)據(jù)保持原位，最大限度地利用以前的技術(shù)投資，包括現(xiàn)有的數(shù)據(jù)湖和數(shù)據(jù)倉庫，而不需要“撕裂和替換”任何現(xiàn)有技術(shù)。

　　InterSystems IRIS數(shù)據(jù)編織解決方案把智能數(shù)據(jù)編織分為3個(gè)階段：

　　● 數(shù)據(jù)互聯(lián)互通階段：有能力實(shí)時(shí)、雙向打通各種數(shù)據(jù)源，將數(shù)據(jù)源有機(jī)編織在一起。

　　● 數(shù)據(jù)集成階段：對(duì)數(shù)據(jù)本身進(jìn)行編織，為多模型數(shù)據(jù)提供高性能存取和轉(zhuǎn)換、加入數(shù)據(jù)安全控制、建立數(shù)據(jù)譜系、抽象為干凈和統(tǒng)一的語義層供數(shù)據(jù)用戶使用。

　　● 智能利用階段：對(duì)建立了統(tǒng)一語義的數(shù)據(jù)提供緊貼數(shù)據(jù)的智能利用能力，例如商業(yè)智能分析、自然語言分析、機(jī)器學(xué)習(xí)，并使這些智能增強(qiáng)數(shù)據(jù)編織本身。

　　InterSystems IRIS數(shù)據(jù)平臺(tái)在單一技術(shù)棧內(nèi)提供智能數(shù)據(jù)編織的這些能力：互聯(lián)互通、數(shù)據(jù)集成、自助服務(wù)、智能分析和多云 。

　　傳統(tǒng)數(shù)據(jù)利用的是多級(jí)瀑布模式：數(shù)據(jù)從數(shù)據(jù)庫到數(shù)據(jù)湖，再到數(shù)據(jù)中心，數(shù)據(jù)大批量、高延時(shí)地在異構(gòu)數(shù)據(jù)平臺(tái)間移動(dòng)和拷貝。這是影響數(shù)據(jù)時(shí)效性、一致性的主要原因。所以InterSystems智能數(shù)據(jù)編織第一就要解決這個(gè)問題，而解決之道就是互聯(lián)互通和數(shù)據(jù)集成。

　　1.互聯(lián)互通

　　因?yàn)閿?shù)據(jù)源和數(shù)據(jù)模型的多樣性，傳統(tǒng)的ETL在能力和時(shí)效性上都已不能滿足需求，需要更完整的互聯(lián)互通能力。長期以來，InterSystems是互操作技術(shù)的領(lǐng)導(dǎo)者，它提供各種適配器實(shí)時(shí)接入各種數(shù)據(jù)源，例如流式處理引擎Kafka，并對(duì)遺留系統(tǒng)進(jìn)行現(xiàn)代化，即便有很多遺留系統(tǒng)作為數(shù)據(jù)源，依然可以通過它將其數(shù)據(jù)模型多態(tài)化和數(shù)據(jù)服務(wù)現(xiàn)代化。

　　2.數(shù)據(jù)集成

　　數(shù)據(jù)集成(Integration)不追求將數(shù)據(jù)放在一起，而是要建立數(shù)據(jù)間的準(zhǔn)確關(guān)聯(lián)，建立具有連續(xù)上下文的全息數(shù)據(jù)，甚至豐富數(shù)據(jù)。InterSystems提供：

　　(1)多模型

　　面對(duì)多元數(shù)據(jù)，Gartner表示，要想成功利用數(shù)據(jù)編織，企業(yè)必須確保數(shù)據(jù)編織能夠動(dòng)態(tài)地(通過元數(shù)據(jù)驅(qū)動(dòng)設(shè)計(jì))支持不同數(shù)據(jù)交付風(fēng)格的組合，以支持特定的用例。

　　InterSystems的多模型數(shù)據(jù)建模和保存能力，讓不同的數(shù)據(jù)以最適合的模型進(jìn)行操作，它支持原生的對(duì)象、表、鍵值對(duì)和JSON文檔。

　　(2)多語言

　　如何操作多模型的數(shù)據(jù)?每個(gè)數(shù)據(jù)用戶都有熟悉或適合其用途的語言來使用數(shù)據(jù)，例如很多場(chǎng)景下，SQL是最簡單的使用數(shù)據(jù)的語言。InterSystems讓用戶可以用SQL操作一切數(shù)據(jù)，哪怕它是以鍵值對(duì)建模和保存的。

　　(3)數(shù)據(jù)轉(zhuǎn)換

　　不同的數(shù)據(jù)用戶希望得到不同結(jié)構(gòu)的數(shù)據(jù)。InterSystems提供圖形化的高效數(shù)據(jù)轉(zhuǎn)換工具，為用戶構(gòu)建干凈的、單一可信的數(shù)據(jù)。

　　3.自助服務(wù)

　　如何發(fā)現(xiàn)、探索、推理數(shù)據(jù)編織平臺(tái)中的數(shù)據(jù)?需要借助統(tǒng)一的語義和自助的服務(wù)能力。

　　(1)統(tǒng)一語義

　　為了數(shù)據(jù)完整性，無論是數(shù)據(jù)倉庫還是數(shù)據(jù)湖，都將數(shù)據(jù)中心化存儲(chǔ)。這造成了很多數(shù)據(jù)障礙：數(shù)據(jù)的時(shí)效性低、數(shù)據(jù)的質(zhì)量參差不齊、數(shù)據(jù)需求嚴(yán)重依賴IT去清洗關(guān)聯(lián)等等。

　　InterSystems的自適應(yīng)分析是一個(gè)統(tǒng)一的、抽象的語義層，通過建立虛擬/邏輯數(shù)據(jù)分析立方體，用戶可以使用SQL或BI工具訪問這個(gè)語義層，而自適應(yīng)分析自動(dòng)使用SQL訪問后臺(tái)的多InterSystems IRIS數(shù)據(jù)平臺(tái)實(shí)例獲得數(shù)據(jù)和分析結(jié)果，不需要將數(shù)據(jù)集中保存到一起。

　　數(shù)據(jù)無需集中，因此無需ETL，沒有數(shù)據(jù)抽取拷貝的時(shí)間成本開銷，提供高時(shí)效性的數(shù)據(jù);而抽象語義層將多數(shù)據(jù)源的數(shù)據(jù)建立邏輯關(guān)聯(lián)，向用戶提供干凈、完整的語義上下文。

　　(2)行業(yè)語義級(jí)的數(shù)據(jù)編織

　　醫(yī)療健康行業(yè)面臨相較其它行業(yè)更復(fù)雜的行業(yè)數(shù)據(jù)，在現(xiàn)實(shí)業(yè)務(wù)中要應(yīng)對(duì)不同的語義表達(dá)。編織不同語義的數(shù)據(jù)源，將數(shù)據(jù)抽象為非標(biāo)準(zhǔn)語義，這會(huì)為后面的數(shù)據(jù)價(jià)值利用增加障礙。

　　FHIR建立統(tǒng)一行業(yè)語義的行業(yè)數(shù)據(jù)內(nèi)容標(biāo)準(zhǔn)、利用標(biāo)準(zhǔn)行業(yè)術(shù)語和標(biāo)識(shí)符、定義統(tǒng)一的傳輸標(biāo)準(zhǔn)、并逐步建立隱私和安全標(biāo)準(zhǔn)，讓使用行業(yè)語義編織數(shù)據(jù)成為可能。

　　InterSystems支持所有FHIR的交互范式，提供FHIR服務(wù)器和FHIR資源倉庫，并通過FHIR SQL構(gòu)建器，建立基于SQL的FHIR數(shù)據(jù)訪問能力，用最簡單的數(shù)據(jù)操作支持BI/AI。通過FHIR來搭建具有統(tǒng)一行業(yè)語義和生態(tài)的數(shù)據(jù)編織平臺(tái)。

　　(3)自助服務(wù)

　　長久以來，由于數(shù)據(jù)源和數(shù)據(jù)本身的復(fù)雜性，專業(yè)IT用戶把持著數(shù)據(jù)的使用，商業(yè)用戶極度依賴于專業(yè)用戶才能獲取、分析和利用數(shù)據(jù)。

　　借助統(tǒng)一語義層和對(duì)標(biāo)準(zhǔn)的支持，InterSystems讓商業(yè)用戶使用自己熟悉的工具和語言，例如SQL、BI工具和API來探索數(shù)據(jù)、操作數(shù)據(jù)和分析數(shù)據(jù)。

　　4.智能分析

　　為數(shù)據(jù)編織增加智能， InterSystems提供開放的智能分析能力。包括嵌入平臺(tái)的機(jī)器學(xué)習(xí)、自然語言分析、商業(yè)智能特性，對(duì)第三方工具和生態(tài)的支持，以及對(duì)標(biāo)準(zhǔn)的支持——MDX、UIMA、PMML......

　　InterSystems提供全SQL操作方式的自動(dòng)化機(jī)器學(xué)習(xí)，并允許使用第三方的自動(dòng)化機(jī)器學(xué)習(xí)后臺(tái)，如DataRobot，從而避免學(xué)習(xí)不同的API，用最簡單的SQL就可以獲得豐富的機(jī)器學(xué)習(xí)能力：

　　5.多云

　　數(shù)據(jù)編織平臺(tái)要能支持所有主要的開發(fā)和部署環(huán)境，使開發(fā)人員和運(yùn)營團(tuán)隊(duì)能夠在他們選擇的環(huán)境中工作。并與現(xiàn)有的基礎(chǔ)設(shè)施和最佳技術(shù)無縫集成，支持最廣泛的客戶環(huán)境和應(yīng)用要求。

　　公共云、私有云、本地、混合、裸機(jī)和虛擬機(jī)環(huán)境，InterSystems支持所有部署選項(xiàng)，且都只需要一個(gè)API，而不需要對(duì)你的應(yīng)用程序進(jìn)行修改。

總結(jié)

　　InterSystems的智能數(shù)據(jù)編織解決方案通過對(duì)數(shù)據(jù)源、數(shù)據(jù)的編織，避免多級(jí)瀑布式的大規(guī)模、高延遲的數(shù)據(jù)拷貝。構(gòu)建抽象的統(tǒng)一語義層，并借助行業(yè)標(biāo)準(zhǔn)語義，建立基于標(biāo)準(zhǔn)的數(shù)據(jù)編織平臺(tái)，為用戶提供簡單易用的數(shù)據(jù)探索和利用能力。利用全面的智能分析能力提升數(shù)據(jù)質(zhì)量和數(shù)據(jù)價(jià)值，并降低數(shù)據(jù)利用的難度。多云的架構(gòu)確保了對(duì)最廣泛的客戶環(huán)境和應(yīng)用要求的支持，為數(shù)據(jù)編織的實(shí)施部署鋪平了道路。

　　掃描下方圖片二維碼了解更多智能數(shù)據(jù)編織的概念和應(yīng)用

　　作者簡介

　　喬鵬，InterSystems技術(shù)總監(jiān)。自2004年加入InterSystems(系聯(lián)軟件)，歷任售前工程師、技術(shù)經(jīng)理、技術(shù)總監(jiān)等職務(wù)，精通公司旗下Caché數(shù)據(jù)庫，Ensemble集成平臺(tái)，HealthShare統(tǒng)一健康檔案，IRIS數(shù)據(jù)平臺(tái)等明星產(chǎn)品，對(duì)于數(shù)據(jù)庫、互操作性平臺(tái)、數(shù)據(jù)中臺(tái)、醫(yī)療相關(guān)標(biāo)準(zhǔn)以及集成平臺(tái)解決方案，有著深刻的理解和十多年的行業(yè)經(jīng)驗(yàn)，參與主導(dǎo)過百余家醫(yī)院或者區(qū)域平臺(tái)的信息化建設(shè);同時(shí)他能夠?qū)DR、臨床決策支持、商業(yè)智能、機(jī)器學(xué)習(xí)等數(shù)據(jù)利用產(chǎn)品和方案有廣泛的認(rèn)識(shí)和豐富的實(shí)踐經(jīng)驗(yàn)。