圖可是恒天軟件自主研發(fā)的一款圖形化的大數(shù)據(jù)計算編排引擎,提供一系列底層功能節(jié)點,將數(shù)據(jù)輸入輸出、數(shù)據(jù)處理等定制化部分全面統(tǒng)一。通過簡單的拖拽和配置,對大數(shù)據(jù)的計算邏輯進(jìn)行高度抽象和管理,并對計算任務(wù)進(jìn)行調(diào)度和監(jiān)控,從而一站式地解決數(shù)據(jù)接入、數(shù)據(jù)同步、數(shù)據(jù)校驗、數(shù)據(jù)轉(zhuǎn)換、數(shù)據(jù)計算以及數(shù)據(jù)輸出。
產(chǎn)品功能
數(shù)據(jù)接入
圖可引擎提供輸入節(jié)點,支持多種數(shù)據(jù)源的接入適配。通過識別統(tǒng)一資源標(biāo)識符URI,圖可輸入節(jié)點可自動識別及調(diào)用相關(guān)適配器。
數(shù)據(jù)同步
圖可允許設(shè)置數(shù)據(jù)的排序字段,數(shù)據(jù)的主鍵或聯(lián)合主鍵,支持?jǐn)?shù)據(jù)接入時全量同步和增量同步。數(shù)據(jù)校驗、轉(zhuǎn)換、計算數(shù)據(jù)校驗、轉(zhuǎn)換規(guī)則被視作數(shù)據(jù)計算規(guī)則的一種,都通過計算設(shè)計器來配置。數(shù)據(jù)處理包括了字段的上下限檢查、正則校驗、空值處理、精度變換、格式轉(zhuǎn)換、字段加解密、字段脫敏、字段組合計算、記錄去重、記錄組合計算、大表連接、篩選、過濾、合并、分組等各種不同處理邏輯。另外還支持利用SQL語句自定義處理邏輯。
數(shù)據(jù)輸出
與數(shù)據(jù)接入對應(yīng),圖可的計算結(jié)果能夠輸出到不同目標(biāo)存儲,比如數(shù)據(jù)文件、數(shù)據(jù)庫、內(nèi)存緩存、消息隊列等
設(shè)計項目管理
主要管理由計算設(shè)計器完成的設(shè)計項目,方便拖拽邏輯的復(fù)用。邏輯以JSON格式保存到數(shù)據(jù)庫。
任務(wù)管理
計算設(shè)計器完成計算配置后,提交到任務(wù)中心進(jìn)行任務(wù)配置。包含任務(wù)頻率、異常處理、斷線重連和任務(wù)斷點續(xù)跑等。