數(shù)據(jù)集成服務提供在線設置ETL作業(yè)、轉(zhuǎn)換任務的定時運行策略,監(jiān)控任務的執(zhí)行情況,查看任務執(zhí)行日志的功能。保障多種數(shù)據(jù)格式、源頭的數(shù)據(jù)經(jīng)過清洗轉(zhuǎn)換后及時有效地送達組織的數(shù)據(jù)倉庫,強有力地支撐后續(xù)的數(shù)據(jù)開發(fā)、數(shù)據(jù)挖掘
數(shù)據(jù)維護人員
數(shù)據(jù)開發(fā)人員
項目經(jīng)理
產(chǎn)品經(jīng)理
技術經(jīng)理
架構描述:
根據(jù)業(yè)務需求開發(fā)作業(yè)任務、轉(zhuǎn)換任務
上傳轉(zhuǎn)換任務、作業(yè)任務并設置定時調(diào)度策略
數(shù)據(jù)集成服務定時運行任務,從來源數(shù)據(jù)庫抽取數(shù)據(jù)并導入數(shù)據(jù)倉庫
提供B/S模式的web界面,使有瀏覽器的地方即可管理、監(jiān)控數(shù)據(jù)集成任務的需求成為并提供了統(tǒng)一管理ETL作業(yè)任務、轉(zhuǎn)換的入口
提供在線設置任務定時運行的功能,降低了調(diào)度ETL任務的難度,是調(diào)度ETL任務的好幫手
通過設置任務的日志級別(最小日志、行級日志、基本日志、詳細日志、調(diào)試日志),開發(fā)者和維護者可從日志中捕獲有用信息,進行錯誤定位及任務優(yōu)化
通過列表呈現(xiàn)任務的運行狀態(tài)、下次調(diào)度時間,讓系統(tǒng)管理員一目了然地掌控集成任務
從多種維度統(tǒng)計任務的運行情況,保障數(shù)據(jù)集成任務穩(wěn)定、有效地運行,提高數(shù)據(jù)集成的質(zhì)量
利用平臺提供的通知管理服務,用戶可定制通過短信、郵件、釘釘、微信、騰訊短信,阿里云短信,阿里云電話,華為短信等渠道接收告警信息的功能
利用平臺提供的存儲管理服務,用戶可將任務上傳到多個存儲渠道進行備災存儲及享受到優(yōu)質(zhì)的上傳、下載功能
儀表盤:呈現(xiàn)作業(yè)、轉(zhuǎn)換的運行信息。如總作業(yè)數(shù)、成功次數(shù)、失敗次數(shù)等
定時策略:管理定時任務策略配置。用于系統(tǒng)自動掃描定時任務,按時、周期性的執(zhí)行任務
任務分類:管理作業(yè)、轉(zhuǎn)換的維度
作業(yè)管理:管理作業(yè)任務清單及執(zhí)行的定時策略
轉(zhuǎn)換管理:管理轉(zhuǎn)換任務清單及執(zhí)行的定時策略
作業(yè)日志:呈現(xiàn)作業(yè)任務的執(zhí)行開始、結(jié)束時間、時長、運行結(jié)果及日志詳情
轉(zhuǎn)換日志:呈現(xiàn)轉(zhuǎn)換任務的執(zhí)行開始、結(jié)束時間、時長、運行結(jié)果及日志詳情
作業(yè)監(jiān)控:統(tǒng)計作業(yè)任務執(zhí)行的成功次數(shù)、失敗次數(shù)、運行狀態(tài)、最近調(diào)度及完成時間、下次調(diào)度時間
轉(zhuǎn)換監(jiān)控:統(tǒng)計轉(zhuǎn)換任務執(zhí)行的成功次數(shù)、失敗次數(shù)、運行狀態(tài)、最近調(diào)度及完成時間、下次調(diào)度時間