適學(xué)人群
-
熟悉Linux、Hadoop、Hive、Flume、Kafka
Spark、Springboot、Flink、Vue等基礎(chǔ)框架
熟悉Linux、Hadoop、Hive、Flume、Kafka
Spark、Springboot、Flink、Vue等基礎(chǔ)框架
以一個數(shù)據(jù)平臺的搭建為切入點，了解數(shù)據(jù)治理的相關(guān)業(yè)務(wù)知識
通過獲取Hive元數(shù)據(jù)，實現(xiàn)元數(shù)據(jù)的查詢、血緣查詢、數(shù)據(jù)治理等等
深度了解DolphinScheduler，實現(xiàn)對數(shù)倉的調(diào)度管理 ，并整合其底層數(shù)據(jù)實現(xiàn)一定的數(shù)據(jù)治理和質(zhì)量監(jiān)控
深度了解StreamX, 實現(xiàn)實時數(shù)倉的調(diào)度管理
學(xué)習(xí)數(shù)據(jù)質(zhì)量監(jiān)控的設(shè)計與實現(xiàn)
學(xué)習(xí)以評分績效方式對數(shù)據(jù)治理各個方便的管控
采集并分析Hive元數(shù)據(jù)；
DolphinScheduler的使用及底層元數(shù)據(jù)整合；
StreamX的使用及底層元數(shù)據(jù)整合；
Neo4j實現(xiàn)數(shù)倉血緣管理；
利用Debezium實現(xiàn)接多種數(shù)據(jù)源的采集；
利用Presto實現(xiàn)即席查詢；
設(shè)計并實現(xiàn)自定義數(shù)據(jù)質(zhì)量監(jiān)控；
設(shè)計并實現(xiàn)動態(tài)數(shù)據(jù)治理評分；
對接多種預(yù)警平臺，包括企業(yè)號、微信、語言通話；
通過Vue.js 和 Echarts實現(xiàn)可視化及圖表展示。
