渴望技術(shù)轉(zhuǎn)型
轉(zhuǎn)換行業(yè)的IT小白
有一定技術(shù)基礎(chǔ)
希望增長(zhǎng)經(jīng)驗(yàn)
接觸更廣技術(shù)面
從事一定年限技術(shù)開(kāi)發(fā)
目標(biāo)突破自我
學(xué)習(xí)大數(shù)據(jù)技術(shù)
突破職業(yè)瓶頸
從事大數(shù)據(jù)開(kāi)發(fā)工作
深耕離線計(jì)算
期待轉(zhuǎn)型實(shí)時(shí)開(kāi)發(fā)崗位
Linux、Flink
Java、ClickHouse
Redis、Kafka
等基礎(chǔ)框架
深入了解實(shí)時(shí)計(jì)算在大數(shù)據(jù)開(kāi)發(fā)中的重要地位深入了解實(shí)時(shí)數(shù)據(jù)倉(cāng)庫(kù)的建模理論
靈活應(yīng)用Flink的的流式計(jì)算技術(shù)，靈活掌握自定義函數(shù)、狀態(tài)編程、CDC、CEP、Flink SQL等技術(shù)
多種技術(shù)框架協(xié)調(diào)配合、靈活應(yīng)用，徹底了解HBase、Redis、ClickHouse等在實(shí)時(shí)計(jì)算中的應(yīng)用
將實(shí)時(shí)數(shù)據(jù)倉(cāng)庫(kù)與離線數(shù)據(jù)倉(cāng)庫(kù)真正融為一體，融會(huì)貫通整個(gè)大數(shù)據(jù)開(kāi)發(fā)的關(guān)鍵技術(shù)
數(shù)倉(cāng)建模Flink計(jì)算Flink CEP可視化展示項(xiàng)目上線部署性能優(yōu)化安全監(jiān)控
使用HBase+Phoenix的組合存儲(chǔ)DIM層維度數(shù)據(jù)，大大提高響應(yīng)速度；
項(xiàng)目涵蓋5大類用戶行為日志數(shù)據(jù)、34張真實(shí)開(kāi)發(fā)場(chǎng)景下的業(yè)務(wù)數(shù)據(jù)表、幾十個(gè)Flink實(shí)時(shí)計(jì)算任務(wù)、上百個(gè)實(shí)時(shí)計(jì)算指標(biāo)、上萬(wàn)行實(shí)時(shí)開(kāi)發(fā)代碼；
參照大廠實(shí)際數(shù)倉(cāng)建模理論，分層構(gòu)建實(shí)時(shí)數(shù)據(jù)倉(cāng)庫(kù)，ODS層、DIM層、DWD層、DWS層、ADS層，分層計(jì)算，數(shù)據(jù)分流，提高效率，降低耦合度；
使用Flink CDC結(jié)合MySQL動(dòng)態(tài)配置表，動(dòng)態(tài)獲取維度表配置，實(shí)現(xiàn)數(shù)據(jù)動(dòng)態(tài)自動(dòng)分流；
使用FlinkCEP技術(shù)實(shí)現(xiàn)不同用戶行為模式的識(shí)別；
結(jié)合鍵控狀態(tài)KeyedState的狀態(tài)編程實(shí)現(xiàn)數(shù)據(jù)去重，計(jì)算去重類指標(biāo)；
提供針對(duì)多種場(chǎng)景的雙流Join解決方案，深入分析各種解決方案的優(yōu)劣，培養(yǎng)問(wèn)題解決能力；
對(duì)各種指標(biāo)計(jì)算需求提供Flink的Table API和Flink SQL兩種解決方案，滿足不同企業(yè)開(kāi)發(fā)需求，培養(yǎng)多角度開(kāi)發(fā)能力；
采用Redis進(jìn)行旁路緩存，提高響應(yīng)速度，并使用Flink提供的異步IO進(jìn)行優(yōu)化；
采用ClickHouse實(shí)現(xiàn)最終寬表數(shù)據(jù)的存儲(chǔ)，大大提高數(shù)據(jù)查詢效率，并為用戶提供即席查詢、可視化報(bào)表展示的多樣可能性；
采用SpringBoot編寫數(shù)據(jù)展示接口對(duì)接Sugar實(shí)現(xiàn)數(shù)據(jù)可視化大屏展示，熟練掌握數(shù)據(jù)展示接口的編寫流程；
基于企業(yè)級(jí)的海量數(shù)據(jù)分析任務(wù)，對(duì)CPU配置、內(nèi)存分配、并行度配置、CheckPoint等方面進(jìn)行廣泛的性能調(diào)優(yōu)；
詳細(xì)講解生產(chǎn)環(huán)境中會(huì)產(chǎn)生的反壓?jiǎn)栴}，對(duì)反壓原因、反壓定位、反壓處理進(jìn)行詳細(xì)分解；
多角度分析大數(shù)據(jù)分析中常見(jiàn)的數(shù)據(jù)傾斜問(wèn)題，提供詳盡的問(wèn)題定位策略和多種解決方案；
詳細(xì)講解生產(chǎn)環(huán)境中常見(jiàn)的故障：非法配置異常、Java 堆空間異常、直接緩沖存儲(chǔ)器異常、元空間異常、網(wǎng)絡(luò)緩沖區(qū)數(shù)量不足、超出容器內(nèi)存異常、Checkpoint 失敗、Checkpoint 慢、Kafka動(dòng)態(tài)發(fā)現(xiàn)分區(qū)、Watermark不更新、依賴沖突、超出文件描述符限制、臟數(shù)據(jù)導(dǎo)致數(shù)據(jù)轉(zhuǎn)發(fā)失敗等，令學(xué)員在短時(shí)間內(nèi)掌握生產(chǎn)環(huán)境中常見(jiàn)到、難解決的開(kāi)發(fā)難題，迅速增長(zhǎng)經(jīng)驗(yàn)，提升能力。
