新增AI賦能

能夠基于AI大模型工具輔助完成基本構建企業(yè)級數倉 掌握AI輔助編寫Shell腳本、AI輔助編寫Hive SQL，AI輔助進行SQL性能調優(yōu)

主講內容

大數據開發(fā)Hadoop基礎、 Hive基礎、Hive進階

可掌握的核心能力

1.掌握Linux常用命令，為數據開發(fā)后續(xù)學習打下的良好基礎；
2.掌握大數據的核心框架Hadoop以及其生態(tài)體系，完成HDFS、MapReduce及Yarn機制基本理解與使用；能夠搭建Hadoop高可用HA集群；
3.掌握Hive的使用和調優(yōu)；
4.具備Hadoop開發(fā)能力、離線數據倉庫開發(fā)能力；
5.能夠完成基本構建企業(yè)級數倉。

可解決的現實問題

熟悉Linux操作系統(tǒng)，以及各種Linux命令，能夠解決企業(yè)級大數據集群搭建問題，為進階大數據開發(fā)奠定基礎。

新增AI賦能

掌握AI輔助數據倉庫建模、Hive SQL調優(yōu)

主講內容

大數據部署運維：Cloudera Manager、分析決策需求：數據倉庫、數據采集：DataX、數據分析：Hive、數據調度：Dolphinscheduler、OLAP系統(tǒng)存儲：PostgreSql、Fine Report數據報表與大屏、數倉建模: 范式與維度建模、五大核心主題域開發(fā)（銷售域、供應鏈域、會員域等）

可掌握的核心能力

1.掌握泛電商行業(yè)離線數倉的分層與建模，從需求、設計、研發(fā)、測試到落地上線的完整項目流程；
2.行業(yè)內首個深度講解數倉建模模型方案的主體項目；
3.包括海量數據場景下如何優(yōu)化配置；
4.掌握項目遷移能力，能夠將項目遷移至泛電商的各個領域；
5.掌握在泛電商行業(yè)中關于全量與增量數據處理模式；
6.提供泛電商行業(yè)下的數據存儲分析以及服務監(jiān)控方案。

可解決的現實問題

能夠解決企業(yè)級常見數據倉庫搭建，從項目的需求、技術架構、業(yè)務架構、部署平臺、ETL設計、作業(yè)調度等整套pipeline，完成大數據體系下的企業(yè)級數據倉庫構建。

新增AI賦能

掌握AI輔助調度腳本編寫、指標體系構建

主講內容

大數據部署運維：Cloudera Manager、分析決策需求：數據倉庫、數據采集：sqoop、數據分析：Hive、分組完成項目

可掌握的核心能力

1.掌握教育行業(yè)離線數倉的分層與建模，從需求、設計、研發(fā)、測試到落地上線的完整項目流程；
2.真實業(yè)務邏輯，共涉及20多個主題，100多個指標，提升學員在教育行業(yè)中的核心競爭力；
3.包括海量數據場景下如何優(yōu)化配置；
4.拉鏈表的具體應用；
5.新增數據和更新數據的抽取和分析；
6.Hive函數的具體應用；
7.ClouderaManager可視化、自動部署和配置、Git、CodeReview功能。

可解決的現實問題

按照企業(yè)級大數據開發(fā)流程，獨立完成項目開發(fā)，掌握企業(yè)級多場景大數據離線數倉開發(fā)能力，從數倉分層，數倉建模，指標統(tǒng)計，指標展示完成完整的大數據項目。

新增AI賦能

掌握AI輔助調度腳本編寫、指標體系構建

主講內容

掌握AI輔助SQL代碼開發(fā)

可掌握的核心能力

1.掌握BI報表開發(fā)需求分析
2.掌握BI報表工具
3.掌握FineReport報表

可解決的現實問題

掌握使用量最廣BI報表開發(fā)工具FineReport，能夠基于FineReport完成不同行業(yè)BI報表開發(fā)及業(yè)務決策。

新增AI賦能

掌握AI輔助編寫Python代碼開發(fā)

主講內容

Python基礎語法、Python面向對象、Python高級語法、 Python多任務編程、Python網絡編程

可掌握的核心能力

1.掌握Python開發(fā)環(huán)境基本配置；
2.掌握運算符、表達式、流程控制語句、數組等的使用；
3.掌握字符串的基本操作；
4.初步建立面向對象的編程思維；
5.熟悉異常捕獲的基本流程及使用方式；
6.掌握類和對象的基本使用方式；
7.知道多進程多線程的原理。

可解決的現實問題

熟練掌握Python語言，建立編程思維，使學員能夠熟練使用Python技術完成程序編寫。
熟練使用Python面向對象程序設計思想，掌握數據開發(fā)必備Python高級語法，解決常見Python開發(fā)問題。

新增AI賦能

掌握AI輔助代碼編寫，解決Bug、業(yè)務指標構建

主講內容

Pandas庫的使用、 數據可視化技術、數據分析常用思維與模型、數據分析報告撰寫

可掌握的核心能力

1.掌握Pandas等Python數據分析庫的使用
2.掌握Matplotlib，Seaborn等數據可視化庫的使用
3.掌握AIPL、AARRR、RFM等常用數據分析思維與模型的使用
4.數據分析報告的撰寫
5.掌握從數據處理一直到輸出報告的全流程，掌握數據分析師具備的常用技能

可解決的現實問題

熟練掌握Pandas，Matplotlib，Seaborn等數據處理與可視化開源庫的使用， 能夠應用常用數據分析思維與模型解決業(yè)務問題并輸出數據分析報告。

新增AI賦能

掌握AI輔助編寫Spark開發(fā)代碼、編寫SparkSOL、解決Bug、性能調優(yōu)

主講內容

大數據Spark技術棧、SparkSQL數據處理與統(tǒng)計分析、Spark案例實戰(zhàn)

可掌握的核心能力

1.掌握Spark的RDD、DAG、CheckPoint等設計思想；
2.掌握SparkSQL結構化數據處理，Spark On Hive；
3.掌握Structured Streaming整合多數據源完成實時數據處理；
4.具備Spark全棧開發(fā)能力，滿足大數據行業(yè)多場景統(tǒng)一技術棧的數據開發(fā)，提供就業(yè)核心競爭力。

可解決的現實問題

掌握全球熱門的Spark技術棧，通過SparkCore和SparkSQL解決數據處理與統(tǒng)計分析工作，進階高級大數據開發(fā)工程師。

新增AI賦能

掌握AI輔助編寫PySpark開發(fā)代碼、解決Bug、性能調優(yōu)

主講內容

SparkSQL整合ES自定義數據源、DS任務界面化調度、用戶畫像標簽構建規(guī)則、用戶畫像規(guī)則類標簽構建、用戶畫像統(tǒng)計類標簽構建

可掌握的核心能力

1.掌握SparkSQL整合ES自定義數據源；
2.掌握用戶畫像構建流程；
3.掌握用戶畫像標簽構建規(guī)則；
4.掌握用戶畫像規(guī)則類標簽構建；
5.掌握用戶畫像統(tǒng)計類標簽構建。

可解決的現實問題

項目提供了全行業(yè)用戶畫像解決方案, 使用SparkSQL+ES+DS構建企業(yè)級用戶畫像，通過SparkSQL+MySQL構建通用行業(yè)用戶畫像標簽體系。

新增AI賦能

掌握AI Agent構建數據分析領域智能體，助力高效數據分析

主講內容

基于Agent的數據庫查詢操作、大模型Function Cal原理與實現、Assistant APl的原理及應用、基于本地知識庫搭建答疑聊天機器人

可掌握的核心能力

1.能夠利用AI大模型相關技術，構建AlAgent的數據開發(fā)相關應用，助力高效數據開發(fā)

可解決的現實問題

掌握如何使用AI大模型幫助數據開發(fā)和數據分析編程效率提升，具備使用AI大模型解決問題的能力。

新增AI賦能

通過AI大模型提高刷題效率

主講內容

核心技能知識點以及常見面試題強化學習

可掌握的核心能力

1.強化面試就業(yè)核心面試題；
2.梳理大數據架構及解決方案；
3.剖析多行業(yè)大數據架構。

可解決的現實問題

對學習的內容進行整體回顧，并分析經典面試題，指導簡歷，面試和溝通技巧。

新增AI賦能

掌握基礎AI輔助編寫需求代碼、解決代碼Bug

主講內容

阿里云Flink入門、Flink SQL、Flink作業(yè)開發(fā)、阿里云Flink運維

可掌握的核心能力

1.掌握基于阿里云Flink進行實時和離線數據處理、分析；
2.掌握基于阿里云Flink的多流并行處理技術；
3.掌握FlinkCDC多數據源采集技術。

可解決的現實問題

掌握當下熱門的流批一體化分布式計算框架阿里云Flink及其生態(tài)，解決實時計算經典場景問題，適應市場對阿里云Flink越發(fā)增長的需求。

新增AI賦能

掌握基礎AI輔助編寫需求代碼、解決代碼Bug選擇

主講內容

基于阿里云Flink + Kafka + Paimon 湖倉一體技術架構，實現在線視頻行業(yè)大規(guī)模流數據處理和實時分析。本項目依托 阿里云 Flink 流處理計算引擎， 通過 FlinkCDC 實時采集 RDS MySQL 數據庫數據，實現數據采集的斷點續(xù)傳，使用Kafka 作為實時數倉，使用 Paimon 實現數據的持久化和Flink 批處理，實現計算的流批一體，數據存儲的湖倉一體，采用StarRocks對接DataV完成實時業(yè)務大屏展示。

可掌握的核心能力

1.湖倉一體化解決方案基于Flink+Paimon湖倉一體技術架構；
2.基于FlinkCDC完成MySQL等數據源的數據采集；
3.FlinkSQL流批一體架構實現實時數據計算；
4.使用StarRocks進行海量多維分析；
5.掌握數據報表分析；
6.掌握業(yè)務數據實時大屏場景實現。

可解決的現實問題

采集超過千萬條在線視頻的數據，實時高性能海量數據分析與存儲業(yè)務數據實時大屏場景實現。