新增AI賦能

能夠基于AI大模型工具輔助完成基本構(gòu)建企業(yè)級(jí)數(shù)倉(cāng) 掌握AI輔助編寫(xiě)Shell腳本、AI輔助編寫(xiě)Hive SQL，AI輔助進(jìn)行SQL性能調(diào)優(yōu)

主講內(nèi)容

大數(shù)據(jù)開(kāi)發(fā)Hadoop基礎(chǔ)、 Hive基礎(chǔ)、Hive進(jìn)階

可掌握的核心能力

1.掌握Linux常用命令，為數(shù)據(jù)開(kāi)發(fā)后續(xù)學(xué)習(xí)打下的良好基礎(chǔ)；
2.掌握大數(shù)據(jù)的核心框架Hadoop以及其生態(tài)體系，完成HDFS、MapReduce及Yarn機(jī)制基本理解與使用；能夠搭建Hadoop高可用HA集群；
3.掌握Hive的使用和調(diào)優(yōu)；
4.具備Hadoop開(kāi)發(fā)能力、離線(xiàn)數(shù)據(jù)倉(cāng)庫(kù)開(kāi)發(fā)能力；
5.能夠完成基本構(gòu)建企業(yè)級(jí)數(shù)倉(cāng)。

可解決的現(xiàn)實(shí)問(wèn)題

熟悉Linux操作系統(tǒng)，以及各種Linux命令，能夠解決企業(yè)級(jí)大數(shù)據(jù)集群搭建問(wèn)題，為進(jìn)階大數(shù)據(jù)開(kāi)發(fā)奠定基礎(chǔ)。

新增AI賦能

掌握AI輔助數(shù)據(jù)倉(cāng)庫(kù)建模、Hive SQL調(diào)優(yōu)

主講內(nèi)容

大數(shù)據(jù)部署運(yùn)維：Cloudera Manager、分析決策需求：數(shù)據(jù)倉(cāng)庫(kù)、數(shù)據(jù)采集：DataX、數(shù)據(jù)分析：Hive、數(shù)據(jù)調(diào)度：Dolphinscheduler、OLAP系統(tǒng)存儲(chǔ)：PostgreSql、Fine Report數(shù)據(jù)報(bào)表與大屏、數(shù)倉(cāng)建模: 范式與維度建模、五大核心主題域開(kāi)發(fā)（銷(xiāo)售域、供應(yīng)鏈域、會(huì)員域等）

可掌握的核心能力

1.掌握泛電商行業(yè)離線(xiàn)數(shù)倉(cāng)的分層與建模，從需求、設(shè)計(jì)、研發(fā)、測(cè)試到落地上線(xiàn)的完整項(xiàng)目流程；
2.行業(yè)內(nèi)首個(gè)深度講解數(shù)倉(cāng)建模模型方案的主體項(xiàng)目；
3.包括海量數(shù)據(jù)場(chǎng)景下如何優(yōu)化配置；
4.掌握項(xiàng)目遷移能力，能夠?qū)㈨?xiàng)目遷移至泛電商的各個(gè)領(lǐng)域；
5.掌握在泛電商行業(yè)中關(guān)于全量與增量數(shù)據(jù)處理模式；
6.提供泛電商行業(yè)下的數(shù)據(jù)存儲(chǔ)分析以及服務(wù)監(jiān)控方案。

可解決的現(xiàn)實(shí)問(wèn)題

能夠解決企業(yè)級(jí)常見(jiàn)數(shù)據(jù)倉(cāng)庫(kù)搭建，從項(xiàng)目的需求、技術(shù)架構(gòu)、業(yè)務(wù)架構(gòu)、部署平臺(tái)、ETL設(shè)計(jì)、作業(yè)調(diào)度等整套pipeline，完成大數(shù)據(jù)體系下的企業(yè)級(jí)數(shù)據(jù)倉(cāng)庫(kù)構(gòu)建。

新增AI賦能

掌握AI輔助調(diào)度腳本編寫(xiě)、指標(biāo)體系構(gòu)建

主講內(nèi)容

大數(shù)據(jù)部署運(yùn)維：Cloudera Manager、分析決策需求：數(shù)據(jù)倉(cāng)庫(kù)、數(shù)據(jù)采集：sqoop、數(shù)據(jù)分析：Hive、分組完成項(xiàng)目

可掌握的核心能力

1.掌握教育行業(yè)離線(xiàn)數(shù)倉(cāng)的分層與建模，從需求、設(shè)計(jì)、研發(fā)、測(cè)試到落地上線(xiàn)的完整項(xiàng)目流程；
2.真實(shí)業(yè)務(wù)邏輯，共涉及20多個(gè)主題，100多個(gè)指標(biāo)，提升學(xué)員在教育行業(yè)中的核心競(jìng)爭(zhēng)力；
3.包括海量數(shù)據(jù)場(chǎng)景下如何優(yōu)化配置；
4.拉鏈表的具體應(yīng)用；
5.新增數(shù)據(jù)和更新數(shù)據(jù)的抽取和分析；
6.Hive函數(shù)的具體應(yīng)用；
7.ClouderaManager可視化、自動(dòng)部署和配置、Git、CodeReview功能。

可解決的現(xiàn)實(shí)問(wèn)題

按照企業(yè)級(jí)大數(shù)據(jù)開(kāi)發(fā)流程，獨(dú)立完成項(xiàng)目開(kāi)發(fā)，掌握企業(yè)級(jí)多場(chǎng)景大數(shù)據(jù)離線(xiàn)數(shù)倉(cāng)開(kāi)發(fā)能力，從數(shù)倉(cāng)分層，數(shù)倉(cāng)建模，指標(biāo)統(tǒng)計(jì)，指標(biāo)展示完成完整的大數(shù)據(jù)項(xiàng)目。

新增AI賦能

掌握AI輔助調(diào)度腳本編寫(xiě)、指標(biāo)體系構(gòu)建

主講內(nèi)容

掌握AI輔助SQL代碼開(kāi)發(fā)

可掌握的核心能力

1.掌握BI報(bào)表開(kāi)發(fā)需求分析
2.掌握BI報(bào)表工具
3.掌握FineReport報(bào)表

可解決的現(xiàn)實(shí)問(wèn)題

掌握使用量最廣BI報(bào)表開(kāi)發(fā)工具FineReport，能夠基于FineReport完成不同行業(yè)BI報(bào)表開(kāi)發(fā)及業(yè)務(wù)決策。

新增AI賦能

掌握AI輔助編寫(xiě)Python代碼開(kāi)發(fā)

主講內(nèi)容

Python基礎(chǔ)語(yǔ)法、Python面向?qū)ο蟆ython高級(jí)語(yǔ)法、 Python多任務(wù)編程、Python網(wǎng)絡(luò)編程

可掌握的核心能力

1.掌握Python開(kāi)發(fā)環(huán)境基本配置；
2.掌握運(yùn)算符、表達(dá)式、流程控制語(yǔ)句、數(shù)組等的使用；
3.掌握字符串的基本操作；
4.初步建立面向?qū)ο蟮木幊趟季S；
5.熟悉異常捕獲的基本流程及使用方式；
6.掌握類(lèi)和對(duì)象的基本使用方式；
7.知道多進(jìn)程多線(xiàn)程的原理。

可解決的現(xiàn)實(shí)問(wèn)題

熟練掌握Python語(yǔ)言，建立編程思維，使學(xué)員能夠熟練使用Python技術(shù)完成程序編寫(xiě)。
熟練使用Python面向?qū)ο蟪绦蛟O(shè)計(jì)思想，掌握數(shù)據(jù)開(kāi)發(fā)必備Python高級(jí)語(yǔ)法，解決常見(jiàn)Python開(kāi)發(fā)問(wèn)題。

新增AI賦能

掌握AI輔助代碼編寫(xiě)，解決Bug、業(yè)務(wù)指標(biāo)構(gòu)建

主講內(nèi)容

Pandas庫(kù)的使用、 數(shù)據(jù)可視化技術(shù)、數(shù)據(jù)分析常用思維與模型、數(shù)據(jù)分析報(bào)告撰寫(xiě)

可掌握的核心能力

1.掌握Pandas等Python數(shù)據(jù)分析庫(kù)的使用
2.掌握Matplotlib，Seaborn等數(shù)據(jù)可視化庫(kù)的使用
3.掌握AIPL、AARRR、RFM等常用數(shù)據(jù)分析思維與模型的使用
4.數(shù)據(jù)分析報(bào)告的撰寫(xiě)
5.掌握從數(shù)據(jù)處理一直到輸出報(bào)告的全流程，掌握數(shù)據(jù)分析師具備的常用技能

可解決的現(xiàn)實(shí)問(wèn)題

熟練掌握Pandas，Matplotlib，Seaborn等數(shù)據(jù)處理與可視化開(kāi)源庫(kù)的使用， 能夠應(yīng)用常用數(shù)據(jù)分析思維與模型解決業(yè)務(wù)問(wèn)題并輸出數(shù)據(jù)分析報(bào)告。

新增AI賦能

掌握AI輔助編寫(xiě)Spark開(kāi)發(fā)代碼、編寫(xiě)SparkSOL、解決Bug、性能調(diào)優(yōu)

主講內(nèi)容

大數(shù)據(jù)Spark技術(shù)棧、SparkSQL數(shù)據(jù)處理與統(tǒng)計(jì)分析、Spark案例實(shí)戰(zhàn)

可掌握的核心能力

1.掌握Spark的RDD、DAG、CheckPoint等設(shè)計(jì)思想；
2.掌握SparkSQL結(jié)構(gòu)化數(shù)據(jù)處理，Spark On Hive；
3.掌握Structured Streaming整合多數(shù)據(jù)源完成實(shí)時(shí)數(shù)據(jù)處理；
4.具備Spark全棧開(kāi)發(fā)能力，滿(mǎn)足大數(shù)據(jù)行業(yè)多場(chǎng)景統(tǒng)一技術(shù)棧的數(shù)據(jù)開(kāi)發(fā)，提供就業(yè)核心競(jìng)爭(zhēng)力。

可解決的現(xiàn)實(shí)問(wèn)題

掌握全球熱門(mén)的Spark技術(shù)棧，通過(guò)SparkCore和SparkSQL解決數(shù)據(jù)處理與統(tǒng)計(jì)分析工作，進(jìn)階高級(jí)大數(shù)據(jù)開(kāi)發(fā)工程師。

新增AI賦能

掌握AI輔助編寫(xiě)PySpark開(kāi)發(fā)代碼、解決Bug、性能調(diào)優(yōu)

主講內(nèi)容

SparkSQL整合ES自定義數(shù)據(jù)源、DS任務(wù)界面化調(diào)度、用戶(hù)畫(huà)像標(biāo)簽構(gòu)建規(guī)則、用戶(hù)畫(huà)像規(guī)則類(lèi)標(biāo)簽構(gòu)建、用戶(hù)畫(huà)像統(tǒng)計(jì)類(lèi)標(biāo)簽構(gòu)建

可掌握的核心能力

1.掌握SparkSQL整合ES自定義數(shù)據(jù)源；
2.掌握用戶(hù)畫(huà)像構(gòu)建流程；
3.掌握用戶(hù)畫(huà)像標(biāo)簽構(gòu)建規(guī)則；
4.掌握用戶(hù)畫(huà)像規(guī)則類(lèi)標(biāo)簽構(gòu)建；
5.掌握用戶(hù)畫(huà)像統(tǒng)計(jì)類(lèi)標(biāo)簽構(gòu)建。

可解決的現(xiàn)實(shí)問(wèn)題

項(xiàng)目提供了全行業(yè)用戶(hù)畫(huà)像解決方案, 使用SparkSQL+ES+DS構(gòu)建企業(yè)級(jí)用戶(hù)畫(huà)像，通過(guò)SparkSQL+MySQL構(gòu)建通用行業(yè)用戶(hù)畫(huà)像標(biāo)簽體系。

新增AI賦能

掌握AI Agent構(gòu)建數(shù)據(jù)分析領(lǐng)域智能體，助力高效數(shù)據(jù)分析

主講內(nèi)容

基于Agent的數(shù)據(jù)庫(kù)查詢(xún)操作、大模型Function Cal原理與實(shí)現(xiàn)、Assistant APl的原理及應(yīng)用、基于本地知識(shí)庫(kù)搭建答疑聊天機(jī)器人

可掌握的核心能力

1.能夠利用AI大模型相關(guān)技術(shù)，構(gòu)建AlAgent的數(shù)據(jù)開(kāi)發(fā)相關(guān)應(yīng)用，助力高效數(shù)據(jù)開(kāi)發(fā)

可解決的現(xiàn)實(shí)問(wèn)題

掌握如何使用AI大模型幫助數(shù)據(jù)開(kāi)發(fā)和數(shù)據(jù)分析編程效率提升，具備使用AI大模型解決問(wèn)題的能力。

新增AI賦能

通過(guò)AI大模型提高刷題效率

主講內(nèi)容

核心技能知識(shí)點(diǎn)以及常見(jiàn)面試題強(qiáng)化學(xué)習(xí)

可掌握的核心能力

1.強(qiáng)化面試就業(yè)核心面試題；
2.梳理大數(shù)據(jù)架構(gòu)及解決方案；
3.剖析多行業(yè)大數(shù)據(jù)架構(gòu)。

可解決的現(xiàn)實(shí)問(wèn)題

對(duì)學(xué)習(xí)的內(nèi)容進(jìn)行整體回顧，并分析經(jīng)典面試題，指導(dǎo)簡(jiǎn)歷，面試和溝通技巧。

新增AI賦能

掌握基礎(chǔ)AI輔助編寫(xiě)需求代碼、解決代碼Bug

主講內(nèi)容

阿里云Flink入門(mén)、Flink SQL、Flink作業(yè)開(kāi)發(fā)、阿里云Flink運(yùn)維

可掌握的核心能力

1.掌握基于阿里云Flink進(jìn)行實(shí)時(shí)和離線(xiàn)數(shù)據(jù)處理、分析；
2.掌握基于阿里云Flink的多流并行處理技術(shù)；
3.掌握FlinkCDC多數(shù)據(jù)源采集技術(shù)。

可解決的現(xiàn)實(shí)問(wèn)題

掌握當(dāng)下熱門(mén)的流批一體化分布式計(jì)算框架阿里云Flink及其生態(tài)，解決實(shí)時(shí)計(jì)算經(jīng)典場(chǎng)景問(wèn)題，適應(yīng)市場(chǎng)對(duì)阿里云Flink越發(fā)增長(zhǎng)的需求。

新增AI賦能

掌握基礎(chǔ)AI輔助編寫(xiě)需求代碼、解決代碼Bug選擇

主講內(nèi)容

基于阿里云Flink + Kafka + Paimon 湖倉(cāng)一體技術(shù)架構(gòu)，實(shí)現(xiàn)在線(xiàn)視頻行業(yè)大規(guī)模流數(shù)據(jù)處理和實(shí)時(shí)分析。本項(xiàng)目依托 阿里云 Flink 流處理計(jì)算引擎， 通過(guò) FlinkCDC 實(shí)時(shí)采集 RDS MySQL 數(shù)據(jù)庫(kù)數(shù)據(jù)，實(shí)現(xiàn)數(shù)據(jù)采集的斷點(diǎn)續(xù)傳，使用Kafka 作為實(shí)時(shí)數(shù)倉(cāng)，使用 Paimon 實(shí)現(xiàn)數(shù)據(jù)的持久化和Flink 批處理，實(shí)現(xiàn)計(jì)算的流批一體，數(shù)據(jù)存儲(chǔ)的湖倉(cāng)一體，采用StarRocks對(duì)接DataV完成實(shí)時(shí)業(yè)務(wù)大屏展示。

可掌握的核心能力

1.湖倉(cāng)一體化解決方案基于Flink+Paimon湖倉(cāng)一體技術(shù)架構(gòu)；
2.基于FlinkCDC完成MySQL等數(shù)據(jù)源的數(shù)據(jù)采集；
3.FlinkSQL流批一體架構(gòu)實(shí)現(xiàn)實(shí)時(shí)數(shù)據(jù)計(jì)算；
4.使用StarRocks進(jìn)行海量多維分析；
5.掌握數(shù)據(jù)報(bào)表分析；
6.掌握業(yè)務(wù)數(shù)據(jù)實(shí)時(shí)大屏場(chǎng)景實(shí)現(xiàn)。

可解決的現(xiàn)實(shí)問(wèn)題

采集超過(guò)千萬(wàn)條在線(xiàn)視頻的數(shù)據(jù)，實(shí)時(shí)高性能海量數(shù)據(jù)分析與存儲(chǔ)業(yè)務(wù)數(shù)據(jù)實(shí)時(shí)大屏場(chǎng)景實(shí)現(xiàn)。