課程目標
深入理解華為大數(shù)據(jù)平臺與技術(shù)及應用,了解大數(shù)據(jù)主流技術(shù)、大數(shù)據(jù)場景化解決方案、離線批處理、實時檢索、實時流處理、融合數(shù)倉、大數(shù)據(jù)應用開發(fā)流程等內(nèi)容,掌握華為大數(shù)據(jù)平臺和關(guān)鍵組件的開發(fā)流程、接口,掌握典型場景的開發(fā)方法、勝任大數(shù)據(jù) 開發(fā)者工作崗位
課程大綱
模塊一 大數(shù)據(jù)應用開發(fā)總指導
1.大數(shù)據(jù)主流技術(shù)
2.大數(shù)據(jù)場景化解決方案
3.大數(shù)據(jù)應用開發(fā)
模塊二 大數(shù)據(jù)離線處理場景化解決方案
1.離線批處理場景方案
2. 離線批處理框架的介紹、技術(shù)原理、參數(shù)屬性、重要配置等,包括數(shù)據(jù)存儲 HDFS,數(shù)據(jù)倉庫 Hive,離線分析 SparkSQL,數(shù)據(jù)采集工具 Loader、Sqoop 等
3. 離線批處理實際案例 ?
模塊三 大數(shù)據(jù)實時檢索場景化解決方案 ??
1.實時檢索場景方案
2.分布式數(shù)據(jù)庫介紹、技術(shù)原理、參數(shù)屬性、重要配置等,包括 HBase、ElasticSearch、GraphBase 等
3.實時檢索實際案例
模塊四 大數(shù)據(jù)實時流計算場景化解決方案
1.實時流計算應用方案
2.實時流計算組件的介紹、技術(shù)原理、參數(shù)屬性、重要配置等,包括 Flume、Kafka、Flink、
SparkStreaming、Redis 等
3.實時流處理配置方案及成功案例
模塊五 大數(shù)據(jù)融合數(shù)倉場景化解決方案
1.數(shù)據(jù)倉庫背景介紹
2.GaussDB 200 介紹
3.融合數(shù)倉案例