課程簡介
1.課程簡介
本課程詳細(xì)講解了大數(shù)據(jù)生態(tài)體系的各個(gè)模塊的功能和開發(fā)技術(shù)。包括Hadoop體系中的HDFS,Hbase、ZooKeeper進(jìn)行數(shù)據(jù)操作,MapReduce進(jìn)行數(shù)據(jù)開發(fā),YARN進(jìn)行資源配置,Hive完成數(shù)據(jù)倉庫,Pig進(jìn)行數(shù)據(jù)分析,理解其基本原理, Storm實(shí)時(shí)流式處理,Spark大數(shù)據(jù)處理框架等。并通過實(shí)驗(yàn)掌握其操作和編程開發(fā)。
2.教學(xué)目標(biāo)
掌握大數(shù)據(jù)主流技術(shù)體系各個(gè)模塊的功能和基本原理,掌握各個(gè)技術(shù)模塊的安裝,基本操作與開發(fā),能夠根據(jù)需求,完成對應(yīng)模塊上的應(yīng)用開發(fā),理解大數(shù)據(jù)解決方案中的技術(shù)框架,能夠基于已有的框架完成一般項(xiàng)目的大數(shù)據(jù)應(yīng)用開發(fā)。
3.適合人群
Java高級開發(fā)人員,數(shù)據(jù)分析、數(shù)據(jù)統(tǒng)計(jì)相關(guān)在職人群,想從事大數(shù)據(jù)開發(fā)工作的在職人士 有職業(yè)技能、崗位晉升需求的在職人員 對大數(shù)據(jù)開發(fā)感興趣的業(yè)界人士。
4.課程內(nèi)容
章節(jié)1:Linux基礎(chǔ)
章節(jié)2:Java負(fù)基礎(chǔ)掃盲課程
章節(jié)3:JAVA語言基礎(chǔ)入門
章節(jié)4:JAVA核心編程
章節(jié)5:JavaWeb開發(fā)技術(shù)
章節(jié)6:傳統(tǒng)核心框架之SSH
章節(jié)7:MySQL基礎(chǔ)
章節(jié)8:Storm實(shí)時(shí)流式處理
章節(jié)9:Hadoop介紹
章節(jié)10:數(shù)據(jù)倉庫HIVE
章節(jié)11:分布式數(shù)據(jù)庫Hbase
章節(jié)12:計(jì)算模型MapReduce
章節(jié)13:分布式協(xié)作系統(tǒng)ZooKeeper
章節(jié)14:分布式文件系統(tǒng)HDFS體系結(jié)構(gòu)
章節(jié)15:Spark項(xiàng)目入門與提高
章節(jié)16:Spark項(xiàng)目編譯
章節(jié)17:Spark平臺下的機(jī)器學(xué)習(xí)
章節(jié)18:Scala編程語言
章節(jié)19:ElasticSearch搜索引擎
章節(jié)20:Flink精講
章節(jié)21:機(jī)器學(xué)習(xí)
章節(jié)22:超大集群調(diào)優(yōu)
5.項(xiàng)目實(shí)戰(zhàn)
項(xiàng)目一:通過PAI基于機(jī)器學(xué)習(xí)的精細(xì)化營銷方法、案例和算法。
項(xiàng)目二:互聯(lián)網(wǎng)電商數(shù)據(jù)爬蟲項(xiàng)目,分析抓取、解析、存儲(chǔ)和監(jiān)控。
項(xiàng)目三:Web應(yīng)用云高頻實(shí)時(shí)處理項(xiàng)目,包含Web服務(wù)、Web日志及其他實(shí)時(shí)數(shù)據(jù)。
項(xiàng)目四:某大型網(wǎng)站日志分析項(xiàng)目,使用hadoop、mapreduce、hive清理進(jìn)行分析。
項(xiàng)目五:移動(dòng)業(yè)務(wù)感知項(xiàng)目,使用MR對多類數(shù)據(jù)分析,使用hive完成用戶維度關(guān)聯(lián)匯總。
項(xiàng)目六:用戶畫像分析系統(tǒng)項(xiàng)目,通過sqoop導(dǎo)入hdfs或spark的jdbc連接傳統(tǒng)數(shù)據(jù)庫。
項(xiàng)目七:非法網(wǎng)站監(jiān)測系統(tǒng)項(xiàng)目,對日志數(shù)據(jù)進(jìn)行實(shí)時(shí)采集、轉(zhuǎn)換與分發(fā)。
項(xiàng)目八:搭建個(gè)性化推薦系統(tǒng)。了解算法原理及引擎RecEng操作,搭建電商推薦系統(tǒng)上線。
開設(shè)班級
班級 | 開班時(shí)間 | 上課地點(diǎn) | 學(xué)費(fèi) | 試聽/報(bào)名 |
---|
福州大數(shù)匠Hadoop大數(shù)據(jù)開發(fā)就業(yè)實(shí)戰(zhàn)班
零基礎(chǔ)學(xué)員,想學(xué)習(xí)Hadoop大數(shù)據(jù)開發(fā)的學(xué)員福州 大數(shù)匠H5數(shù)據(jù)可視化就業(yè)實(shí)戰(zhàn)班
零基礎(chǔ)學(xué)員,想學(xué)習(xí)H5數(shù)據(jù)可視化的學(xué)員