1
深刻理解HDFS分布式文件系統(tǒng)存儲(chǔ)結(jié)構(gòu)和高可用原理

2

熟練掌握hadoop?mapreduce計(jì)算框架編程，對(duì)yarn的資源調(diào)度，作業(yè)監(jiān)控有一定認(rèn)識(shí)

3

掌握storm?streaming編程，對(duì)定時(shí)批量任務(wù)處理，分布式rpc有一定認(rèn)識(shí)

4

深刻了解Spark底層運(yùn)行機(jī)制，

4

熟練掌握scala編程，能運(yùn)用scala進(jìn)行spark?RDD，spark?streaming編程

5

熟悉flume，kafka等日志收集，分發(fā)框架的使用，能夠?qū)⑺麄兒蛃torm，spark進(jìn)行整合進(jìn)行數(shù)據(jù)的實(shí)時(shí)處理

6

能夠熟練運(yùn)用hive數(shù)據(jù)倉庫工具，對(duì)日志數(shù)據(jù)進(jìn)行查詢，統(tǒng)計(jì)等數(shù)據(jù)操作，并且有一定的數(shù)據(jù)優(yōu)化經(jīng)驗(yàn)

7

能將hive和spark?sql進(jìn)行整合，進(jìn)行數(shù)據(jù)查詢等相關(guān)操作

8

熟悉hbase數(shù)據(jù)庫的使用，及其編程

9

熟悉redis內(nèi)存數(shù)據(jù)庫，能搭建redis高可用集群及其編程

10

熟悉ELK技術(shù)棧，了解ElasticSearch，Logstash的整合使用

11

掌握Sqoop數(shù)據(jù)遷移工具的使用，能熟練的將數(shù)據(jù)從不同的存儲(chǔ)介質(zhì)進(jìn)行遷移

12

了解linux系統(tǒng)，熟悉常用的linux的shell命令，能在linux系統(tǒng)下搭建開發(fā)環(huán)境

13

熟練掌握J(rèn)avaSE，深刻理解面向?qū)ο笤O(shè)計(jì)思想，熟練使用IO流操作和集合框架，網(wǎng)絡(luò)編程等JavaSE主流技術(shù)。

14

能使用反射、注解、動(dòng)態(tài)代理等Java高級(jí)技術(shù)，對(duì)代碼的封裝抽取及其性能優(yōu)化有點(diǎn)一定的經(jīng)驗(yàn)。

15

熟悉Struts，Spring，Hibernate，Servlet，Jsp等WEB編程技術(shù)

16

能熟練使用Oracle，MySql主流數(shù)據(jù)庫技術(shù)，擅長SQL語句的編寫

總結(jié)

以上是生活随笔為你收集整理的大数据简历 专业技能内容的全部內(nèi)容，希望文章能夠幫你解決所遇到的問題。

如果覺得生活随笔網(wǎng)站內(nèi)容還不錯(cuò)，歡迎將生活随笔推薦給好友。