崗位要求：
1.使用Linux常用命令，書寫Shell啟動分發(fā)等基礎腳本,熟悉主流操作系統(tǒng)，數(shù)據(jù)庫。
2.搭建Hadoop3.x集群，熟悉Hdfs讀寫流程，MR的Shuffle機制，Yarn的提交作業(yè)流程，進行MR的參數(shù)優(yōu)化，解決常見的Hadoop小文件問題，數(shù)據(jù)傾斜問題 。
3.熟悉Hive的組件構成，進行Hive的優(yōu)化，數(shù)據(jù)傾斜問題解決。
4.使用Flume組件，根據(jù)業(yè)務場景對Source，Channel，Sink進行選型，自定義攔截器，進行數(shù)據(jù)采集。
5.了解Kafka底層架構，了解分區(qū)策略，實現(xiàn)精準一次性消費，以及高效讀寫，生產中計算部署Kafka集群，解決一些kafka掛掉，數(shù)據(jù)重復。
6.Zookeeper的CAP機制，Zookeeper的選舉機制，使用Zookeeper進行客戶端編程。
7.使用Datax，能夠利用它從業(yè)務數(shù)據(jù)庫向HDFS導數(shù)據(jù)。
8.了解Maxwell的工作原理以及在實際場景中的應用。
9.Hbase的基本架構，讀寫流程
10.OLAP即席查詢數(shù)據(jù)庫Clickhouse，能夠將數(shù)倉聚合數(shù)據(jù)導入其中。
11.了解可視化工具Superset，Sugar，能夠進行生產中使用。
12.能夠使用cdh部署，云服務器運維，使用阿里云進行大數(shù)據(jù)開發(fā)。了解阿里云服務器大數(shù)據(jù)處理平臺。
13.熟悉網絡部署，產品安裝，軟件調試
14.搭建過硬件集群
15.會做ETL，使用kettle
16.編寫項目方案，推進項目實時
17.運維數(shù)據(jù)庫以及維護生產系統(tǒng)
工作地點：呼和浩特市賽罕區(qū)騰飛南路40號