1. 3年以上開發(fā)經(jīng)驗;
2. 扎實的Java開發(fā)功底,對JVM的原理有一定的了解;
3. 熟悉Spring、SpringCloud、ORM、Dubbo、ElasticSearch、消息隊列等相關(guān)生態(tài),可搭建Java生態(tài)的微服務(wù)體系;
4. 熟悉常用關(guān)系型數(shù)據(jù)庫,熟悉PostgreSQL優(yōu)先;熟悉Redis
5.了解Kafka底層架構(gòu),了解分區(qū)策略,實現(xiàn)精準(zhǔn)一次性消費,以及高效讀寫,生產(chǎn)中計算部署Kafka集群,解決一些kafka掛掉,數(shù)據(jù)重復(fù)。
6.Zookeeper的CAP機(jī)制,Zookeeper的選舉機(jī)制,使用Zookeeper進(jìn)行客戶端編程。
7.使用Datax,能夠利用它從業(yè)務(wù)數(shù)據(jù)庫向HDFS導(dǎo)數(shù)據(jù)。
8.了解Maxwell的工作原理以及在實際場景中的應(yīng)用。
9.Hbase的基本架構(gòu),讀寫流程
10.OLAP即席查詢數(shù)據(jù)庫Clickhouse,能夠?qū)?shù)倉聚合數(shù)據(jù)導(dǎo)入其中。
11.了解可視化工具Superset,Sugar,能夠進(jìn)行生產(chǎn)中使用。
12.能夠使用cdh部署,云服務(wù)器運維,使用阿里云進(jìn)行大數(shù)據(jù)開發(fā)。了解阿里云服務(wù)器大數(shù)據(jù)處理平臺。