資格要求:
1.具備3年以上大數(shù)據(jù)和數(shù)據(jù)倉庫相關(guān)工作經(jīng)驗;
2.熟練掌握Java、python、scala等至少一種大數(shù)據(jù)開發(fā)語語言;
3.熟悉Hadoop生態(tài)圈技術(shù)棧,HBase、Hive、Sqoop等及數(shù)據(jù)庫、消息隊列、搜索引擎、調(diào)度引擎工具使用, 擁有海量數(shù)據(jù)處理經(jīng)驗者優(yōu)先;
4.精通flume、kafka、redis、spark、presto、elasticsearch等實時系統(tǒng)處理中間件一種或者幾種,有至少一個以上相關(guān)項目;
5.精通數(shù)據(jù)倉庫建模、元數(shù)據(jù)管理、數(shù)據(jù)治理、數(shù)據(jù)質(zhì)量、特征平臺管理等理論及建設(shè),有實際開發(fā)經(jīng)驗優(yōu)先;
6.團隊合作、溝通表達能力強,積極主動,對新技術(shù)保持熱情和好奇心。
工作內(nèi)容:
1. 參與大數(shù)據(jù)項目的需求分析、系統(tǒng)架構(gòu)設(shè)計、并完成需求設(shè)計相應(yīng)文檔的編寫 ;
2. 參與數(shù)倉日常的數(shù)據(jù)運維、治理工作,包括技術(shù)運營、數(shù)據(jù)答疑、數(shù)據(jù)運維工作
3. 參與大數(shù)據(jù)采集、處理、轉(zhuǎn)換、分析、業(yè)務(wù)需求等相關(guān)開發(fā);
4. 參與大數(shù)據(jù)離線和實時開發(fā),尤其是大數(shù)據(jù)實時計算相關(guān)開發(fā);