崗位職責(zé):

1、負責(zé)Hadoop、Hive、Yarn等大數(shù)據(jù)組件的集群部署、配置優(yōu)化、監(jiān)控及故障處理，保障集群高可用性和穩(wěn)定性?。
2、定期執(zhí)行集群性能調(diào)優(yōu)，包括HDFS存儲優(yōu)化、Yarn資源調(diào)度策略調(diào)整及MapReduce/Spark任務(wù)執(zhí)行效率提升?。
3、使用Java語言開發(fā)MapReduce程序及Spark離線任務(wù)，實現(xiàn)復(fù)雜數(shù)據(jù)處理邏輯。
4、編寫Hive UDF/UDAF函數(shù)，優(yōu)化HQL查詢性能，支持業(yè)務(wù)側(cè)高效數(shù)據(jù)分析需求。
5、結(jié)合Python/Shell等腳本語言，開發(fā)自動化運維工具，實現(xiàn)集群巡檢、日志分析等場景的流程簡化?。
6、參與大數(shù)據(jù)平臺安全治理、資源調(diào)度優(yōu)化及數(shù)據(jù)冷熱分層架構(gòu)設(shè)計
7、與數(shù)據(jù)倉庫、業(yè)務(wù)開發(fā)團隊緊密協(xié)作，提供技術(shù)方案支持，解決數(shù)據(jù)抽取、計算等場景下的性能瓶頸問題?。

1、精通Java開發(fā)，熟悉多線程、分布式系統(tǒng)設(shè)計原理，具備MapReduce/Spark任務(wù)開發(fā)經(jīng)驗?。
2、熟悉Hadoop生態(tài)技術(shù)棧（HDFS/Yarn/Hive），掌握集群調(diào)優(yōu)、故障排查及高可用架構(gòu)設(shè)計?。
3、熟練使用Python/Shell腳本語言，具備自動化運維工具開發(fā)能力?。
4、計算機相關(guān)專業(yè)本科及以上學(xué)歷，2年以上Hadoop集群運維及大數(shù)據(jù)開發(fā)經(jīng)驗?。
5、有推薦系統(tǒng)（如電商、互聯(lián)網(wǎng)醫(yī)藥領(lǐng)域）經(jīng)驗者優(yōu)先。
6、具備良好的技術(shù)文檔編寫能力及團隊協(xié)作意識，能適應(yīng)高強度工作節(jié)奏?。