崗位職責(zé):

1、負(fù)責(zé)Hadoop、Hive、Yarn等大數(shù)據(jù)組件的集群部署、配置優(yōu)化、監(jiān)控及故障處理，保障集群高可用性和穩(wěn)定性?。
2、定期執(zhí)行集群性能調(diào)優(yōu)，包括HDFS存儲(chǔ)優(yōu)化、Yarn資源調(diào)度策略調(diào)整及MapReduce/Spark任務(wù)執(zhí)行效率提升?。
3、使用Java語言開發(fā)MapReduce程序及Spark離線任務(wù)，實(shí)現(xiàn)復(fù)雜數(shù)據(jù)處理邏輯。
4、編寫Hive UDF/UDAF函數(shù)，優(yōu)化HQL查詢性能，支持業(yè)務(wù)側(cè)高效數(shù)據(jù)分析需求。
5、結(jié)合Python/Shell等腳本語言，開發(fā)自動(dòng)化運(yùn)維工具，實(shí)現(xiàn)集群巡檢、日志分析等場(chǎng)景的流程簡(jiǎn)化?。
6、參與大數(shù)據(jù)平臺(tái)安全治理、資源調(diào)度優(yōu)化及數(shù)據(jù)冷熱分層架構(gòu)設(shè)計(jì)
7、與數(shù)據(jù)倉庫、業(yè)務(wù)開發(fā)團(tuán)隊(duì)緊密協(xié)作，提供技術(shù)方案支持，解決數(shù)據(jù)抽取、計(jì)算等場(chǎng)景下的性能瓶頸問題?。

1、精通Java開發(fā)，熟悉多線程、分布式系統(tǒng)設(shè)計(jì)原理，具備MapReduce/Spark任務(wù)開發(fā)經(jīng)驗(yàn)?。
2、熟悉Hadoop生態(tài)技術(shù)棧（HDFS/Yarn/Hive），掌握集群調(diào)優(yōu)、故障排查及高可用架構(gòu)設(shè)計(jì)?。
3、熟練使用Python/Shell腳本語言，具備自動(dòng)化運(yùn)維工具開發(fā)能力?。
4、計(jì)算機(jī)相關(guān)專業(yè)本科及以上學(xué)歷，2年以上Hadoop集群運(yùn)維及大數(shù)據(jù)開發(fā)經(jīng)驗(yàn)?。
5、有推薦系統(tǒng)（如電商、互聯(lián)網(wǎng)醫(yī)藥領(lǐng)域）經(jīng)驗(yàn)者優(yōu)先。
6、具備良好的技術(shù)文檔編寫能力及團(tuán)隊(duì)協(xié)作意識(shí)，能適應(yīng)高強(qiáng)度工作節(jié)奏?。