1. **系統(tǒng)部署與維護(hù)**
- 負(fù)責(zé)Hadoop、Spark、Flink、Kafka等大數(shù)據(jù)平臺的搭建、部署、升級及日常運(yùn)維，保障集群高可用性。
- 管理分布式存儲系統(tǒng)（如HDFS、HBase、ClickHouse等），優(yōu)化數(shù)據(jù)存儲與讀寫性能。
2. **監(jiān)控與故障處理**
- 設(shè)計并實(shí)施大數(shù)據(jù)集群監(jiān)控體系（如Prometheus、Grafana、Zabbix），實(shí)時預(yù)警系統(tǒng)異常。
- 快速定位并解決集群故障、性能瓶頸及數(shù)據(jù)一致性問題，保障SLA達(dá)標(biāo)。
3. **性能調(diào)優(yōu)與資源管理**
- 分析集群資源利用率（CPU/內(nèi)存/磁盤/網(wǎng)絡(luò)），優(yōu)化YARN、K8s等資源調(diào)度策略。
- 針對計算任務(wù)（如MapReduce、Spark作業(yè)）進(jìn)行參數(shù)調(diào)優(yōu)，提升數(shù)據(jù)處理效率。
4. **自動化與DevOps**
- 開發(fā)運(yùn)維腳本（Python/Shell）或工具，實(shí)現(xiàn)部署、監(jiān)控、備份等流程自動化。
- 推動CI/CD在數(shù)據(jù)流水線中的應(yīng)用，與開發(fā)團(tuán)隊協(xié)作提升交付效率。
5. **安全與合規(guī)**
- 實(shí)施集群安全策略，包括權(quán)限管理（Kerberos/Ranger）、數(shù)據(jù)加密、審計日志等。
- 配合完成數(shù)據(jù)備份、容災(zāi)方案及合規(guī)性檢查（如GDPR）。
6. **文檔與協(xié)作**
- 編寫運(yùn)維手冊、故障處理SOP及技術(shù)方案文檔。
- 與數(shù)據(jù)開發(fā)、算法團(tuán)隊協(xié)作，支持業(yè)務(wù)需求并優(yōu)化架構(gòu)。
任職要求：
1. **技術(shù)能力**
- 精通Linux系統(tǒng)及網(wǎng)絡(luò)原理，熟悉JVM調(diào)優(yōu)、容器化技術(shù)（Docker/K8s）。
- 深入理解Hadoop生態(tài)組件（HDFS/YARN/Hive等），熟悉至少一種主流大數(shù)據(jù)計算引擎（Spark/Flink）。
- 熟練使用Ansible/Chef/Puppet等自動化運(yùn)維工具，具備腳本開發(fā)能力（Python/Shell/Go）。
- 熟悉云平臺（AWS/Azure/阿里云）大數(shù)據(jù)服務(wù)（EMR、MaxCompute）者優(yōu)先。
2. **經(jīng)驗要求**
- 3年以上大數(shù)據(jù)平臺運(yùn)維經(jīng)驗，主導(dǎo)過500+節(jié)點(diǎn)集群運(yùn)維或性能優(yōu)化項目。
- 有PB級數(shù)據(jù)規(guī)模、高并發(fā)實(shí)時處理場景經(jīng)驗者優(yōu)先。
3. **軟技能**
- 強(qiáng)烈的責(zé)任心和抗壓能力，能獨(dú)立處理線上緊急故障。
- 良好的溝通能力，能與跨部門團(tuán)隊高效協(xié)作。
- 熟悉數(shù)據(jù)治理、元數(shù)據(jù)管理（Apache Atlas）或數(shù)據(jù)血緣工具。
- 有大數(shù)據(jù)平臺遷移（如Hadoop上云）或混合云架構(gòu)經(jīng)驗。
- 了解機(jī)器學(xué)習(xí)平臺（如MLflow/Kubeflow）運(yùn)維