生態(tài)業(yè)務(wù)，偶爾需要出差，base 武漢或者深圳
一、技術(shù)技能
1.大數(shù)據(jù)技術(shù)棧
Hadoop生態(tài)系統(tǒng) ： 熟悉HDFS、MapReduce、YARN的基本原理與操作 掌握Hive、Spark等數(shù)據(jù)處理工具
分布式存儲系統(tǒng) ： 了解HBase、MongoDB等NoSQL數(shù)據(jù)庫，熟悉對象存儲系統(tǒng)如OBS、OceanStore，數(shù)據(jù)倉庫與ETL工具 ： 熟悉DolphinScheduler調(diào)度工具。
2.數(shù)據(jù)遷移工具與技術(shù)
DistCp ： 熟悉Hadoop DistCp工具的使用，能夠編寫和優(yōu)化數(shù)據(jù)遷移腳本
數(shù)據(jù)同步工具 ： 掌握Apache Sqoop、Flume等數(shù)據(jù)同步工具
3.API與集成 ： 熟悉RESTful API、SOAP等接口技術(shù)，用于系統(tǒng)間數(shù)據(jù)傳輸 掌握消息隊列系統(tǒng)如Kafka、RabbitMQ在數(shù)據(jù)遷移中的應(yīng)用
4.編程與腳本
編程語言 ： 熟練掌握J(rèn)ava、Python、Scala等大數(shù)據(jù)常用編程語言
腳本編寫 ： 熟悉Shell、Python腳本編寫，用于自動化遷移任務(wù)
版本控制 ： 熟悉Git或其他版本控制系統(tǒng)，管理遷移腳本和配置
5.數(shù)據(jù)庫管理
關(guān)系型數(shù)據(jù)庫 ： 熟悉MySQL、PostgreSQL、Oracle、SQL Server等RDBMS的管理與優(yōu)化
NoSQL數(shù)據(jù)庫 ： 熟悉MongoDB、HANA、Redis等NoSQL數(shù)據(jù)庫的管理與優(yōu)化
數(shù)據(jù)遷移策略 ： 掌握數(shù)據(jù)抽取、轉(zhuǎn)換、加載（ETL）流程 熟悉數(shù)據(jù)清洗、去重、驗證等遷移后處理技術(shù)
6. 數(shù)據(jù)質(zhì)量與驗證
數(shù)據(jù)校驗工具 ： 熟悉數(shù)據(jù)校驗和測試工具，掌握數(shù)據(jù)完整性、一致性、準(zhǔn)確性的驗證方法 熟悉數(shù)據(jù)質(zhì)量監(jiān)控與報告工具
7. 系統(tǒng)與網(wǎng)絡(luò)
操作系統(tǒng) ： 熟悉Linux/Unix系統(tǒng)管理，掌握Shell命令與腳本
網(wǎng)絡(luò)基礎(chǔ) ： 理解網(wǎng)絡(luò)協(xié)議、帶寬管理、網(wǎng)絡(luò)安全等基礎(chǔ)知識 熟悉數(shù)據(jù)傳輸中的網(wǎng)絡(luò)優(yōu)化技術(shù)
二、項目經(jīng)驗
1. 大數(shù)據(jù)遷移項目
成功案例 ： 至少2-3個完整的大數(shù)據(jù)遷移項目經(jīng)驗，涵蓋不同規(guī)模和復(fù)雜度
遷移類型 ： 經(jīng)歷過HDFS內(nèi)部遷移、跨集群遷移、云遷移等多種類型
數(shù)據(jù)量處理 ： 處理過PB級別的數(shù)據(jù)遷移任務(wù)，具備處理大規(guī)模數(shù)據(jù)的能力
2. 問題解決
故障排除 ： 具備快速定位和解決遷移過程中出現(xiàn)的各類技術(shù)問題
優(yōu)化經(jīng)驗 ： 有遷移過程中性能優(yōu)化、資源調(diào)優(yōu)的實(shí)際經(jīng)驗
三、其他能力
1. 數(shù)據(jù)安全與合規(guī)
安全措施 ： 熟悉數(shù)據(jù)加密、訪問控制、身份驗證等安全措施
2. 監(jiān)控與日志管理
監(jiān)控工具 ： 熟悉Prometheus、Grafana、Nagios等監(jiān)控工具的使用
日志分析 ： 掌握ELK Stack（Elasticsearch, Logstash, Kibana）或其他日志管理工具
四、軟技能
1. 溝通能力
團(tuán)隊溝通 ： 能夠清晰地與技術(shù)團(tuán)隊和非技術(shù)人員溝通遷移計劃與進(jìn)展
文檔編寫 ： 撰寫詳細(xì)的技術(shù)文檔、遷移報告和用戶手冊
2. 學(xué)習(xí)能力
技術(shù)更新 ： 持續(xù)學(xué)習(xí)新技術(shù)和工具，保持對大數(shù)據(jù)和云計算領(lǐng)域的最新了解
適應(yīng)變化 ： 能夠快速適應(yīng)項目需求變化和技術(shù)環(huán)境的變化
3. 問題解決與決策
分析能力 ： 具備強(qiáng)大的邏輯思維和分析能力，能夠獨(dú)立解決復(fù)雜問題
決策能力 ： 在關(guān)鍵時刻做出合理的技術(shù)和項目管理決策
4. 團(tuán)隊合作
協(xié)作精神 ： 能夠在多學(xué)科團(tuán)隊中高效合作，共同完成項目目標(biāo)
領(lǐng)導(dǎo)能力 ： 具備一定的團(tuán)隊領(lǐng)導(dǎo)和管理能力，能夠指導(dǎo)和培訓(xùn)初級成員