【職位描述】

1、進行需求分析，收集業(yè)務(wù)特定數(shù)據(jù)需求。

2、開發(fā)和維護數(shù)據(jù)管道，以實現(xiàn)數(shù)據(jù)提取、轉(zhuǎn)換和復(fù)制到數(shù)據(jù)湖中。

3、使用Python、Scala和Spark驗證數(shù)據(jù)格式和質(zhì)量；清洗、豐富和轉(zhuǎn)換數(shù)據(jù)。

4、使用Apache Airflow管理整個數(shù)據(jù)管道的編排。

5、參與數(shù)據(jù)建模，并協(xié)助形式化數(shù)據(jù)對象之間的關(guān)系。

6、支持測試、監(jiān)控和數(shù)據(jù)治理活動。

7、與現(xiàn)場團隊協(xié)作，確保項目順利執(zhí)行并遵守項目時間表。

工作時間：9:00-12:00, 13:00-18:00

節(jié)假日，周末雙休。五險一金，出差有差旅補助，加班有加班費、餐補、車補。

【任職要求】

1、統(tǒng)招本科及以上學(xué)歷，計算機相關(guān)專業(yè)；

2、編程基本功扎實，熟悉常用數(shù)據(jù)結(jié)構(gòu)，熟悉Linux系統(tǒng)命令；

3、熟悉Java服務(wù)端程序開發(fā)，Python腳本程序開發(fā)；

4、熟悉Hadoop生態(tài)，包括但不限于Hadoop、Hbase、Hive、Spark、ElasticSearch、Azkaban、DataX、Logstash、Kibana；

5、熟悉數(shù)據(jù)倉庫的建模，熟悉SQL，較為熟練使用相關(guān)工具進行ETL開發(fā)。

6、頭腦靈活，善于獨立思考以及總結(jié)提出問題。