工作職責:
1. 基于業(yè)務(wù)(場景)需求,參與源數(shù)據(jù)調(diào)研、源數(shù)據(jù)梳理、制定數(shù)據(jù)接口及規(guī)范。
2. 負責數(shù)據(jù)項目的數(shù)據(jù)采集、整合、治理等技術(shù)過程實現(xiàn)工作。
3. 負責海量數(shù)據(jù)的加工處理,參與模型優(yōu)化,數(shù)據(jù)計算優(yōu)化等工作。
任職資格:
1. 本科及以上學歷,計算機、數(shù)學等相關(guān)專業(yè),具有2年以上大數(shù)據(jù)領(lǐng)域的數(shù)據(jù)開發(fā)經(jīng)驗。
2. 了解數(shù)據(jù)倉庫建設(shè)方法論、 3NF-ER 模型 、維度模型,有一定的數(shù)據(jù)分析、清洗和建模的經(jīng)驗。
3.了解數(shù)據(jù)治理體系(數(shù)據(jù)標準 、數(shù)據(jù)質(zhì)量 、 元數(shù)據(jù) 、 主數(shù)據(jù) 等) 。
4. 熟悉linux,熟悉數(shù)據(jù) ETL 流程與架構(gòu)、工具( Kettle、Sqoop 等);熟悉大數(shù)據(jù)產(chǎn)品Hadoop生態(tài)圈如HDFS、YARN、Hive、Spark等。
5. 熟練使用 SQL、 HIVE、 Hadoop、 Spark、 Flink等 ;
6. 熟練使用 Java、python等編程語言;熟悉阿里云大數(shù)據(jù)組件Dataworks、maxcompute等優(yōu)先。