需求理解及排期:
1、基于需求分析文檔,梳理出可執(zhí)行落地的數(shù)據(jù)方案文檔,如維度/指標(biāo)的數(shù)據(jù)來源、表間關(guān)聯(lián)關(guān)系ER圖、邏輯口徑等
2、按照任務(wù)標(biāo)準(zhǔn)文檔,能在合理的排期內(nèi)完成臨時(shí)提數(shù)、周期需求及BI需求
3、承接獨(dú)立項(xiàng)目,對(duì)項(xiàng)目進(jìn)行合理的排期管控、費(fèi)用報(bào)價(jià)估算,獨(dú)立完成臨時(shí)需求、周期需求各類任務(wù)
4、帶領(lǐng)團(tuán)隊(duì)成員攻關(guān)各類技術(shù)難題,承擔(dān)統(tǒng)籌角色為團(tuán)隊(duì)解決技術(shù)難題,人員分工合理安排、指導(dǎo)他人開展工作等;
數(shù)據(jù)開發(fā)及數(shù)據(jù)治理:
1、能獨(dú)立完成對(duì)ETL任務(wù)進(jìn)行優(yōu)化,提升任務(wù)的穩(wěn)定性,保證數(shù)據(jù)的及時(shí)性、完整性、一致性
2、按照數(shù)據(jù)治理標(biāo)準(zhǔn)編寫高質(zhì)量的sql代碼,輸出完整的數(shù)據(jù)字典,ETL任務(wù)信息等,形成全鏈路閉環(huán)。
3、基于數(shù)據(jù)方案文檔,編寫高質(zhì)量的hsql代碼,能基于業(yè)務(wù)方面及技術(shù)方面進(jìn)行sql優(yōu)化
4、能提出數(shù)據(jù)治理、數(shù)據(jù)開發(fā)工作合理的解決方案,提升團(tuán)隊(duì)技能,形成標(biāo)準(zhǔn)文檔并指導(dǎo)他人進(jìn)行落地實(shí)施
ETL任務(wù)開發(fā)能力:
1、按規(guī)范開發(fā)完整的ETL任務(wù),包括離線、準(zhǔn)實(shí)時(shí)采集任務(wù),清洗轉(zhuǎn)換任務(wù)
2、能指導(dǎo)他人進(jìn)行ETL任務(wù)的優(yōu)化,提高任務(wù)的穩(wěn)定性,保障團(tuán)隊(duì)的數(shù)據(jù)提取能力
數(shù)倉數(shù)據(jù)建模能力:
1、熟悉數(shù)據(jù)建模方法論,如星型模型,雪花模型,星座模型
2、熟悉粒度、度量、事實(shí)表、維度表概念
3、能獨(dú)立從0到1的進(jìn)行數(shù)倉建設(shè)
4、能制定規(guī)范的sql腳本模板,并指導(dǎo)他人規(guī)范編寫
5、能指導(dǎo)他人對(duì)業(yè)務(wù)數(shù)據(jù)流進(jìn)行監(jiān)控及預(yù)警
技能要求:
1、熟練編寫sql/hsql腳本,精通sql調(diào)優(yōu)
2、熟練linu常用命令,如ps、top、df、du命令,會(huì)使用awk或sed命令
3、精通shell、python腳本或其他語言
4、熟悉大數(shù)據(jù)組件原理,如hive,hdfs,yarn,redis等
其他:
熟悉阿里產(chǎn)品,如dataphin,maxcomputer等
工作年限:
5年以上數(shù)據(jù)開發(fā)工作經(jīng)驗(yàn)