1. 負(fù)責(zé)項(xiàng)目所需的數(shù)據(jù)接入,加工處理,數(shù)據(jù)治理;
2. 設(shè)計(jì)并實(shí)現(xiàn)大數(shù)據(jù)處理流程,提取和分析項(xiàng)目相關(guān)數(shù)據(jù);
3. 協(xié)助其他團(tuán)隊(duì)成員進(jìn)行數(shù)據(jù)處理和分析工作,提供技術(shù)支持;
4. 對(duì)大數(shù)據(jù)平臺(tái)各個(gè)使用方提供技術(shù)支持
任職資質(zhì)
1、計(jì)算機(jī)、信息技術(shù)、數(shù)據(jù)科學(xué)或相關(guān)專業(yè)的本科及以上學(xué)歷,6年以上實(shí)際PB級(jí)大數(shù)據(jù)項(xiàng)目經(jīng)驗(yàn)。
2、熟悉Apache Hive及其生態(tài)(如Hadoop、HDFS等),能夠熟練使用HiveSQL進(jìn)行數(shù)據(jù)開(kāi)發(fā)、hiveSQL優(yōu)化,會(huì)使用doris優(yōu)先。
3、了解大數(shù)據(jù)架構(gòu)及相關(guān)技術(shù),如Hadoop、Spark、Kafka等,對(duì)數(shù)據(jù)流和處理流程有一定的認(rèn)識(shí)。
4、熟悉Azkaban等調(diào)度工具,能夠編寫ETL腳本或調(diào)度作業(yè)。
5、理解數(shù)據(jù)倉(cāng)庫(kù)、數(shù)據(jù)治理的基本概念及應(yīng)用,對(duì)SQL有扎實(shí)的基礎(chǔ)。
6、具備較強(qiáng)的數(shù)據(jù)分析能力和業(yè)務(wù)理解能力,能夠根據(jù)業(yè)務(wù)需求設(shè)計(jì)合理的數(shù)據(jù)模型。
7、大數(shù)據(jù)hive開(kāi)發(fā)項(xiàng)目5年以上經(jīng)驗(yàn),有5年以上實(shí)際維度數(shù)據(jù)模型經(jīng)驗(yàn)。