. 參與車控算法的RD和開發(fā)項(xiàng)目,負(fù)責(zé)車控算法數(shù)倉建立、數(shù)據(jù)集成的工作;
2. 設(shè)計(jì)和開發(fā)高效、可擴(kuò)展的ETL數(shù)據(jù)管道,優(yōu)化數(shù)據(jù)清洗、轉(zhuǎn)換和加載流程;
3. 參與數(shù)據(jù)倉庫(如Hive、ClickHouse)、實(shí)時(shí)數(shù)倉(如Flink、Kafka)的架構(gòu)設(shè)計(jì)與開發(fā);
4. 對(duì)接業(yè)務(wù)需求,開發(fā)數(shù)據(jù)服務(wù)接口,為數(shù)據(jù)分析、機(jī)器學(xué)習(xí)等場景提供高質(zhì)量數(shù)據(jù)支持;
5. 解決大數(shù)據(jù)集群的性能瓶頸,調(diào)優(yōu)Hadoop/Spark/Flink等框架的資源利用率與計(jì)算效率;
職位要求
1、本科及以上學(xué)歷,統(tǒng)計(jì)學(xué)、計(jì)算機(jī)科學(xué)等相關(guān)專業(yè)背景,5年;
2、精通Java/Scala/Python至少一門語言(其中python必選),熟悉Linux開發(fā)環(huán)境與腳本編程;
3、深入理解并掌握Hadoop生態(tài)(HDFS/YARN/MapReduce)及Spark/Flink計(jì)算引擎的開發(fā)應(yīng)用,有性能調(diào)優(yōu)經(jīng)驗(yàn);
4、熟悉數(shù)據(jù)倉庫建模理論(維度建模、分層設(shè)計(jì)),掌握Hive、HBase、Kafka等組件的原理與應(yīng)用;
5. 熟練使用OLAP引擎(如Doris、ClickHouse)和SQL優(yōu)化技巧;
6、熟練使用主流可視化工具(Superset,Davinci等 )設(shè)計(jì)開發(fā)數(shù)據(jù)看板;
7. 如能使用統(tǒng)計(jì)分析和機(jī)器學(xué)習(xí)技術(shù)對(duì)數(shù)據(jù)進(jìn)行建模和分析者優(yōu)先;