崗位職責(zé)
1.參與數(shù)據(jù)中臺子模塊的方案設(shè)計
2.負(fù)責(zé)子模塊的相關(guān)方案詳細(xì)的設(shè)計
3.負(fù)責(zé)Flink\Spark 相關(guān)任務(wù)的設(shè)計實現(xiàn)上線工作。
4.負(fù)責(zé)大數(shù)據(jù)數(shù)據(jù)采集、數(shù)據(jù)計算所需要的插件的開發(fā)。
5.負(fù)責(zé)Hive、Iceberg、Hbase、Kafka、Doris、Mysql 與業(yè)務(wù)相關(guān)的工具或者接口的開發(fā)。
6.負(fù)責(zé)大數(shù)據(jù)集群的自動化部署相關(guān)開發(fā)。大數(shù)據(jù)相關(guān)組件的問題定位和修復(fù)。
7.參與大數(shù)據(jù)組件的二次開發(fā)。
任職要求:
1、有4-5年相關(guān)工作經(jīng)驗,精通Spark、Flink計算引擎
2、精通Hive SQL
3、精通Java,Scala、Shell
4、掌握常見的RDBS、HDFS、Hive、Hbase、Kafka、Kafka Connect、Redis、MongoDB、IOTDB
5、使用過Doris、trino、StarRocks 或者相關(guān)的OLAP組件
6、掌握數(shù)據(jù)采集組件flume\seatunnel\cannel\Datax\ 一種或者多種
7、熟悉Iceberg
8、熟悉DolphinScheduler
9、掌握分布式計算,存儲,檢索原理。
10、有大數(shù)據(jù)集群部署經(jīng)驗,組件問題定位處理經(jīng)驗者,數(shù)據(jù)中臺,數(shù)據(jù)治理
項目經(jīng)驗者優(yōu)先。
西安 - 雁塔
西安 - 雁塔
西安 - 雁塔
陜西省通信服務(wù)有限公司西安 - 長安
西安 - 雁塔
華夏宏源(北京)科技有限公司西安 - 雁塔