更新于 2月28日

大數(shù)據(jù)開發(fā)工程師

1.3-1.8萬
  • 西安雁塔區(qū)
  • 3-5年
  • 本科
  • 全職
  • 招2人

職位描述

數(shù)據(jù)治理數(shù)據(jù)中臺開發(fā)數(shù)據(jù)庫開發(fā)ScalaFlinkSparkShellJava


崗位職責(zé)

1.參與數(shù)據(jù)中臺子模塊的方案設(shè)計

2.負(fù)責(zé)子模塊的相關(guān)方案詳細(xì)的設(shè)計

3.負(fù)責(zé)Flink\Spark 相關(guān)任務(wù)的設(shè)計實現(xiàn)上線工作。

4.負(fù)責(zé)大數(shù)據(jù)數(shù)據(jù)采集、數(shù)據(jù)計算所需要的插件的開發(fā)。

5.負(fù)責(zé)Hive、Iceberg、Hbase、Kafka、Doris、Mysql 與業(yè)務(wù)相關(guān)的工具或者接口的開發(fā)。

6.負(fù)責(zé)大數(shù)據(jù)集群的自動化部署相關(guān)開發(fā)。大數(shù)據(jù)相關(guān)組件的問題定位和修復(fù)。

7.參與大數(shù)據(jù)組件的二次開發(fā)。

任職要求:

1、有4-5年相關(guān)工作經(jīng)驗,精通Spark、Flink計算引擎

2、精通Hive SQL

3、精通Java,Scala、Shell

4、掌握常見的RDBS、HDFS、Hive、Hbase、Kafka、Kafka Connect、Redis、MongoDB、IOTDB

5、使用過Doris、trino、StarRocks 或者相關(guān)的OLAP組件

6、掌握數(shù)據(jù)采集組件flume\seatunnel\cannel\Datax\ 一種或者多種

7、熟悉Iceberg

8、熟悉DolphinScheduler

9、掌握分布式計算,存儲,檢索原理。

10、有大數(shù)據(jù)集群部署經(jīng)驗,組件問題定位處理經(jīng)驗者,數(shù)據(jù)中臺,數(shù)據(jù)治理
項目經(jīng)驗者優(yōu)先。


工作地點

綠地領(lǐng)海大廈-B座2207室

職位發(fā)布者

張曉靜/人事經(jīng)理

剛剛活躍
立即溝通
公司Logo河北鵬鵠信息科技有限公司
河北鵬鵠信息科技有限公司(以下簡稱“公司”)創(chuàng)立于2021年9月30日,公司作為河北省內(nèi)首家專注于人工智能技術(shù)賦能智慧交通領(lǐng)域的創(chuàng)新型科研單位,依托自身專注于AI、大數(shù)據(jù)治理、物聯(lián)網(wǎng)技術(shù)領(lǐng)域不斷深耕,同時基于自有國際化前沿團隊先進的研發(fā)、應(yīng)用能力優(yōu)勢及多項技術(shù)專利加持,根植于交通運輸行業(yè),尤其是針對省內(nèi)各級高速路、國省干線及農(nóng)村公路的“建、管、養(yǎng)、運”全流程工作環(huán)節(jié),不斷予以“信息化”、“智慧化”的深層次、多維度賦能。公司自創(chuàng)建以來,一直堅持“輕量化智慧交通”的產(chǎn)品研發(fā)、應(yīng)用理念,緊緊圍繞國家“十四五規(guī)劃建設(shè)綱要”及“交通強國建設(shè)綱要”等國家政策文件對智慧交通領(lǐng)域的相關(guān)提升要求,堅持問題導(dǎo)向,不斷因地制宜,提供定制化服務(wù),利用人工智能賦能傳統(tǒng)道路機電設(shè)備,模擬人腦的發(fā)現(xiàn)、思維過程,極大降低人為誤判干擾,提升各級無人值守能力,使其實現(xiàn)大幅智慧化提升;同時利用行業(yè)領(lǐng)先的數(shù)據(jù)融合技術(shù),極大降低智能化硬件設(shè)備的投入及管控系統(tǒng)平臺的重復(fù)建設(shè),大大降低客戶智慧化提升的各項投入成本,為河北省內(nèi)各級道路管養(yǎng)部門及企業(yè)提供了各類有針對性的“精細(xì)化”、“模塊化”智慧交通提升方案,其中“長大橋隧智慧管理平臺”、“交通大腦系統(tǒng)”及“數(shù)據(jù)中樞系統(tǒng)”等產(chǎn)品已在省內(nèi)各級地市縣級道路管養(yǎng)部門進行成功布設(shè)搭建,并獲得各級客戶的高度認(rèn)可,為省內(nèi)各級道路的智能化提升工作做出卓越貢獻。
公司主頁