更新于 3月21日

大數(shù)據(jù)開發(fā)工程師

8000-13000元
  • 石家莊裕華區(qū)
  • 3-5年
  • 碩士
  • 全職
  • 招2人

職位描述

PythonScalaShellSparkKafka數(shù)據(jù)建模數(shù)據(jù)庫開發(fā)數(shù)據(jù)架構(gòu)
崗位職責 :
1.參與數(shù)據(jù)中臺子模塊的方案設計
2.負責子模塊的相關(guān)方案詳細的設計
3.負責Flink\Spark 相關(guān)任務的設計實現(xiàn)上線工作。
4.負責大數(shù)據(jù)數(shù)據(jù)采集、數(shù)據(jù)計算所需要的插件的開發(fā)。
5.負責Hive、Iceberg、Hbase、Kafka、Doris、Mysql 與業(yè)務相關(guān)的工具或者接口的開發(fā)。
6.負責大數(shù)據(jù)集群的自動化部署相關(guān)開發(fā)。大數(shù)據(jù)相關(guān)組件的問題定位和修復。
7.參與大數(shù)據(jù)組件的二次開發(fā)。
技能要求:
1、精通Spark、Flink計算引擎
2、精通Hive SQL
3、精通Java,Scala、Shell
4、掌握常見的RDBS、HDFS、Hive、Hbase、Kafka、Kafka Connect、Redis、MongoDB、IOTDB
5、使用過Doris、trino、StarRocks 或者相關(guān)的OLAP組件
6、掌握數(shù)據(jù)采集組件flume\seatunnel\cannel\Datax\ 一種或者多種
7、熟悉Iceberg
8、熟悉DolphinScheduler
9、掌握分布式計算,存儲,檢索原理。
10、有大數(shù)據(jù)集群部署經(jīng)驗,組件問題定位處理經(jīng)驗者,數(shù)據(jù)中臺,數(shù)據(jù)治理項目經(jīng)驗者優(yōu)先。
注:可接受雄安,北京、西安出差

工作地點

潤江星際中心-B座29層

職位發(fā)布者

趙鵬/HRBP

當前在線
立即溝通
公司Logo河北鵬鵠信息科技有限公司
河北鵬鵠信息科技有限公司(以下簡稱“公司”)創(chuàng)立于2021年9月30日,公司作為河北省內(nèi)首家專注于人工智能技術(shù)賦能智慧交通領域的創(chuàng)新型科研單位,依托自身專注于AI、大數(shù)據(jù)治理、物聯(lián)網(wǎng)技術(shù)領域不斷深耕,同時基于自有國際化前沿團隊先進的研發(fā)、應用能力優(yōu)勢及多項技術(shù)專利加持,根植于交通運輸行業(yè),尤其是針對省內(nèi)各級高速路、國省干線及農(nóng)村公路的“建、管、養(yǎng)、運”全流程工作環(huán)節(jié),不斷予以“信息化”、“智慧化”的深層次、多維度賦能。公司自創(chuàng)建以來,一直堅持“輕量化智慧交通”的產(chǎn)品研發(fā)、應用理念,緊緊圍繞國家“十四五規(guī)劃建設綱要”及“交通強國建設綱要”等國家政策文件對智慧交通領域的相關(guān)提升要求,堅持問題導向,不斷因地制宜,提供定制化服務,利用人工智能賦能傳統(tǒng)道路機電設備,模擬人腦的發(fā)現(xiàn)、思維過程,極大降低人為誤判干擾,提升各級無人值守能力,使其實現(xiàn)大幅智慧化提升;同時利用行業(yè)領先的數(shù)據(jù)融合技術(shù),極大降低智能化硬件設備的投入及管控系統(tǒng)平臺的重復建設,大大降低客戶智慧化提升的各項投入成本,為河北省內(nèi)各級道路管養(yǎng)部門及企業(yè)提供了各類有針對性的“精細化”、“模塊化”智慧交通提升方案,其中“長大橋隧智慧管理平臺”、“交通大腦系統(tǒng)”及“數(shù)據(jù)中樞系統(tǒng)”等產(chǎn)品已在省內(nèi)各級地市縣級道路管養(yǎng)部門進行成功布設搭建,并獲得各級客戶的高度認可,為省內(nèi)各級道路的智能化提升工作做出卓越貢獻。
公司主頁