更新于 3月4日

大數(shù)據(jù)工程師

8000-12000元
  • 蘭州城關(guān)區(qū)
  • 3-5年
  • 本科
  • 全職
  • 招3人

雇員點(diǎn)評標(biāo)簽

  • 工作環(huán)境好
  • 氛圍活躍
  • 同事很nice
  • 人際關(guān)系好
  • 交通便利

職位描述

HadoopSparkHiveFlink
崗位職責(zé):

1. 負(fù)責(zé)搭建和維護(hù)先進(jìn)的大數(shù)據(jù)平臺,集成和配置大數(shù)據(jù)生態(tài)系統(tǒng)中的組件,例如Apache Hadoop、Spark、Flink、Kafka、Zookeeper等,確保平臺的穩(wěn)定性、高效性和安全性;

2. 負(fù)責(zé)大數(shù)據(jù)數(shù)據(jù)業(yè)務(wù)模型研發(fā)與創(chuàng)新,深入研究并應(yīng)用大數(shù)據(jù)處理、存儲和分析技術(shù),構(gòu)建大規(guī)模結(jié)構(gòu)化數(shù)據(jù)、非結(jié)構(gòu)化數(shù)據(jù)業(yè)務(wù)模型,并不斷優(yōu)化存儲方案以提升數(shù)據(jù)處理性能;

3. 負(fù)責(zé)數(shù)據(jù)庫架構(gòu)設(shè)計(jì),利用關(guān)系型、NewSQL、和多模型數(shù)據(jù)庫等技術(shù),進(jìn)行數(shù)據(jù)庫架構(gòu)的現(xiàn)代化設(shè)計(jì),優(yōu)化性能,解決數(shù)據(jù)庫中心建設(shè)設(shè)計(jì)問題和分布式數(shù)據(jù)庫的擴(kuò)展性和一致性問題。

4. 主導(dǎo)數(shù)據(jù)倉庫的建設(shè)工作,采用MPP架構(gòu)等多種存儲技術(shù),設(shè)計(jì)高效的數(shù)據(jù)倉庫架構(gòu)包括數(shù)據(jù)模型設(shè)計(jì)、數(shù)據(jù)集市規(guī)劃等,以滿足不同業(yè)務(wù)場景的數(shù)據(jù)應(yīng)用和分析需求;

5. 負(fù)責(zé)開發(fā)并優(yōu)化ETL、數(shù)據(jù)處理過程,設(shè)計(jì)并實(shí)現(xiàn)分布式計(jì)算任務(wù),搭建高效的數(shù)據(jù)處理分析流程,確保數(shù)據(jù)處理和分析的準(zhǔn)確性和時效性;

6. 負(fù)責(zé)數(shù)據(jù)中臺體系建設(shè)、優(yōu)化數(shù)據(jù)模型、分層等數(shù)據(jù)產(chǎn)品,確保數(shù)據(jù)質(zhì)量,對數(shù)據(jù)模型等數(shù)據(jù)項(xiàng)目進(jìn)行策略分析,提出改進(jìn)建議,推動數(shù)據(jù)治理和數(shù)據(jù)價值的最大化;

7. 關(guān)注大數(shù)據(jù)技術(shù)及人工智能的最新發(fā)展,持續(xù)學(xué)習(xí)并引入新技術(shù),提升團(tuán)隊(duì)的技術(shù)水平和創(chuàng)新能力。

任職要求:

1. 本科及以上學(xué)歷,計(jì)算機(jī)相關(guān)專業(yè),3年以上經(jīng)驗(yàn);

2. 掌握hadoop和hive以及Hadoop生態(tài)系統(tǒng)及MR/Spark計(jì)算框架,能熟練使用spark、Hadoop、hive、flink

3. 掌握數(shù)大數(shù)據(jù)管理工具的使用并進(jìn)行數(shù)據(jù)處理操作及數(shù)據(jù)存儲;

4. 掌握Hue、Jupyter、Shell工具的使用,能夠編寫復(fù)雜的shell腳本;

5. 掌握SQL/HQL基本語法,能夠編寫SQL進(jìn)行數(shù)據(jù)源整理、數(shù)據(jù)清洗等;

6. 掌握python/Java/Scala/R任意一種數(shù)據(jù)分析編程語言;

7. 掌握Sqoop、DataX等命令行操作以及常用數(shù)據(jù)庫和文件系統(tǒng)間數(shù)據(jù)傳輸配置以及HDFS分布式文件系統(tǒng);

8. 工作積極主動,有良好的團(tuán)隊(duì)合作精神,能夠承受較強(qiáng)的工作壓力,接受不定期出差及駐場開發(fā);

9. 具有機(jī)器學(xué)習(xí)算法方面工作經(jīng)驗(yàn)者優(yōu)先。

工作地點(diǎn)

中國電信(甘肅萬維公司)

職位發(fā)布者

李女士/人力資源主管

立即溝通
公司Logo中電萬維信息技術(shù)有限責(zé)任公司
中電萬維公司成立于1998年10月,是中國電信全資子公司,注冊資金5000萬元,位于蘭州高新技術(shù)產(chǎn)業(yè)開發(fā)園區(qū)。公司主要從事應(yīng)用軟件開發(fā)、系統(tǒng)集成、IT服務(wù)外包、互聯(lián)網(wǎng)運(yùn)營四大業(yè)務(wù)領(lǐng)域,是西北地區(qū)首家通過CMMI5級評估、ITSS一級成熟度評估、ISO20000質(zhì)量體系認(rèn)證、ISO9000質(zhì)量體系認(rèn)證四項(xiàng)國際標(biāo)準(zhǔn)的企業(yè),同時擁有國家計(jì)算機(jī)信息系統(tǒng)集成一級、涉及國家秘密的計(jì)算機(jī)信息系統(tǒng)集成乙級等眾多資質(zhì)證書,是甘肅省企業(yè)技術(shù)中心、高新技術(shù)企業(yè)、中國軟件產(chǎn)業(yè)基地骨干企業(yè)。中電萬維公司依托中國電信強(qiáng)大的基礎(chǔ)資源、技術(shù)資源以及人才資源,長期專注于行業(yè)客戶ICT解決方案提供,業(yè)務(wù)涵蓋政務(wù)云、醫(yī)療云、旅游云、在線服務(wù)、移動應(yīng)用、IDC、物聯(lián)網(wǎng)、人工智能等。具有大量政企行業(yè)成功案例,參與設(shè)計(jì)實(shí)施了眾多省市級電子政務(wù)項(xiàng)目,以及醫(yī)療、旅游信息化建設(shè)項(xiàng)目,有效拉動了當(dāng)?shù)氐男畔⑾M(fèi)和勞動就業(yè),為各地落實(shí)“智慧城市”戰(zhàn)略和“互聯(lián)網(wǎng)+”行動計(jì)劃發(fā)揮著主力軍的作用。隨著市場范圍和業(yè)務(wù)規(guī)模不斷擴(kuò)大,為了能夠更好的為全國客戶提供服務(wù),公司先后在省內(nèi)成立14個市州分公司,省外在北京、西藏、青海、河南成立分公司,在上海、杭州、無錫、成都、天津五地成立研發(fā)中心公司的研發(fā)體系和技術(shù)能力已達(dá)到行業(yè)領(lǐng)域的先進(jìn)水平。公司近年來吸引和培養(yǎng)了一批擁有博士、碩士、學(xué)士學(xué)位及海外留學(xué)回國的優(yōu)秀人才,30%的員工獲得國際或國內(nèi)的中高級認(rèn)證,通過系統(tǒng)分析師、系統(tǒng)架構(gòu)師、高級項(xiàng)目經(jīng)理等認(rèn)證,實(shí)現(xiàn)了人才結(jié)構(gòu)和公司發(fā)展的良好匹配。公司現(xiàn)有員工1800多名,本科及以上學(xué)歷占91%以上。
公司主頁