崗位職責(zé):
1. 負責(zé)設(shè)計和開發(fā)大數(shù)據(jù)處理系統(tǒng),包括數(shù)據(jù)采集、清洗、存儲、處理和分析等各個環(huán)節(jié)。
2. 維護現(xiàn)有的大數(shù)據(jù)平臺,確保系統(tǒng)的穩(wěn)定性和高可用性。
3. 對大數(shù)據(jù)處理流程進行性能調(diào)優(yōu),提升數(shù)據(jù)處理效率。
4. 參與數(shù)據(jù)倉庫的設(shè)計與實現(xiàn),構(gòu)建高效的數(shù)據(jù)模型以支持業(yè)務(wù)需求。
5. 制定并實施數(shù)據(jù)質(zhì)量管理策略,確保數(shù)據(jù)的準(zhǔn)確性和一致性。
6. 持續(xù)關(guān)注大數(shù)據(jù)領(lǐng)域的新技術(shù)和新工具,評估其適用性并引入到項目中。
7. 編寫相關(guān)的設(shè)計文檔和技術(shù)文檔,保證項目的可維護性和可擴展性。
任職要求:
1、本科以上學(xué)歷,計算機相關(guān)專業(yè)。
2、3-5年的大數(shù)據(jù)開發(fā)相關(guān)工作經(jīng)驗。
3、熟練掌握Hadoop生態(tài)組件,如HDFS、MapReduce、YARN等;
4、熟悉實時計算框架,如Spark、Flink、Storm等。
5、熟練使用SQL,有較強的數(shù)據(jù)庫操作能力,熟悉Hive、HBase、MySQL等數(shù)據(jù)庫。
6、掌握Python或Java等編程語言。;
7、了解數(shù)據(jù)倉庫設(shè)計原理及方法論,有ETL工具使用經(jīng)驗者優(yōu)先,如Kafka、Flume等。
8、具備良好的溝通能力和團隊協(xié)作精神,強烈的責(zé)任心和抗壓能力,能夠獨立解決問題。
有政府項目工作經(jīng)驗優(yōu)先