工作職責(zé):
1、負(fù)責(zé)基于大數(shù)據(jù)平臺的數(shù)據(jù)處理和存儲平臺建設(shè);
2、負(fù)責(zé)分布式存儲系統(tǒng)構(gòu)建和智能搜索引擎;
3、負(fù)責(zé)分布式數(shù)據(jù)平臺框架下數(shù)據(jù)系統(tǒng)開發(fā)與新數(shù)據(jù)應(yīng)用開發(fā)架構(gòu)研究;
4、理解用戶數(shù)據(jù)統(tǒng)計、分析和挖掘應(yīng)用場景,抽象為數(shù)據(jù)產(chǎn)品需求,不斷完善基礎(chǔ)數(shù)據(jù)平臺的建設(shè);
5、負(fù)責(zé)大數(shù)據(jù)實施過程中相關(guān)技;術(shù)問題解決,包含數(shù)據(jù)采集、數(shù)據(jù)接入、數(shù)據(jù)遷移、數(shù)據(jù)轉(zhuǎn)換、數(shù)據(jù)安全;
6、完成與工作相關(guān)的技術(shù)文檔編寫工作。
職位要求:
1、具備較強的數(shù)據(jù)敏感度以及數(shù)據(jù)抽象能力;
2、熟悉Java及相關(guān)大數(shù)據(jù)架構(gòu)技術(shù),特別是ES搜索引擎,具備良好的編碼素養(yǎng)和習(xí)慣;
3、熟練掌握至少一種腳本語言,如Python、Shell等;
4、2年以上Hadoop項目或平臺實際研發(fā)經(jīng)驗,如Zookeeper/HDFS/Hive/HBase/Spark/Impala/Gobblin/Flume/Kafka等其中一個或多個 ,以及GreenPlum,圖數(shù)據(jù)庫和搜索引擎;
5、自然語言處理經(jīng)驗,分析文本情感傾向及打標(biāo)簽;
6、強烈的責(zé)任心、積極的思考力、主動作為的習(xí)慣。