崗位職責:
1、 ETL流程開發(fā):設(shè)計、開發(fā)和優(yōu)化ETL流程,確保數(shù)據(jù)從多個源系統(tǒng)正確抽取、清洗、轉(zhuǎn)換并加載到目標數(shù)據(jù)庫中。
2、 StarRocks項目支持:參與StarRocks數(shù)據(jù)倉庫項目的ETL開發(fā)工作,協(xié)助構(gòu)建高效的數(shù)據(jù)流和數(shù)據(jù)管道。
3、 ETL工具開發(fā)與優(yōu)化:使用主流ETL工具(如Kettle、Datastage、Airflow等)開發(fā)和優(yōu)化ETL任務(wù),提升數(shù)據(jù)處理效率和穩(wěn)定性。
4、 數(shù)據(jù)平臺開發(fā):參與大數(shù)據(jù)平臺(如Databricks、Dataphin等)的開發(fā)和配置,確保平臺能夠支持大規(guī)模數(shù)據(jù)的處理。
5、 編寫開發(fā)文檔:編寫ETL開發(fā)相關(guān)的文檔,包括需求分析、技術(shù)方案、開發(fā)說明和用戶手冊等,確保開發(fā)過程有明確的文檔支持。
6、 技術(shù)支持與故障排查:負責ETL相關(guān)問題的分析和解決,優(yōu)化系統(tǒng)性能,確保數(shù)據(jù)流的穩(wěn)定性。
任職要求:
1、 有StarRocks項目落地經(jīng)驗;
2、 熟悉阿里云產(chǎn)品及服務(wù);
3、 熟悉地產(chǎn)行業(yè)數(shù)據(jù)需求;
4、 熟悉數(shù)據(jù)倉庫和商業(yè)智能項目的實施方法;
5、 精通主流關(guān)系型數(shù)據(jù)庫,如SQL Server、Oracle、PostgreSQL、MySQL等;
6、 精通Databricks、Dataphin等大數(shù)據(jù)開發(fā)平臺;
7、 熟練使用主流ETL及調(diào)度工具,如Kettle、Datastage、Azkaban、Airflow等;
8、 精通HiveSQL、Spark SQL、Flink SQL等大數(shù)據(jù)開發(fā)語言;
9、 熟練掌握至少一種編程語言(如Python、Shell、Perl等);
10、具備良好的邏輯分析、溝通和解決問題的能力。
工作時間:早9晚6,繳納社保公積金
人力資源服務(wù)許可認證
人力資源服務(wù)許可證是由國家人力資源與社會保障相關(guān)部門頒發(fā),代表人才經(jīng)紀人所在企業(yè)可以合法開展人力資源相關(guān)業(yè)務(wù)的資質(zhì)證件。展示該標簽代表該企業(yè)發(fā)布此職位時已上傳《人力資源服務(wù)許可證》或《人力資源服務(wù)備案證書》并經(jīng)由平臺審驗通過。
廣州 - 天河
上海欽誠信息科技有限公司廣州 - 天河
浙江邦芒企業(yè)服務(wù)有限公司廣州 - 海珠
上海欽誠信息科技有限公司廣州 - 天河
上海欽誠信息科技有限公司廣州 - 越秀
廣州 - 天河