崗位職責(zé):
1. 負(fù)責(zé)公司數(shù)據(jù)倉庫架構(gòu)設(shè)計與規(guī)劃,根據(jù)業(yè)務(wù)需求和數(shù)據(jù)規(guī)模,確定合適的技術(shù)選型和架構(gòu)模式;
2. 負(fù)責(zé)搭建和優(yōu)化數(shù)據(jù)倉庫,包括數(shù)據(jù)模型的設(shè)計、創(chuàng)建和維護,確保數(shù)據(jù)倉庫的高效性、可擴展性和穩(wěn)定性,以滿足復(fù)雜的數(shù)據(jù)分析和報表需求;
3. 與不同數(shù)據(jù)源進行對接,實現(xiàn)數(shù)據(jù)的抽取、轉(zhuǎn)換和加載(ETL)的過程,保證數(shù)據(jù)準(zhǔn)確、及時地流入數(shù)據(jù)倉庫。
4. 對海量、復(fù)雜的原始數(shù)據(jù)進行深入分析,識別數(shù)據(jù)中的噪聲、缺失值、重復(fù)數(shù)據(jù)等問題,指定并執(zhí)行數(shù)據(jù)清洗策略;
5. 運用數(shù)據(jù)處理技術(shù)和工具,對數(shù)據(jù)進行清洗、轉(zhuǎn)換和格式化操作,確保數(shù)據(jù)質(zhì)量符合數(shù)據(jù)分析和業(yè)務(wù)應(yīng)用的要求;
6. 在數(shù)據(jù)處理過程中,優(yōu)化數(shù)據(jù)處理流程和算法,提高數(shù)據(jù)清洗的效率和準(zhǔn)確性,同時保證數(shù)據(jù)的一致性和完整性;
7. 建立和完善數(shù)據(jù)管理體系,包括數(shù)據(jù)標(biāo)準(zhǔn)、數(shù)據(jù)字典和數(shù)據(jù)安全策略等,確保公司數(shù)據(jù)資產(chǎn)的規(guī)范化管理;
8. 負(fù)責(zé)數(shù)據(jù)的存儲管理,根據(jù)數(shù)據(jù)類型和使用頻率,合理選擇存儲方式和存儲介質(zhì),優(yōu)化存儲結(jié)構(gòu),提高存儲效率;
9. 監(jiān)控數(shù)據(jù)倉庫和數(shù)據(jù)處理系統(tǒng)的運行狀態(tài),及時發(fā)現(xiàn)和解決數(shù)據(jù)異常問題,保障數(shù)據(jù)的可用性和穩(wěn)定性,定期對數(shù)據(jù)進行備份和恢復(fù)冊數(shù),確保數(shù)據(jù)的安全性。
崗位要求:
1. 本科及以上學(xué)歷,計算機科學(xué)、數(shù)學(xué)、統(tǒng)計學(xué)等相關(guān)專業(yè)優(yōu)先;
2. 具備8年以上數(shù)據(jù)開發(fā)相關(guān)經(jīng)驗,有多個數(shù)據(jù)倉庫大家和數(shù)據(jù)處理項目的實踐經(jīng)驗;
3. 精通數(shù)據(jù)倉庫架構(gòu)和設(shè)計原理,熟練掌握hadoop生態(tài)相關(guān)內(nèi)容,至少了解一種其他主流數(shù)據(jù)倉庫技術(shù),能夠獨立完成數(shù)據(jù)倉庫的搭建和優(yōu)化工作;
4. 熟練使用數(shù)據(jù)清洗和處理工具(如python、ETL工具等),熟悉SQL語言,能夠編寫高效的數(shù)據(jù)處理腳本和查詢語句,實現(xiàn)復(fù)雜的數(shù)據(jù)清洗和轉(zhuǎn)換操作;
5. 熟悉數(shù)據(jù)管理相關(guān)技術(shù)和工具,包括數(shù)據(jù)建模工具、元數(shù)據(jù)管理工具等,了解數(shù)據(jù)標(biāo)準(zhǔn)和數(shù)據(jù)安全相關(guān)知識;
6. 良好的團隊合作精神和溝通能力,能夠與不同部門協(xié)作完成項目;
7. 對新技術(shù)和新方法有較強的學(xué)習(xí)能力和熱情,能夠適應(yīng)快速變化的數(shù)據(jù)開發(fā)環(huán)境和業(yè)務(wù)需求;
8. 工作態(tài)度:認(rèn)真負(fù)責(zé),積極向上,主動規(guī)劃進取。