中級數(shù)據(jù)工程師
作為中級數(shù)據(jù)工程師，您將負責實施彈性和可擴展的數(shù)據(jù)管道。憑借您多年的經(jīng)驗，您將與數(shù)據(jù)和人工智能、工程和產(chǎn)品團隊的不同支柱合作，以滿足他們的數(shù)據(jù)工程需求。
中級數(shù)據(jù)工程師將承擔以下職責，包括但不限于：
?使用Python或Scala協(xié)助設(shè)計可擴展的轉(zhuǎn)換管道。
?審查初級數(shù)據(jù)工程師完成的開發(fā)工作
?積極參與與業(yè)務(wù)利益相關(guān)者的設(shè)計討論，以了解數(shù)據(jù)需求并開發(fā)滿足其需求的解決方案。
?為大型復雜數(shù)據(jù)集開發(fā)和維護ETL（提取、轉(zhuǎn)換、加載）流程。
?通過實施適當?shù)臄?shù)據(jù)驗證和質(zhì)量控制措施，確保我們數(shù)據(jù)的完整性和準確性。
?成為設(shè)計團隊的一員，與解決方案架構(gòu)師合作，設(shè)計和實施可擴展、可靠和安全的數(shù)據(jù)架構(gòu)。
?監(jiān)控數(shù)據(jù)轉(zhuǎn)換過程，并確定優(yōu)化和改進的機會。
?及時了解最新的數(shù)據(jù)轉(zhuǎn)換技術(shù)和方法，并評估它們對我們組織的適用性。
作為一名經(jīng)驗豐富的中級數(shù)據(jù)工程師，您將擁有：
?計算機科學、工程或相關(guān)領(lǐng)域的學士學位。
?3至5年的數(shù)據(jù)工程經(jīng)驗，重點是使用Python或Scala進行數(shù)據(jù)轉(zhuǎn)換。
?精通Python和相關(guān)數(shù)據(jù)轉(zhuǎn)換庫，如Pandas、Numpy和Scpy。
?具有設(shè)計和開發(fā)可擴展且可靠的數(shù)據(jù)管道的經(jīng)驗。
?對SQL和數(shù)據(jù)庫系統(tǒng)有很強的知識。
?熟悉MongoDB、Cassandra或DynamoDB等NoSQL數(shù)據(jù)庫。
?Apache Spark等分布式計算框架的知識是一種獎勵。
?基于云的數(shù)據(jù)平臺的基本知識，如亞馬遜網(wǎng)絡(luò)服務(wù)（AWS）或Microsoft Azure。
?對數(shù)據(jù)安全和治理最佳實踐的良好理解。
?良好的溝通和協(xié)作技能。
?獨立工作并作為團隊的一部分的能力。