主要職責(zé)：
- 使用 **Spark（Scala）** 開發(fā)和優(yōu)化高性能的大數(shù)據(jù)處理應(yīng)用。
- 設(shè)計(jì)并實(shí)現(xiàn) **ETL 流程**，確保數(shù)據(jù)的準(zhǔn)確性、完整性和高效處理。
- 進(jìn)行 **數(shù)據(jù)建模**，優(yōu)化數(shù)據(jù)存儲(chǔ)和查詢性能。
- 與數(shù)據(jù)科學(xué)家、分析師和業(yè)務(wù)團(tuán)隊(duì)合作，理解需求并交付可靠的數(shù)據(jù)解決方案。
- 維護(hù)和優(yōu)化現(xiàn)有數(shù)據(jù)管道，提升系統(tǒng)穩(wěn)定性和擴(kuò)展性。
- （加分項(xiàng)）使用 **Pyspark、Delta Lake** 進(jìn)行數(shù)據(jù)湖管理。
- （加分項(xiàng)）在 **GCP 或阿里云** 上部署和管理大數(shù)據(jù)服務(wù)。
任職要求：
- **英語流利**（能夠熟練閱讀技術(shù)文檔并進(jìn)行工作溝通）。
- 3年以上大數(shù)據(jù)開發(fā)經(jīng)驗(yàn)，**至少1年 Spark（Scala）實(shí)際項(xiàng)目經(jīng)驗(yàn)**。
- 扎實(shí)的 **ETL 開發(fā)經(jīng)驗(yàn)**，熟悉數(shù)據(jù)清洗、轉(zhuǎn)換和加載流程。
- 熟悉 **數(shù)據(jù)建模**，了解星型模型、雪花模型等數(shù)據(jù)倉(cāng)庫(kù)設(shè)計(jì)方法。
- 熟悉 **SQL** 和分布式計(jì)算框架（如 Spark SQL、Hive）。
- 良好的問題排查和性能優(yōu)化能力。