1、3年以上ETL開發(fā)經(jīng)驗,熟練掌握Python編程,熟悉Pandas、NumPy、PySpark等數(shù)據(jù)處理庫。
2、精通SQL,熟悉主流數(shù)據(jù)庫(如MySQL、PostgreSQL、Oracle、Snowflake等)及NoSQL數(shù)據(jù)庫(如MongoDB)。
3、熟悉ETL工具或框架(如Apache Airflow、Informatica、Talend、AWS Glue等),能獨立完成ETL流程設(shè)計。
4、了解數(shù)據(jù)倉庫建模理論(如星型模型、雪花模型)及數(shù)據(jù)治理規(guī)范(如數(shù)據(jù)質(zhì)量、元數(shù)據(jù)管理)。
5、熟悉Linux系統(tǒng)及Shell腳本,具備日志分析、任務(wù)調(diào)度(如Cron、Airflow)等運維能力。 熟練使用Git進行代碼管理,了解CI/CD流程。