【崗位職責(zé)】
1、負(fù)責(zé)大數(shù)據(jù)中臺的架構(gòu)設(shè)計(jì)、開發(fā)和優(yōu)化，支持公司業(yè)務(wù)數(shù)據(jù)化、智能化應(yīng)用。
2、參與大數(shù)據(jù)平臺的數(shù)據(jù)采集、存儲、計(jì)算、分析、治理等相關(guān)模塊的研發(fā)工作。
3、設(shè)計(jì)并優(yōu)化數(shù)據(jù)湖、數(shù)據(jù)倉庫、數(shù)據(jù)資產(chǎn)管理體系，提升數(shù)據(jù)的質(zhì)量和可用性。
4、負(fù)責(zé)大數(shù)據(jù)平臺的性能調(diào)優(yōu)，包括存儲優(yōu)化、計(jì)算優(yōu)化和查詢優(yōu)化。
5、結(jié)合公司業(yè)務(wù)需求，提供數(shù)據(jù)服務(wù)能力，推動數(shù)據(jù)產(chǎn)品的落地。
6、參與大數(shù)據(jù)治理，確保數(shù)據(jù)安全、合規(guī)，并制定數(shù)據(jù)管理規(guī)范。
7、關(guān)注大數(shù)據(jù)技術(shù)發(fā)展趨勢，研究和引入先進(jìn)的大數(shù)據(jù)處理技術(shù)。
【崗位要求】
1、熟練掌握 Hadoop、Spark、Flink 等大數(shù)據(jù)計(jì)算框架，并有實(shí)際開發(fā)和優(yōu)化經(jīng)驗(yàn)。
2、熟悉 Kafka、Pulsar、RabbitMQ 等消息隊(duì)列技術(shù)。
3、熟練掌握 Hive、ClickHouse、HBase、Doris、Flink SQL 等數(shù)據(jù)存儲和分析技術(shù)。
4、熟悉 Flink、Spark Streaming 等流計(jì)算技術(shù)，有實(shí)時(shí)數(shù)據(jù)處理經(jīng)驗(yàn)者優(yōu)先。
5、熟練使用 Python/Java/Scala 等語言進(jìn)行大數(shù)據(jù)開發(fā)。
6、熟悉數(shù)據(jù)治理、數(shù)據(jù)建模、數(shù)據(jù)質(zhì)量管理的方法和工具。
7、具備良好的 SQL 能力，熟悉數(shù)據(jù)倉庫建設(shè)方法論（如 Kimball、Data Vault）。