任職要求:
1、掌握Spark基本概念及運(yùn)行機(jī)制,熟悉Spark API、SPARK UDF ,能基于Spark API進(jìn)行開(kāi)發(fā)。
2、熟練使用PySpark對(duì)數(shù)據(jù)進(jìn)行分析和處理。
3、熟悉Linux操作系統(tǒng), 熟悉MySQL、postgresql等數(shù)據(jù)庫(kù)。
4、熟悉HDFS、Hive、SPARK、Hbase、Hudi等生態(tài)組件。
5、具有良好的溝通能力、邏輯分析能力、學(xué)習(xí)能力。