崗位要求:
1. 負(fù)責(zé)設(shè)計開發(fā)爬蟲系統(tǒng)以及優(yōu)化爬蟲策略,進(jìn)行多平臺信息的抓取和分析
2. 設(shè)計爬蟲策略和防屏蔽規(guī)則,完成對復(fù)雜網(wǎng)站信息抓取
3. 參與業(yè)務(wù)功能需求探討,數(shù)據(jù)分析處理落地,并提供后端接口
任職資格:
1、熟練使用python,熟練爬蟲開發(fā),熟練使用scrapy、selenium開源框架,1年及以上python爬蟲經(jīng)驗;
2、熟練常見反爬機(jī)制,IP代理池、headers認(rèn)證和cookie等;
3、對HTTP協(xié)議及HTML有深入理解,精通正則,xpath等,熟練從結(jié)構(gòu)化和非結(jié)構(gòu)化的數(shù)據(jù)中獲取信息;
4、積極主動,愿意接受挑戰(zhàn),抗壓性強(qiáng)。