職位描述：
1、負(fù)責(zé)網(wǎng)絡(luò)爬蟲系統(tǒng)平臺的架構(gòu)設(shè)計與開發(fā)（如抓取調(diào)度，多樣化抓取，頁面解析和結(jié)構(gòu)化抽?。⒓夹g(shù)選型；
2、研究爬蟲策略和防屏蔽規(guī)則，解決封賬號、封IP、驗證碼、混淆加密，算法還原，so層，頁面跳轉(zhuǎn)等難點攻克，提升網(wǎng)頁抓取的效率和質(zhì)量；
3、對抓取后的數(shù)據(jù)進(jìn)行清洗、存儲等，并持續(xù)優(yōu)化平臺，以便滿足各種爬取業(yè)務(wù)需求。
崗位要求：
1. 精通Linux/UNIX，精通Python語言，至少熟練掌握主流爬蟲框架中的一種；
2. 了解各種加密算法，在破解驗證碼方面有豐富經(jīng)驗，能夠獨立解決js反爬和模擬登陸問題；
3. 熟練掌握正則表達(dá)式、XPath、CSS等網(wǎng)頁信息抽取技術(shù)；
4. 熟悉常見反爬機(jī)制，驗證碼識別，IP代理池、應(yīng)用Ip池、headers認(rèn)證和cookie等；
5. 熟練掌握應(yīng)用Selenium、PhantomJS、Splash、Puppeteer實施動態(tài)抓?。?br>6. 熟悉熟練使用charles、fiddler等抓包工具者優(yōu)先；
7. 熟悉數(shù)據(jù)清洗，能夠用numpy、pandas、jieba等工具對數(shù)據(jù)進(jìn)行處理者優(yōu)先;
8. 熟悉mysql、mongodb、redis、rabbitMQ、kafka、spark者優(yōu)先;
9. 對有金融數(shù)據(jù)抓取清洗經(jīng)驗優(yōu)先;


工作時間：
8小時工作制，周一至周五（雙休、國家法定節(jié)假日）。

薪資待遇：
試用期3個月，正式入職工資 10000~12000。
條件優(yōu)異者，工資面議。

職位福利：不加班、周末雙休、年底雙薪