更新于 3月14日

爬蟲工程師

1-1.2萬·13薪
  • 鄭州二七區(qū)
  • 3-5年
  • 大專
  • 全職
  • 招2人

職位描述

Python數(shù)據(jù)采集爬蟲開發(fā)分布式爬蟲
職位描述:
1、負(fù)責(zé)網(wǎng)絡(luò)爬蟲系統(tǒng)平臺(tái)的架構(gòu)設(shè)計(jì)與開發(fā)(如抓取調(diào)度,多樣化抓取,頁面解析和結(jié)構(gòu)化抽?。?、技術(shù)選型;
2、研究爬蟲策略和防屏蔽規(guī)則,解決封賬號(hào)、封IP、驗(yàn)證碼、混淆加密,算法還原,so層,頁面跳轉(zhuǎn)等難點(diǎn)攻克,提升網(wǎng)頁抓取的效率和質(zhì)量;
3、對抓取后的數(shù)據(jù)進(jìn)行清洗、存儲(chǔ)等,并持續(xù)優(yōu)化平臺(tái),以便滿足各種爬取業(yè)務(wù)需求。
崗位要求:
1. 精通Linux/UNIX,精通Python語言,至少熟練掌握主流爬蟲框架中的一種;
2. 了解各種加密算法,在破解驗(yàn)證碼方面有豐富經(jīng)驗(yàn),能夠獨(dú)立解決js反爬和模擬登陸問題;
3. 熟練掌握正則表達(dá)式、XPath、CSS等網(wǎng)頁信息抽取技術(shù);
4. 熟悉常見反爬機(jī)制,驗(yàn)證碼識(shí)別,IP代理池、應(yīng)用Ip池、headers認(rèn)證和cookie等;
5. 熟練掌握應(yīng)用Selenium、PhantomJS、Splash、Puppeteer實(shí)施動(dòng)態(tài)抓?。?br>6. 熟悉熟練使用charles、fiddler等抓包工具者優(yōu)先;
7. 熟悉數(shù)據(jù)清洗,能夠用numpy、pandas、jieba等工具對數(shù)據(jù)進(jìn)行處理者優(yōu)先;
8. 熟悉mysql、mongodb、redis、rabbitMQ、kafka、spark者優(yōu)先;
9. 對有金融數(shù)據(jù)抓取清洗經(jīng)驗(yàn)優(yōu)先;
工作時(shí)間:
8小時(shí)工作制,周一至周五(雙休、國家法定節(jié)假日)。
薪資待遇:
試用期3個(gè)月
條件優(yōu)異者,工資面議。

獎(jiǎng)金績效

年底13薪

工作地點(diǎn)

河南省鄭州市二七區(qū)大學(xué)路街道大學(xué)路淮河路交叉口古玩城對面寫字樓15層1502-1503

職位發(fā)布者

田女士/人事專員

當(dāng)前在線
立即溝通
鄭州發(fā)明者科技有限公司
公司主頁