400-885-9898
更新于 2月22日
智聯(lián)APPAPP
舉報(bào)

爬蟲工程師

1-1.5萬
  • 上海浦東新區(qū)
  • 3-5年
  • 本科
  • 全職
  • 招5人

職位描述

PythonJavaScript數(shù)據(jù)采集爬蟲開發(fā)反爬蟲分布式爬蟲Scrapy
一、職位描述：
1、負(fù)責(zé)設(shè)計(jì)和開發(fā)分布式的網(wǎng)絡(luò)爬蟲應(yīng)用，包括調(diào)度、抓取、入庫等內(nèi)容，進(jìn)行互聯(lián)網(wǎng)相關(guān)信息的抓取和分析
2、負(fù)責(zé)實(shí)現(xiàn)大規(guī)模數(shù)據(jù)的抓取、抽取，去重、分類，垃圾過濾，質(zhì)量識(shí)別、解析入庫等工作
3、負(fù)責(zé)對(duì)指定的多個(gè)網(wǎng)站進(jìn)行網(wǎng)頁抓取、數(shù)據(jù)提取、破解反爬策略
4、承接開發(fā)任務(wù)，需求分析，確保按時(shí)按質(zhì)按量完成任務(wù)
5、有良好的溝通和學(xué)習(xí)能力.有較強(qiáng)的團(tuán)隊(duì)協(xié)作能力以及快速解決問題的能力。

二、崗位要求：
1、計(jì)算機(jī)或相關(guān)專業(yè)、具備3年以上項(xiàng)目開發(fā)經(jīng)驗(yàn)；
2、具有scrapy, scrapy-redis開發(fā)經(jīng)驗(yàn)；
3、具有web逆向經(jīng)驗(yàn), 如滑塊驗(yàn)證碼, 瑞數(shù)5代6代
4、熟悉多線程、網(wǎng)絡(luò)編程，精通網(wǎng)頁抓取原理及技術(shù)，精通正則表達(dá)式；?
5、熟悉并熟練應(yīng)用各種常見加密算法；?
6、熟悉至少一種關(guān)系型數(shù)據(jù)庫(MySQL等); 熟悉NoSQL redis mongodb；至少熟悉一種mq, 有過數(shù)據(jù)庫調(diào)優(yōu)和海量數(shù)據(jù)存儲(chǔ)經(jīng)驗(yàn)優(yōu)先；
7、具有工商數(shù)據(jù)、金融數(shù)據(jù)、案件數(shù)據(jù)抓取經(jīng)驗(yàn)者優(yōu)先;?
8、有移動(dòng)平臺(tái)（iOS，安卓）開發(fā)經(jīng)驗(yàn)優(yōu)先；

?

工作地點(diǎn)

中國(guó)人壽金融中心

職位發(fā)布者

郭女士/人事經(jīng)理

今日活躍
立即溝通
上海問道云人工智能科技有限公司
上海問道云人工智能科技有限公司成立于2017年，從事人工智能創(chuàng)新研究，致力于將先進(jìn)的人工智能技術(shù)與行業(yè)應(yīng)用相結(jié)合。用堅(jiān)實(shí)的技術(shù)力量參與人工智能領(lǐng)域的基礎(chǔ)性科學(xué)研究，致力服務(wù)于金融、法律、零售等多個(gè)行業(yè)。
公司主頁