職位描述
分布式爬蟲反爬蟲數(shù)據(jù)爬蟲PythonHeritrixHadoopFlask
崗位職責：
1.參與爬蟲項目的架構設計、研發(fā)、編程工作，改進和提升爬蟲效率；
2.負責爬蟲數(shù)據(jù)的分布式存儲設計及代碼實現(xiàn)；
3.負責網(wǎng)頁信息抽取、清洗、消重和結(jié)構化處理等工作；
4.解決各類反爬問題，如字體加密、JS混淆、驗證碼、APP抓包和逆向工程;
5.對爬蟲數(shù)據(jù)進行數(shù)據(jù)處理、分析及匹配。
任職要求：
1.計算機相關專業(yè)，有三年以上 Python 開發(fā)經(jīng)驗，熟練 Python 語言；
2.熟練掌握selenium、html、js、css、xpath、正則表達式等數(shù)據(jù)采集與提取工具；
3.精通常見的反爬蟲技術如字體加密、js混淆、滑塊驗證、點選驗證、app逆向等；
4.精通scrapy爬蟲框架，對分布式爬蟲、海量數(shù)據(jù)采集有深刻理解;
5.熟悉 Django 、Flask等web框架，以及自動化開發(fā)經(jīng)驗者優(yōu)先考慮；
6.能熟練使用Linux、Mongo、ES、Redis、kafka等技術優(yōu)先考慮；
7.有激情和責任心，積極主動，具有良好的團隊協(xié)作、對外溝通能力，有良好的自學能力。提供 Github 或者博客地址，有開源項目貢獻者優(yōu)先考慮
1.參與爬蟲項目的架構設計、研發(fā)、編程工作，改進和提升爬蟲效率；
2.負責爬蟲數(shù)據(jù)的分布式存儲設計及代碼實現(xiàn)；
3.負責網(wǎng)頁信息抽取、清洗、消重和結(jié)構化處理等工作；
4.解決各類反爬問題，如字體加密、JS混淆、驗證碼、APP抓包和逆向工程;
5.對爬蟲數(shù)據(jù)進行數(shù)據(jù)處理、分析及匹配。
任職要求：
1.計算機相關專業(yè)，有三年以上 Python 開發(fā)經(jīng)驗，熟練 Python 語言；
2.熟練掌握selenium、html、js、css、xpath、正則表達式等數(shù)據(jù)采集與提取工具；
3.精通常見的反爬蟲技術如字體加密、js混淆、滑塊驗證、點選驗證、app逆向等；
4.精通scrapy爬蟲框架，對分布式爬蟲、海量數(shù)據(jù)采集有深刻理解;
5.熟悉 Django 、Flask等web框架，以及自動化開發(fā)經(jīng)驗者優(yōu)先考慮；
6.能熟練使用Linux、Mongo、ES、Redis、kafka等技術優(yōu)先考慮；
7.有激情和責任心，積極主動，具有良好的團隊協(xié)作、對外溝通能力，有良好的自學能力。提供 Github 或者博客地址，有開源項目貢獻者優(yōu)先考慮
工作地點
浦江2162浦東南路2162號3樓C座
相似職位
- 靜安區(qū)人口信息采集員G101095000-6000元
上海 - 靜安
上海東浩人力資源有限公司 - 數(shù)據(jù)專員8000-10000元·13薪
上海 - 松江
上海迪孚人力資源服務有限公司 - 數(shù)據(jù)采集文員6000-8000元
上海 - 浦東
起治環(huán)境科技(上海)有限公司 - 數(shù)據(jù)采集工程師2-2.5萬·15薪
上海 - 浦東
上海騰道信息技術有限公司 - 數(shù)據(jù)處理6000-10000元
上海 - 楊浦
上海測慧信息科技有限公司 - 網(wǎng)絡數(shù)據(jù)采集員8000-12000元·13薪
上海 - 楊浦
上?？频贤Q(mào)易商行
熱門公司推薦
- 霸王茶姬招聘
- 肯德基招聘
- 順豐招聘
- 美團招聘
- 京東招聘
- 餓了么招聘
- 比亞迪招聘
- 中國一汽招聘
- 北京汽車招聘
- 蔚來招聘
- 東風汽車招聘
- 長城汽車招聘
- 奇瑞汽車招聘
- 理想汽車招聘
- 長鑫存儲招聘
- 天江藥業(yè)招聘
- 藍月亮招聘
- 安踏招聘
- TCL招聘
- 海信招聘
- 聯(lián)想招聘
- ?？低曊衅?/a>
- 寧德時代招聘
- 中興招聘
- 新松招聘
- 京東方招聘
- 申通招聘
- 圓通招聘
- 中通招聘
- 百世物流招聘
- 德邦物流招聘
- 麥當勞招聘
- 星巴克招聘
- 海底撈招聘
- 蜜雪冰城招聘
- 瑞幸招聘
- 雀巢招聘
- 騰訊招聘
- 百度招聘
- 快手招聘
- 字節(jié)跳動招聘
- 新華網(wǎng)招聘
- 小米招聘
- 招商銀行招聘
- 中信銀行招聘
- 北京銀行招聘
- 興業(yè)銀行招聘
- 交通銀行招聘
- 建發(fā)集團招聘
- 中國移動招聘
- 中國聯(lián)通招聘
- 中國電信招聘
- 中糧集團招聘
- 國藥控股招聘
- 中廣核招聘
- 中國船舶招聘
- 強生中國招聘
- 匯豐中國招聘
- 宜家招聘
- 立邦中國招聘
- 伊利招聘
- 青島啤酒招聘
- 京港地鐵招聘
- 寶馬招聘
- 小鵬汽車招聘
- 華為招聘
- 特斯拉招聘
- 吉利招聘
- 奔馳招聘
- 海爾招聘
- 美的招聘
- 京東方招聘
- 施耐德電氣招聘
- 德邦物流招聘
職位發(fā)布者
趙艷艷/高級招聘經(jīng)理
剛剛活躍立即溝通
上海騰道信息技術有限公司TENDATA INFO(騰道信息)，國際貿(mào)易B2B電子商務領域的創(chuàng)新者和領導者，全球知名貿(mào)易信息服務商和提供商，“信息創(chuàng)造財富”是TENDATA INFO為客戶創(chuàng)造財富與夢想的動力與起點，TENDATA INFO依靠強大的市場資源優(yōu)勢和卓越的技術團隊，創(chuàng)建了北美、南美、亞、歐、非等五大洲，200多個國家和地區(qū)不斷更新的貿(mào)易渠道，結(jié)合電子商務和傳統(tǒng)國際貿(mào)易，為全球企業(yè)打造了及信息流、資金流、物流的綜合性在線貿(mào)易服務平臺。 TENDATA INFO創(chuàng)新的服務模式和飛快的發(fā)展速度吸引了眾多的國內(nèi)外風險投資商青睞,公司已經(jīng)獲得來自多家國際知名投資商的聯(lián)合注資，公司計劃將在未來2~3年內(nèi)在美國IPO。 05年公司在英國和香港成立了海外分支機構正與國際化的運轉(zhuǎn)模式及先進理念拓展整個全球貿(mào)易電子商務市場，在穩(wěn)步發(fā)展中國市場的同時，向打造成為國際性貿(mào)易信息先導的戰(zhàn)略部署邁出了堅實的步伐。 TENDATA INFO積聚了大批優(yōu)秀的國際貿(mào)易和互聯(lián)網(wǎng)業(yè)界的精英人士，組成了高素質(zhì)、專業(yè)化的管理團隊和互聯(lián)網(wǎng)科研力量。目前我們處于事業(yè)的快速騰飛階段，希望有更多的精英人才加盟！
公司主頁