有實際爬蟲相關(guān)經(jīng)驗者，熟練掌握asyncio，pyppeteer等庫，能熟練采用Git管理源代碼，有Scrapy等框架開發(fā)經(jīng)驗者優(yōu)先！
1.負責(zé)設(shè)計、開發(fā)、維護、重構(gòu)各網(wǎng)站爬蟲程序，包括調(diào)度、抓取、維護、驗證等爬蟲工作；
2.根據(jù)需求完成網(wǎng)站數(shù)據(jù)的抓取，包括模擬登錄，數(shù)據(jù)架構(gòu)設(shè)計等核心工作；
3.完成數(shù)據(jù)的存儲和提取等數(shù)據(jù)庫相關(guān)操作工作；
4.攻克各種反爬手段，結(jié)構(gòu)化提取和內(nèi)容分析，包括數(shù)據(jù)的清洗、分類、存儲等工作。

崗位要求：
1、統(tǒng)招本科及以上學(xué)歷（學(xué)信網(wǎng)核查），計算機科技、軟件工程等相關(guān)專業(yè)；

2、至少掌握 Python/PHP 等編程語言；

3、有實際爬蟲相關(guān)經(jīng)驗者，熟練asyncio，pyppeteer等庫，熟悉框架Scrapy等；

4、對反爬蟲機制有深入研究，驗證碼、IP、用戶名限制等

5、具備一定的數(shù)據(jù)庫相關(guān)知識，MySQL優(yōu)先

6、能熟練采用Git管理代碼。