崗位職責(zé)：

1. 熟悉搜索引擎和網(wǎng)絡(luò)爬蟲相關(guān)技術(shù),有爬蟲系統(tǒng)開發(fā)經(jīng)驗(yàn)；

2. 熟練掌握網(wǎng)頁(yè)抓取原理及技術(shù)，熟悉網(wǎng)頁(yè)解析過(guò)程，具備數(shù)據(jù)的過(guò)濾、清洗、去重、結(jié)構(gòu)化導(dǎo)入經(jīng)驗(yàn)；

3. 熟悉分布式爬蟲應(yīng)用和調(diào)度策略，掌握各類網(wǎng)站的反爬機(jī)制和驗(yàn)證碼機(jī)制；

4. 熟悉TCP/IP協(xié)議及HTTP協(xié)議,了解基本的前端技術(shù)，HTML、CSS、JS、Ajax等；

5. 熟練使用mysql，mongodb等數(shù)據(jù)庫(kù)，熟悉mysql的各種存儲(chǔ)引擎，熟悉索引工作原理。

任職要求：

1. 大學(xué)本科及以上學(xué)歷，計(jì)算機(jī)相關(guān)專業(yè)，基礎(chǔ)扎實(shí)；

2. 具有Python開發(fā)工作經(jīng)驗(yàn)，熟悉Python常用函數(shù)庫(kù)和包；

3. 熟練掌握python，熟悉常用爬蟲框架中的一種或多種，熟悉Scrapy、Pyspider框架中的至少一種；

4. 熟悉MySql、Redis、MongoDB等數(shù)據(jù)庫(kù)，對(duì)SQL優(yōu)化有一定的經(jīng)驗(yàn)；

5.熟悉網(wǎng)頁(yè)抓取原理及技術(shù)，熟練掌握正則表達(dá)式、XPath、CSS等網(wǎng)頁(yè)信息抽取技術(shù)；

6.具有優(yōu)秀的團(tuán)隊(duì)合作和溝通協(xié)作能力，善于學(xué)習(xí)，能承受較大的工作壓力。