工作職責(zé)：
1.對指定的網(wǎng)站進行網(wǎng)頁抓取、數(shù)據(jù)提取、破解反爬策略；
2.負責(zé)多平臺信息抽取、數(shù)據(jù)清洗、入庫、服務(wù)化等研發(fā)和優(yōu)化工作；
3.參與開發(fā)和設(shè)計分布式網(wǎng)絡(luò)爬蟲系統(tǒng)，進行信息的抓取和分析工作；
4.研究優(yōu)化爬蟲算法，提升爬蟲系統(tǒng)的穩(wěn)定性、可擴展性；
5.獨立解決實際開發(fā)過程中碰到的各類產(chǎn)品數(shù)據(jù)需求和接口問題。
任職要求：
1.本科及以上學(xué)歷，計算機相關(guān)專業(yè)，3年以上相關(guān)工作經(jīng)驗；
2.精通網(wǎng)頁抓取原理及技術(shù)，精通正則表達式，熟練從結(jié)構(gòu)化和非結(jié)構(gòu)化的數(shù)據(jù)中獲取信息；
3.精通JAVA/PYTHON語言，熟悉數(shù)據(jù)庫性能優(yōu)化與常見緩存技術(shù)與策略；
4.精通一種開源爬蟲框架，熟悉反爬蟲.驗證碼識別技術(shù)者優(yōu)先；
5.了解互聯(lián)網(wǎng)的常用技術(shù)點.通用技術(shù)解決方案，深入源碼或者開源committer者優(yōu)先；
6.具備優(yōu)秀的邏輯思維能力，對解決挑戰(zhàn)性問題充滿熱情，善于分析問題/解決問題；
7.熟悉APP脫殼、APP逆向反編譯、JS解密逆向等相關(guān)內(nèi)容者優(yōu)先。
加分項：
1）有App端數(shù)據(jù)采集經(jīng)驗
2）有部署Airflow或DolphinScheduler或xxl-job等開源調(diào)度平臺經(jīng)驗
3）有瀏覽器插件采集數(shù)據(jù)經(jīng)驗