職位介紹
崗位職責(zé):
1、負(fù)責(zé)爬蟲、逆向相關(guān)技術(shù)的研究和實(shí)現(xiàn)工作,如小程序破解、分布式爬蟲、驗(yàn)證碼破解、反爬機(jī)制的研究等;
2、設(shè)計(jì)爬蟲策略和防屏蔽規(guī)則,提升抓取的效率和質(zhì)量;
3、負(fù)責(zé)公司爬蟲的核心算法以及策略優(yōu)化,熟悉采集系統(tǒng)的調(diào)度策略;
4、負(fù)責(zé)現(xiàn)有部分爬蟲的完善、維護(hù)工作,實(shí)時(shí)監(jiān)控爬蟲的進(jìn)度和警報(bào)反饋,提升爬蟲系統(tǒng)穩(wěn)定性、可擴(kuò)展性;
5、能獨(dú)立解決實(shí)際開發(fā)過程碰到的各類問題。
任職資格:
1、本科及以上學(xué)歷,計(jì)算機(jī)相關(guān)專業(yè),4年及以上爬蟲逆向經(jīng)驗(yàn);
2、熟練使用Git、Devops等平臺(tái)工具,熟悉JS逆向、驗(yàn)證碼破解、圖像識(shí)別等技術(shù);
3、精通Python語言,具有扎實(shí)的計(jì)算機(jī)基礎(chǔ)和編程能力,熟悉常見的算法與數(shù)據(jù)結(jié)構(gòu),具有優(yōu)秀的邏輯思維能力;
4、熟悉常見的反爬機(jī)制,并對(duì)反爬具有一定的應(yīng)對(duì)措施策略且有一定研究;
5、熟悉Mysql,redis,有過數(shù)據(jù)庫調(diào)優(yōu)和海量數(shù)據(jù)存儲(chǔ)經(jīng)驗(yàn)優(yōu)先;
6、熟悉常用網(wǎng)絡(luò)協(xié)議、數(shù)據(jù)存儲(chǔ)和數(shù)據(jù)處理技術(shù);
7、熟悉linux系統(tǒng)環(huán)境、命令,shell、python腳本編寫;
8、對(duì)爬蟲技術(shù)有鉆研精神。
上海 - 浦東
上海 - 靜安
上海財(cái)聯(lián)社金融科技有限公司上海 - 浦東
上海 - 楊浦
上海 - 浦東
上海問道云人工智能科技有限公司上海 - 浦東