更新于 2月4日

爬蟲開發(fā)工程師

5000-10000元
  • 成都錦江區(qū)
  • 經(jīng)驗(yàn)不限
  • 本科
  • 全職
  • 招1人

職位描述

JavaScript爬蟲開發(fā)
工作地點(diǎn):成都錦江區(qū)太古里旁,不打算長期在成都發(fā)展的勿擾
崗位職責(zé):
負(fù)責(zé)公司網(wǎng)站及各類應(yīng)用程序的數(shù)據(jù)爬取工作,設(shè)計并編寫高效、可靠的爬蟲程序;
分析目標(biāo)網(wǎng)站的 JavaScript 代碼,包括混淆和加密邏輯,解讀關(guān)鍵函數(shù)或接口調(diào)用方式;
熟悉瀏覽器調(diào)試方式,能夠分析混淆后的 JS 代碼,包括混淆和加密邏輯,解讀關(guān)鍵函數(shù)或接口調(diào)用方式并實(shí)現(xiàn)自動化調(diào)用;
具備繞過人機(jī)驗(yàn)證、動態(tài)加載腳本等反爬機(jī)制的能力,確保爬蟲的高效性和穩(wěn)定性;
對爬取的數(shù)據(jù)進(jìn)行清洗、處理和存儲,協(xié)助完成數(shù)據(jù)分析工作;
根據(jù)項(xiàng)目需求制定開發(fā)計劃,推動項(xiàng)目按時完成;
負(fù)責(zé)爬蟲系統(tǒng)的日常運(yùn)維、故障排查及功能優(yōu)化;
總結(jié)工作經(jīng)驗(yàn),與團(tuán)隊(duì)分享技術(shù)實(shí)踐,提升團(tuán)隊(duì)整體技術(shù)水平。
技術(shù)要求:
熟練掌握 Python 或其他主流編程語言,熟悉常用爬蟲框架(如 Scrapy、BeautifulSoup、Selenium、Playwright 等);
熟悉 JavaScript,具備分析和理解混淆、加密 JS 代碼的能力,掌握常見解碼方法;
熟悉 HTTP、HTTPS 協(xié)議及其請求頭相關(guān)知識,了解網(wǎng)頁 DOM 結(jié)構(gòu)解析和常見反爬機(jī)制;
熟練使用 AI 輔助編程工具(如 ChatGPT、Cursor、Copilot 等),提升開發(fā)效率;
熟悉瀏覽器調(diào)試工具及腳本調(diào)試方法,能夠繞過前端反調(diào)試和代碼保護(hù)機(jī)制;
熟練使用 API 調(diào)試工具(如 Postman、ApiPost),能夠高效完成接口調(diào)試和測試;
熟練使用 Pandas、NumPy 等工具進(jìn)行數(shù)據(jù)清洗和分析,掌握正則表達(dá)式的使用;
熟悉分布式爬蟲架構(gòu),了解消息隊(duì)列(如 RabbitMQ、Kafka 等)和分布式任務(wù)框架(如 Celery);
掌握多線程、多進(jìn)程編程,了解協(xié)程編程(如 asyncio),具備性能優(yōu)化經(jīng)驗(yàn);
熟悉 Fiddler、CefSharp 等工具的使用,能夠攔截并修改請求或返回內(nèi)容;
了解數(shù)據(jù)脫敏和加密技術(shù),掌握反爬機(jī)制的應(yīng)對方法和合規(guī)開發(fā)流程;
了解機(jī)器學(xué)習(xí)或自然語言處理技術(shù)者優(yōu)先,具備一定的數(shù)據(jù)可視化能力更佳;
有過各類電商網(wǎng)站,新媒體網(wǎng)站爬蟲開發(fā)經(jīng)驗(yàn)者優(yōu)先。
良好的計算機(jī)英文閱讀能力。

工作地點(diǎn)

成都市錦江區(qū)

職位發(fā)布者

席女士/人事經(jīng)理

剛剛活躍
立即溝通
成都泰游趣科技有限公司
泰游趣主要從事泰國旅游資訊和旅游產(chǎn)品銷售業(yè)務(wù),我們擁有自己的官方網(wǎng)站和淘寶店等,同時也在運(yùn)營微信公眾號、小紅書等自媒體平臺,通過長期的積累,目前在各大平臺都已經(jīng)擁有一定的粉絲基數(shù)。從成立至今,我們一直致力于為赴泰游客,提供最新最精準(zhǔn)的旅游咨詢,以及優(yōu)秀的泰國旅游產(chǎn)品。
公司主頁