招聘需求:爬蟲工程師(Python)
招聘人數(shù):2人
崗位職責(zé):
1. 負責(zé)高效的數(shù)據(jù)抓取,爬蟲開發(fā)等,從各種網(wǎng)站和數(shù)據(jù)源中提取有價值的數(shù)據(jù)。
2. 負責(zé)對抓取數(shù)據(jù)的清洗、格式化和去噪處理。
3. 參與應(yīng)用程序的設(shè)計、開發(fā)、測試工作。
4. 對數(shù)據(jù)敏感,有良好的邏輯思維和數(shù)據(jù)分析能力。
5. 對數(shù)據(jù)庫進行設(shè)計、優(yōu)化和管理,確保數(shù)據(jù)的安全性和完整性。
任職要求:
1. 熟練掌握 Python 編程,具備良好的編碼風(fēng)格與常見數(shù)據(jù)結(jié)構(gòu)、算法的應(yīng)用能力。
2. 熟悉常見的爬蟲框架和工具,如 Scrapy、BeautifulSoup、Selenium 等。
3. 熟悉常用的數(shù)據(jù)清洗與處理庫,如 Pandas、NumPy 等,能夠高效處理抓取到的海量數(shù)據(jù)。
4. 熟悉常見的 Web 開發(fā)框架(如 Flask、Django)與 RESTful API 設(shè)計。
5. 掌握爬蟲腳本,具有獨立爬取信息的能力。
6. 掌握數(shù)據(jù)庫操作,如 MySQL 等,能夠?qū)ψト〉臄?shù)據(jù)進行存儲和管理。
7. 深入理解常見的反爬蟲技術(shù),如:驗證碼、動態(tài)加載、IP封禁等。
8. 對 AI 大模型有一定了解者優(yōu)先。
工作地點:中海國際中心A座21層