崗位職責(zé)
1.負(fù)責(zé)從多種數(shù)據(jù)源中收集數(shù)據(jù)，并對(duì)數(shù)據(jù)進(jìn)行清洗、預(yù)處理，確保數(shù)據(jù)的準(zhǔn)確性和完整性。
2.對(duì)數(shù)據(jù)進(jìn)行規(guī)范化處理，包括缺失值填充、異常值處理、數(shù)據(jù)轉(zhuǎn)換等。
3.開發(fā)和維護(hù)用于數(shù)據(jù)收集和處理的自動(dòng)化腳本，與數(shù)據(jù)分析團(tuán)隊(duì)協(xié)作，將抽取的數(shù)據(jù)集成到數(shù)據(jù)庫(kù)和儀表板中。
4.了解數(shù)據(jù)爬取方面的最新工具和技術(shù)，并監(jiān)控和排除自動(dòng)化腳本有關(guān)的問(wèn)題，解決錯(cuò)誤并適應(yīng)網(wǎng)站的更改，保證采集程序的正常運(yùn)行。
5.編寫并整理數(shù)據(jù)提取任務(wù)的文檔流程、工作流和方法。
任職要求
1.統(tǒng)招本科及以上學(xué)歷，計(jì)算機(jī)、數(shù)學(xué)、統(tǒng)計(jì)學(xué)等相關(guān)專業(yè)。
2.精通Python語(yǔ)言，熟練使用Requests、Scrapy、Selenium，xpath等爬蟲常用庫(kù)。
3.熟練使用數(shù)據(jù)庫(kù)工具（如sql sever，mysql等），用于數(shù)據(jù)查詢和管理。
4.了解HTML、CSS和JavaScript等前端技術(shù)，用于分析網(wǎng)頁(yè)結(jié)構(gòu)。
5.了解并熟悉各個(gè)電商平臺(tái)的數(shù)據(jù)反爬，比如：京東，天貓，抖音。
6.擁有較強(qiáng)的數(shù)據(jù)處理能力，對(duì)于數(shù)據(jù)清洗（處理缺失值、異常值等）和數(shù)據(jù)轉(zhuǎn)換（如歸一化、標(biāo)準(zhǔn)化、編碼等）等過(guò)程熟練掌握。
7.良好的邏輯分析能力和獨(dú)立思考能力，能夠關(guān)注細(xì)節(jié)，致力于數(shù)據(jù)質(zhì)量。