職位職責(zé)
? 負(fù)責(zé)大模型數(shù)據(jù)的進(jìn)行收集、獲取、預(yù)處理、挖掘等工作。
? 整合海量多維數(shù)據(jù),進(jìn)行全站數(shù)據(jù)挖掘,構(gòu)建數(shù)據(jù)畫像體系、數(shù)據(jù)知識體系,并搭建全站核心數(shù)據(jù)資產(chǎn)管理平臺。
? 針對不同的模型算法的特點(diǎn),設(shè)計和實現(xiàn)相應(yīng)的數(shù)據(jù)處理流程,優(yōu)化模型訓(xùn)練效果。
? 負(fù)責(zé)應(yīng)用各種機(jī)器學(xué)習(xí)、深度學(xué)習(xí)等工具,對訓(xùn)練的數(shù)據(jù)質(zhì)量的篩選。
? 負(fù)責(zé)大模型訓(xùn)練數(shù)據(jù)的存儲、管理和備份,確保數(shù)據(jù)的安全可靠。
任職資格
? 本科及以上學(xué)歷,5年以上開發(fā)經(jīng)驗,計算機(jī)、數(shù)學(xué)統(tǒng)計大數(shù)據(jù)等相關(guān)專業(yè)。
? 熟練掌握python、shell、SQL 等語言,具有一定數(shù)據(jù)特征經(jīng)驗。
? 了解NLP大語言模型基礎(chǔ)知識,熟悉傳統(tǒng)的的機(jī)器學(xué)習(xí)與深度學(xué)習(xí)技術(shù)。
? 較強(qiáng)的溝通能力和邏輯表達(dá)能力,
? 具備良好的團(tuán)隊合作精神和主動溝通意識
? 具備良好的數(shù)據(jù)分析能力與邏輯思維能力,能夠獨(dú)立的解決問題。
? 了解的大數(shù)據(jù)存儲與處理技術(shù),如:HIVE,spark,有數(shù)據(jù)清洗經(jīng)驗優(yōu)先。
? 有爬蟲經(jīng)驗的優(yōu)先。