崗位職責(zé):
1.深入行業(yè),訓(xùn)練行業(yè)大模型。
2.主導(dǎo)業(yè)務(wù)模型開(kāi)發(fā),業(yè)務(wù)模型分析等。
3.研發(fā)人工智能在行業(yè)的落地場(chǎng)景。
任職要求:
統(tǒng)招本科以上學(xué)歷,數(shù)學(xué)/統(tǒng)計(jì)學(xué)相關(guān)專(zhuān)業(yè),3-5年以上開(kāi)發(fā)工作經(jīng)驗(yàn),
1. 大模型微調(diào)和分布式訓(xùn)練:
具備對(duì)開(kāi)源大型預(yù)訓(xùn)練模型如BERT、GPT、XLNet等進(jìn)行微調(diào)的能力,以及在分布式環(huán)境中訓(xùn)練模型的實(shí)踐經(jīng)驗(yàn)。
能夠合理設(shè)置和調(diào)整關(guān)鍵訓(xùn)練參數(shù),如學(xué)習(xí)率、批大小、epochs等,以優(yōu)化模型性能和訓(xùn)練效率。
熟練使用分布式訓(xùn)練框架,如Horovod、DeepSpeed等,以加速模型訓(xùn)練過(guò)程。
2. 算法設(shè)計(jì)和實(shí)現(xiàn):
具備獨(dú)立設(shè)計(jì)和實(shí)現(xiàn)機(jī)器學(xué)習(xí)和深度學(xué)習(xí)算法的能力,能夠根據(jù)項(xiàng)目需求設(shè)計(jì)和調(diào)整模型架構(gòu),解決特定的NLP任務(wù)。
對(duì)Transformer架構(gòu)有深入理解,包括自注意力機(jī)制和位置編碼,能夠根據(jù)任務(wù)需求調(diào)整模型結(jié)構(gòu)。
對(duì)BERT和其變體有深入理解,能夠進(jìn)行有效的預(yù)訓(xùn)練模型微調(diào),以適應(yīng)特定的NLP任務(wù)。
3. 廣泛的模型和算法知識(shí):
了解并熟練應(yīng)用常用的機(jī)器學(xué)習(xí)、深度學(xué)習(xí)模型和算法,包括它們的用途和適用場(chǎng)景。
能夠根據(jù)項(xiàng)目需求選擇合適的模型和算法,并進(jìn)行調(diào)優(yōu)以解決特定的業(yè)務(wù)問(wèn)題。
熟練掌握的模型和算法包括但不限于線性回歸、邏輯回歸、SVM、KNN、前饋神經(jīng)網(wǎng)絡(luò)、CNN、RNN、LSTM等。
4. 大模型開(kāi)發(fā):
具有自然語(yǔ)言處理、檢索增強(qiáng)生成、智能代理等領(lǐng)域的理論基礎(chǔ)和實(shí)踐經(jīng)驗(yàn)。
了解常用