崗位描述:
1.跟進(jìn)多模態(tài)大模型(VLM)預(yù)訓(xùn)練、SFT、RLHF等技術(shù)，調(diào)研與跟進(jìn)最新進(jìn)展;負(fù)責(zé)多模態(tài)相關(guān)性大模型、多模態(tài)大模型稀疏檢索和稠密模型，多模態(tài)大模型個(gè)性化預(yù)訓(xùn)練方向，以及多模態(tài)大語(yǔ)言模型的訓(xùn)練和推理加速;
2.多模態(tài)大模型個(gè)性化預(yù)訓(xùn)練:研發(fā)個(gè)性化預(yù)訓(xùn)練模型，探索在訓(xùn)練樣本、模型參數(shù)量等維度上scae-up能帶來(lái)的收益，研究在電商搜索場(chǎng)景下，CTR和CVR 模型中用戶動(dòng)線特征的挖掘和應(yīng)用。包括用戶行為模型的獲取、特征設(shè)計(jì)、結(jié)構(gòu)優(yōu)化等個(gè)性化建模;
3.多模態(tài)大模型的訓(xùn)練和推理加速:協(xié)助研窮和開(kāi)發(fā)多模態(tài)大語(yǔ)言模型的加速技術(shù)，包括但不限于量化、剪枝和蒸餾，以及敵據(jù)特征和調(diào)度優(yōu)化;實(shí)現(xiàn)和優(yōu)化多態(tài)大模型推理框架、以提高推理速度和效率;與工程團(tuán)隊(duì)合作，解決機(jī)器學(xué)習(xí)模型在部署過(guò)程中的性能問(wèn)題;多模態(tài)大模型相關(guān)性模型:研發(fā)基于多模態(tài)大模型的相關(guān)性標(biāo)注和評(píng)測(cè)大模型，應(yīng)用到體驗(yàn)實(shí)驗(yàn)評(píng)測(cè)、體驗(yàn)監(jiān)控、離線數(shù)據(jù)標(biāo)注、線上相關(guān)性判斷等方向;多模態(tài)大模型稀疏檢索和稠密模型:研究方向包括不限于:電商詞表生成、多模態(tài)稀疏詞表和稠密表征技術(shù)、LLMS幻覺(jué)緩解等問(wèn)題。

崗位要求:
1.自然語(yǔ)言處理、機(jī)器學(xué)習(xí)、數(shù)據(jù)挖掘、人工智能等相關(guān)專業(yè)的碩士生/博士生;

2.熟悉多模態(tài)/大語(yǔ)言模型的基本原理和相關(guān)算法，如BLIP2、CLIP、GPT、GPT-4等;

3.熟練掌握Tensorflow、Pytorch等深度學(xué)習(xí)框架，扎實(shí)的編程基礎(chǔ)，具備獨(dú)立的算法實(shí)現(xiàn)能力;

4.有LM實(shí)操經(jīng)驗(yàn)，參與過(guò)大模型預(yù)訓(xùn)練，SFT,RLHF等項(xiàng)目者優(yōu)先;

5.良好的邏輯分析能力和數(shù)理基礎(chǔ)，對(duì)算法原理及應(yīng)用有較深入的理解，在人工智能相關(guān)的各類國(guó)際頂級(jí)會(huì)議/期刊中發(fā)表過(guò)論文者優(yōu)先。