職位描述:
1、負責(zé)通用多模態(tài)大模型(包括十億、百億參數(shù)量)的設(shè)計、開發(fā)和優(yōu)化，包括但不限于預(yù)訓(xùn)練、跨模態(tài)信息對齊方法探索、SFT、指令微調(diào)、RLHF、Prompt工程、模型評估、模型推理等;
2、負責(zé)大規(guī)模、多模態(tài)數(shù)據(jù)的獲取，清洗和質(zhì)量控制，保障數(shù)據(jù)質(zhì)量和有效性;
3、緊跟業(yè)界大模型、多模態(tài)/語言等方向進展，探密前沿技術(shù)，形成系列算法/大模型解決方案，完成算法團隊研發(fā)落地工作，推動多模態(tài)大模型效果達到行業(yè)領(lǐng)先。
任職要求:
1、碩士及以上優(yōu)先，代碼能力極強者放寬要求;計算機科學(xué)，軟件專業(yè)；
2、精通Transformer、Bert、ViT等深度學(xué)習(xí)理論算法和優(yōu)化；
3、對多模態(tài)大模型訓(xùn)練范式等有深入理解和實踐，有多機多卡大模型訓(xùn)練/大模型微調(diào)/從0到1構(gòu)建多模態(tài)大模型(百億參數(shù)以上)等經(jīng)驗者優(yōu)先；
4、對大模型和生成式AI有濃厚的興趣，對至少一項生成式模型的原埋與應(yīng)用具有深入了解，如GPT4V、LLaVa、MiniGPT4、Stable Difusion、CogVLM、DALL-E等；
5、精通一種或多種編程語言，如python、C語言等，熟練握主流深度學(xué)習(xí)框架Pytorch、Tensorflow等;熟悉Linux系統(tǒng)，了解分布式訓(xùn)練框架，如Deepspeed和Meatron-LM等，并有一定的多機多卡分布式訓(xùn)練經(jīng)驗；
6、具有部署經(jīng)驗，有模型壓縮經(jīng)驗以及端側(cè)部署經(jīng)驗優(yōu)先；
7、具備較強的團隊協(xié)作能力和溝通能力，有較強的學(xué)習(xí)能力和業(yè)務(wù)分析及問題解決能力；