崗位職責:
1、從事大語言模型(LLM)預訓練數(shù)據優(yōu)化、算法研究及模型訓練工作,持續(xù)迭代優(yōu)化模型效果。
2、積極追蹤LLM前沿技術,進行前沿技術落地探索。
崗位要求:
1、碩士及以上學歷,計算機、數(shù)學或統(tǒng)計學等相關專業(yè),三年及以上NLP相關經驗,熟練使用pytorch、tensorflow深度學習框架,熟練掌握Transformer;
2、熟悉分布式3D并行訓練技術,掌握megatron-lm,Deepspeed等常用并行訓練框架;
3、熟練掌握常見的NLP任務,如文本分類、文本匹配、機器翻譯、NER等;
4、對 LLM 有深入理解和實踐,有從0-1預訓練大模型經驗者優(yōu)先;
5、有NLP頂會論文發(fā)表經驗優(yōu)先;
6、具備良好的邏輯思維能力、溝通協(xié)作能力、自我學習能力,求上進,自驅力強;