崗位職責(zé):
(1)負(fù)責(zé)NLP通用大語言模型(智慧應(yīng)急與安全生產(chǎn)領(lǐng)域)的設(shè)計(jì)、開發(fā)和優(yōu)化,包括但不限于預(yù)訓(xùn)練、SFT、指令微調(diào)、RLHF、Prompt工程、模型評(píng)估、模型推理等。優(yōu)化和改進(jìn)現(xiàn)有的算法和模型,以提高效果和性能,包括模型的準(zhǔn)確度、速度和內(nèi)存占用等方面。
(2)收集和整理相關(guān)的語料庫和數(shù)據(jù)集,用于訓(xùn)練和評(píng)估模型的性能。進(jìn)行實(shí)驗(yàn)和評(píng)估,驗(yàn)證和改進(jìn)算法和模型的效果。
(3)主導(dǎo)分布式訓(xùn)練系統(tǒng)的設(shè)計(jì)與實(shí)現(xiàn),完成NLP算法在大規(guī)模多模態(tài)數(shù)據(jù)集上的訓(xùn)練與優(yōu)化,推動(dòng)算法高效落地。
(4)跟蹤大語言模型相關(guān)領(lǐng)域的前沿動(dòng)態(tài)研究和探索,并與智能交互應(yīng)用場(chǎng)景相結(jié)合,參與制定系列算法/大模型解決方案。
任職要求:
(1)計(jì)算機(jī)、自動(dòng)化、數(shù)學(xué)等相關(guān)專業(yè),碩士或以上學(xué)歷。
(2)具備扎實(shí)的分布式訓(xùn)練工程經(jīng)驗(yàn),熟悉分布式深度學(xué)習(xí)框架(如PyTorch Distributed、Horovod、TensorFlow TPU)及大規(guī)模模型訓(xùn)練優(yōu)化策略。
(3)具備NLP算法開發(fā)經(jīng)驗(yàn),熟悉主流NLP技術(shù)(如Transformer、BERT、LLM)及多模態(tài)融合方法,有分布式訓(xùn)練實(shí)踐者優(yōu)先。
(4)熟悉數(shù)據(jù)增強(qiáng)與清洗策略,有大規(guī)模多模態(tài)數(shù)據(jù)(圖文對(duì)、視頻-文本、語言指令)處理及訓(xùn)練經(jīng)驗(yàn)者優(yōu)先。