崗位要求:
1、熟練學(xué)握python語言,包括并不限于python的環(huán)境搭建、開發(fā)、部羅等;
2、熟悉mysgl、redikafka、postgresql并能用python需要連接以上中間件進(jìn)行代碼開發(fā);
3、了解noe4j圖數(shù)據(jù)庫,數(shù)據(jù)庫的語言優(yōu)先考慮;
4、了解大語言模型(LLM),具有用pvthon連接大模型進(jìn)行開發(fā)的及自等廡迅rompt提示工程開發(fā)經(jīng)驗的優(yōu)先考慮;
5、了解容器化以及流水線相關(guān)內(nèi)容;
6、具有大語言模型(LLM或大模型的訓(xùn)練,微調(diào)、部署或評估的實際項目經(jīng)驗優(yōu)先考慮;
7、具有大規(guī)模、高質(zhì)是數(shù)據(jù)標(biāo)注項目的設(shè)計、管理或執(zhí)行經(jīng)驗,熟悉主流標(biāo)注平臺優(yōu)先考慮;
8、具有設(shè)計復(fù)雜模型評估方案(尤其是人工評估)的經(jīng)驗優(yōu)先考慮;
9、熟惡分布式訓(xùn)練框架(如 Deepspeed,FSDp Megatron-LM)或GPU集群管理經(jīng)驗優(yōu)先考慮。
崗位職責(zé):
1、負(fù)責(zé)數(shù)播處理與數(shù)強(qiáng)標(biāo):工作(大模型訓(xùn)練所雨數(shù)據(jù)的采集、清洗等頂處理和質(zhì)量控制,及數(shù)據(jù)標(biāo)注工作);
2、負(fù)責(zé)python相關(guān)的開發(fā)工作;
3、負(fù)責(zé)模型訓(xùn)練與做周工作;
4、負(fù)責(zé)模型評估與優(yōu)化工作;