崗位職責(zé):
1.負(fù)責(zé)具身智能方向的多模態(tài)大模型研發(fā),包括視覺、語音、機(jī)器人控制等多模態(tài)感知與認(rèn)知決策模塊的聯(lián)合建模;
2.設(shè)計(jì)、訓(xùn)練和優(yōu)化具備語言、圖像、動(dòng)作、環(huán)境狀態(tài)等多模態(tài)預(yù)訓(xùn)練模型,推動(dòng)模型的性能和泛化能力提升;
3.探索和研發(fā)多模態(tài)與動(dòng)作決策的對(duì)齊機(jī)制,提升模型在真實(shí)機(jī)器人環(huán)境中的任務(wù)規(guī)劃與控制能力;
4.與機(jī)器人平臺(tái)團(tuán)隊(duì)協(xié)作,實(shí)現(xiàn)模型的實(shí)際部署,進(jìn)行仿真與真實(shí)環(huán)境下的驗(yàn)證與迭代優(yōu)化;
5.跟蹤國際前沿技術(shù)與學(xué)術(shù)成果(如PaLM-E、RT-X、SayCan、Gato、VIMA、MineDojo等),及時(shí)推動(dòng)最新研究成果在團(tuán)隊(duì)內(nèi)部的技術(shù)轉(zhuǎn)化。
任職資格:
1.計(jì)算機(jī)科學(xué)、人工智能、機(jī)器人學(xué)或相關(guān)領(lǐng)域碩士及以上學(xué)歷;
2.具備扎實(shí)的深度學(xué)習(xí)、多模態(tài)學(xué)習(xí)、強(qiáng)化學(xué)習(xí)等相關(guān)理論基礎(chǔ);
3.有過多模態(tài)模型的訓(xùn)練經(jīng)驗(yàn)(如LLaVA,QwenVL, InternVL, PaliGemma等);
4.有過多模態(tài)數(shù)據(jù)集或者測試集的構(gòu)建經(jīng)驗(yàn);
5.熟練掌握PyTorch、Jax等主流深度學(xué)習(xí)框架,有大模型訓(xùn)練經(jīng)驗(yàn)者優(yōu)先;
6.具備優(yōu)秀的編程能力與工程實(shí)現(xiàn)能力,能獨(dú)立快速搭建原型并迭代;
7.較強(qiáng)的英文文獻(xiàn)閱讀和分析能力,能夠跟蹤和轉(zhuǎn)化前沿科研成果。
優(yōu)先考慮:
1.熟悉機(jī)器人仿真環(huán)境和平臺(tái)(如MuJoCo、Isaac Gym、Habitat、PyBullet等);
2.發(fā)表過NeurIPS、ICLR、CVPR、ICRA等領(lǐng)域頂級(jí)會(huì)議或期刊論文;
3.具備實(shí)際機(jī)器人平臺(tái)部署經(jīng)驗(yàn)(機(jī)械臂、移動(dòng)機(jī)器人、服務(wù)機(jī)器人等);
4.開源過相關(guān)領(lǐng)域的代碼或工具。
5.有機(jī)器人操作學(xué)習(xí)(如模仿學(xué)習(xí)、強(qiáng)化學(xué)習(xí)、BC等)相關(guān)經(jīng)驗(yàn),或參與過多模態(tài)(視覺-語言-動(dòng)作)VLA預(yù)訓(xùn)練大模型研發(fā)者優(yōu)先。