The Impact You’ll Make in this Role: 1.大模型推理引擎研發(fā):負(fù)責(zé)設(shè)計(jì)與實(shí)現(xiàn)大模型高效推理框架,優(yōu)化計(jì)算圖編譯、算子融合、動(dòng)態(tài)批處理等核心技術(shù),支持千億級(jí)參數(shù)模型的分布式推理任務(wù) 2.國(guó)產(chǎn)化平臺(tái)適配與加速 :主導(dǎo)大模型推理任務(wù)在國(guó)產(chǎn)芯片(如昇騰、寒武紀(jì)、海光)及國(guó)產(chǎn)操作系統(tǒng)平臺(tái)的適配 3.醫(yī)療場(chǎng)景推理優(yōu)化:支持醫(yī)療診療推理、健康交互領(lǐng)域的模型部署,開發(fā)醫(yī)療場(chǎng)景的特異性優(yōu)化策略 Your Skills and Expertise: 1.計(jì)算機(jī)相關(guān)方向碩士以上學(xué)歷,3年C/C++推理引擎開發(fā)經(jīng)驗(yàn) 2.精通TensorRT/ONNXRUNTIME等推理框架,熟悉vLLM/SGLang/Triton等開源項(xiàng)目, 掌握模型量化、算子優(yōu)化、顯存管理等核心推理優(yōu)化技術(shù),熟悉Transformer架構(gòu)及其衍生模型的推理特性(如FlashAttention優(yōu)化) 3.具備昇騰CANN、寒武紀(jì)MLU等國(guó)產(chǎn)平臺(tái)開發(fā)經(jīng)驗(yàn)者優(yōu)先 4.有百億參數(shù)級(jí)模型部署經(jīng)驗(yàn)者優(yōu)先