崗位職責(zé):
1.大模型私有化部署優(yōu)化
2.研究INT8、FP16、BF16、4-bit 量化,降低模型計(jì)算開銷,結(jié)合蒸餾、剪枝進(jìn)行模型壓縮
3.使用LoRA、QLoRA、AdapterFusion實(shí)現(xiàn)高效微調(diào)
4.RAG 系統(tǒng)架構(gòu)設(shè)計(jì)與開發(fā)
任職資格:
1.大模型deepseek、Qwen等的私有化部署經(jīng)驗(yàn)
2.LoRA, QLoRA量化方法的使用經(jīng)驗(yàn)
3.模型的推理監(jiān)控分析工具的使用經(jīng)驗(yàn)
4.熟悉常用的Embeeding模型及使用經(jīng)驗(yàn)
5.熟悉RAGAS評估框架