工作職責:
將 PyTorch/TensorFlow 等模型轉(zhuǎn)換為 ONNX、TFLite 等格式,并部署到 ARM(如 Jetson)和 X86 平臺。
使用推理引擎(如 TensorRT、OpenVINO、TFLite、ONNX Runtime)完成高效模型加載與運行。
優(yōu)化推理性能:包括量化(INT8/FP16)、多線程并行、內(nèi)存優(yōu)化等。
結(jié)合硬件特點(如 NEON/AVX 指令集)進行平臺級調(diào)優(yōu)。
保證模型在多平臺間輸出一致,解決兼容性差異。
職位要求
熟悉 C++ / Python,掌握基本的跨平臺開發(fā)(如 CMake)。
熟悉至少一種主流推理引擎:TensorRT / OpenVINO / TFLite / ONNX Runtime。
了解 ARM/X86 架構(gòu),有 SIMD 優(yōu)化經(jīng)驗(如 NEON、AVX)。
熟悉常見視覺模型結(jié)構(gòu)(CNN、Transformer)與 OpenCV 圖像處理流程。
有模型壓縮實踐經(jīng)驗(如量化、剪枝、蒸餾)優(yōu)先。
有嵌入式(如 Jetson、Android)或移動端部署經(jīng)驗優(yōu)先。
有完整跨平臺部署項目經(jīng)驗者優(yōu)先