公司简介
“汇聚未来”云端求贤
1. 负责端侧(手机/驾舱/智能硬件)大模型的部署,包括但不限于框架开发,算子优化,硬件适配,
2. 负责端侧大模型的前沿优化技术调研与落地,
3. 参与模型、系统与硬件的协同优化与联合设计。
1. 熟悉 linux,熟悉C/C++/Python,具有良好的编程风格;
2. 熟悉主流的 LLM,VLM 模型架构以及常用的 LLM 优化技术,例如Continous-Batching, Speculative-Decoding, Quantization 等;
3. 熟悉至少一款主流的推理引擎框架,如 llama.cpp、MNN、vLLM、TensorRT;
4. 熟悉 OpenCL、CUDA 等并行编程;
5. 有异构系统开发经验,熟悉 QualComm NPU 开发流程;
6. 有系统顶会(OSDI、NSDI、MLSys)一作者优先。