1、研发分布式训练加速方案,优化ZeRO/FSDP/Pipeline并行策略,提升千亿参数模型训练吞吐量;
2、设计混合精度训练与显存优化方案,开发自适应梯度压缩、通信优化模块,实现单卡训练模型规模提升和降低分布式训练通信开销
开发量化压缩工具链(支持GPTQ/AWQ等算法),实现模型8/4-bit无损量化部署;
3、设计多GPU推理调度策略,优化显存碎片管理与计算资源利用率;
4、跟进vLLM/TensorRT-LLM/SGLang等前沿框架,探索MoE架构/稀疏化训练等新型范式,将最新学术成果快速落地到工程实践。
职位要求:
1、计算机科学/人工智能方向硕士及以上,3年LLM系统优化经验;
2、精通PyTorch/TensorFlow框架底层机制,具备CUDA/C 内核开发能力;
3、掌握Megatron-LM/DeepSpeed/HuggingFace生态核心原理;
4、有千亿参数模型训练优化或百万QPS推理服务落地经验;
5、熟悉NVIDIA GPU架构与性能分析工具;
6、熟悉大模型推理服务架构设计与微服务化部署。



-
IT服务·系统集成
-
500-999人
-
股份制企业
-
越城区曲屯路398号联合大厦16层