工作职责：

大模型预训练加速

任职要求：

良好的计算机基础和数学基础

良好 python pytorch 开发能力

熟悉数据并行训练原理和通信方式

了解 ViT 等视觉 transformer 模型

加分项：

有 cuda 算子开发经验

了解模型并行、数据并行原理和优化方向

熟悉 mmdetection 架构