曾雪峰｜深度强化学习 & 机器人算法工程师

个人简介

具备跨嵌入式、传感器融合、计算机视觉、深度学习与机器人等多领域经验的工程师，曾任智能工业部门总工程师（兼负责人）。具有扎实的感知算法、模型优化与系统工程能力，近一年专注于端到端机器人操作、模仿学习（IL）、深度强化学习（RL）、Isaac Sim/Isaac Lab 仿真，以及机械臂与灵巧手的端到端控制研究。正在自研 MaskedMimic‑Manipulator 项目，用于实现全身抓取动作的端到端模仿学习。

核心技能

机器人 & 强化学习

• Isaac Sim / Isaac Lab（熟练），了解 MuJoCo等仿真环境

• 深度强化学习：熟悉 PPO，了解SAC、DDPG、A3C 等算法，可构建 RL 训练 pipeline（状态/动作建模、奖励设计、训练调优）

• 端到端控制、模仿学习（IL）、RL Fine‑tuning

• 理解多自由度与欠驱动系统动力学特性（灵巧手 / 人形模型）

• SMPL‑X、AMASS、GRAB 模型处理与动作重定向

• VR（Quest 2）远程示教、机械臂与灵巧手控制

深度学习与算法

• Pytorch（熟练）、TensorFlow、MXNet

• 多任务学习、VAE 表征学习、Transformer 结构理解

• 图像检测、目标识别、动作识别、异常检测

• 点云处理（3D LiDAR）

工程能力

• 嵌入式与硬件：工业相机/镜头选型、激光雷达、Jetson 部署

• 编程语言：Python、 C++、C

• 大规模数据管理：数据标注规范制定，数据可视化与版本管理工具开发

• 团队管理：带领小型技术团队，负责项目推进、落地与客户沟通

个人项目

机器人操作与仿真项目（综合）

MaskedMimic‑Manipulator（自研高自由度抓取项目）

• 基于 MaskedMimic 扩展，实现 SMPL‑X 在 GRAB 数据集上的抓取动作模仿

• 结合 IL + RL：支持从模仿学习到 PPO/SAC 强化学习微调

• 支持稀疏约束（partial control），可通过 VR / 局部关节控制完成高自由度抓取

• 自主设计可微奖励函数，避免手指‑物体最近点方向的高开销计算，大幅提升训练效率

• 在 Isaac Sim 构建高自由度控制仿真环境：动力学配置、碰撞建模、观测空间设计

• 已能稳定抓取 hammer、apple 等物体，并具备扩展至放置任务的潜力

• 项目介绍&效果展示： Github 备用站

PHC移植与人形模仿训练

• 将 Zhengyi Luo 的 PHC 项目从 Isaac Gym 适配至 Isaac Sim

• 完成 G1 人形机器人在 AMASS 数据集上的初步模仿学习训练

Sanctuary AI Phoenix 人形机器人（动力学修复 + 控制任务）

• 修复 Phoenix 模型在 Isaac Sim 中的手部肌腱、四肢关节驱动器配置错误

• 完成基于 RGB / RGB‑D 视觉输入的单手方块旋转任务控制

• 实现 Phoenix 的基础行走任务验证

Oculus Quest 2 手势示教 + Franka 机械臂夹取（IL + RL）

• 使用 Quest 2 VR 实现手势/手部位姿识别并实时控制 Isaac Sim 中的 Franka Panda 机械臂

• 基于人工采集的数据进行模仿学习（IL），并进一步进行 RL 微调

• 机械臂在仿真环境中实现 95%+ 自主抓取成功率

工作经历

北京瓦特曼智能科技有限公司｜部门总工程师（兼负责人）

2019 – 2024

负责智能工业领域多个核心产品的技术方案与研发落地，项目已在多家大型工厂部署使用。

主要工作与成果：

• 工业质检设备研发：主导算法与硬件方案，包括图像异常检测、3D检测与定位、工业相机与镜头选型、Jetson 设备模型部署；系统已稳定上线并长期运行

• 全域智慧监控系统设计与研发：基于人体骨架/动作识别、激光雷达 3D 点云处理，实现行为识别与异常检测；在多家工厂大规模部署

• 嵌入式与部署优化：负责模型量化、TensorRT 加速等技术；在 Jetson 平台显著降低推理延迟

• 系统架构设计：负责从感知算法到边缘设备再到后台服务的整体方案

• 技术管理：负责小型技术团队的带领、任务拆解、人员指导

• 客户沟通与现场落地：多次前往工厂进行设备调试、需求探讨与环境适配

北京地平线信息技术有限公司｜算法工程师

2017 – 2019

参与多项自动驾驶感知算法研发，包括 2D/3D 检测、细粒度识别、停车位检测等。

代表性成果：

• 负责 车辆 2D Box 检测模型迭代，从海量数据中挖掘 corner case；制定多套 GT 标注规范

• 主导 车辆细粒度识别多任务模型（3D Box、车牌/车灯检测、车型识别）的网络搭建与调优

• 参与 停车位检测（语义分割 + 2D Box + Keypoint）模型训练与数据标准制定

• 开发 图像质量评估模块，用于 ISP 参数自适应搜索

• 数据工具链建设：基于 MXNet + PostgreSQL + HDFS 构建千万级在线数据迭代器与数据可视化/统计/版本管理工具

上海幻触信息科技有限公司｜算法工程师

2016 – 2017

• 负责 VR 头显 IMU & 磁力计标定（在线与离线）

• 负责头部姿态估计算法的实现与调优（多传感器融合）

杭州氦氪科技有限公司｜嵌入式软件开发实习生

2014.11 – 2016.4

开发 IoT 嵌入式 SDK、小型 NorFlash 文件系统、SmartConfig、PC 端仿真工具等

比赛经历

• 2017｜DiDi & Udacity 无人驾驶全球挑战赛（决赛第八名）

  • 主力开发车辆检测模型训练工具与调优

  • 使用 Tensorflow 复现论文《Multi‑View 3D Object Detection Network》

    • 代码已发布在GitHub并获得495⭐️ Github链接

• 2013｜南京市 Ti 杯大学生电子设计竞赛（无人机组） – 三等奖

• 2013｜南京信息工程大学电子设计竞赛（绘图机组） – 特等奖

教育背景

• 南京信息工程大学滨江学院｜通信工程（本科） 2012– 2016

• 自学课程：

  • Gilbert Strang 线性代数

  • Stanford CS229 / CS231n

  • Udacity 自动驾驶工程师课程

联系方式

• 电话：17717374935

• Email：t-ink@qq.com

• 主页 / GitHub Pages（待补充）