研发经验:9年以上 | 1992年 | 手机号/微信: 17717374935 | 邮箱: t-ink@qq.com
具备 9 年以上研发经验,经历覆盖嵌入式、传感器融合、计算机视觉、自动驾驶感知与智能工业系统,曾任智能工业部门总工程师及阶段性负责人。近一年专注机器人学习控制方向,围绕人形与灵巧手完成模仿学习、强化学习、Isaac Sim/Isaac Lab 仿真及 VR 遥操作相关项目开发,已实现 153 自由度人形+灵巧手端到端控制,并具备从数据重定向、物理建模、奖励设计到训练调参与效果展示的完整实践经验。
熟悉learning based control领域的前沿技术进展(端到端(E2E)、分层/多层次控制、人类视频预训练(Imitation from Human Video)、World Model-Based Control、VLA和Diffusion policy等技术)
熟悉Isaac Sim / Isaac Lab,了解 IsaacGym、MuJoCo等仿真环境,了解Sim2Real相关技术
理解PPO、A2C、A3C 等算法
理解多自由度与欠驱动系统动力学特性(灵巧手 / 人形模型)
了解可微物理仿真(Differentiable Physics)相关技术
了解基于图像和3D点云的SLAM技术
深度学习框架:熟悉PyTorch、TensorFlow等深度学习框架的使用和原理
视觉感知:熟悉图像&3D点云的目标检测、语义分割、人体动作识别、异常检测等算法
算法架构:理解课程学习、模型蒸馏、多任务学习、自监督学习、对抗式学习、VAE 表征学习等算法或者架构
模型优化:理解模型量化、裁剪、蒸馏等优化方法
工程落地:具备丰富的工程落地及现场调试经验
机器人系统:熟悉ROS1的使用与实现原理,了解ROS2实现原理
机器人传感器:熟悉2D/3D相机、激光雷达、IMU等传感器的原理和使用
边缘计算:熟悉NVIDIA Jetson平台的使用
编程语言:熟悉Python、 C++、C
大规模数据管理:具有千万级图像处理和管理经验
通过模仿学习 + 强化学习训练实现单个模型端到端的控制人形机器人全身的动作(全身包括灵巧手共153个自由度)
主要工作:
基于 MaskedMimic 开源框架进行扩展开发,将能力从 纯全身模仿(AMASS) 拓展至 人—物交互模仿(GRAB)
构建 GRAB 数据的SMPL-X人形动作重定向与物体对齐流程,实现人类抓取动作到机器人关节空间的映射
修改训练 pipeline 以支持 人—物交互的物理建模与接触模拟
重新设计 reward 结构,引入抓取接触与物体状态约束
结合 预训练 + PPO 强化学习 + 模型蒸馏进行多阶段课程训练
👉 项目介绍与效果展示:
备用站(GitHub):xuefeng-dev.github.io/MaskedMimicPlus
完成将 Zhengyi Luo 的 PHC 项目从Isaac Gym 适配至 Isaac Sim
完成 G1 人形机器人在 AMASS 数据集上的初步模仿学习训练
完成基于 RGB / RGB‑D 视觉输入的单手方块旋转任务控制
基于3D视觉完成Phoenix的带障碍物地面行走训练
基于WebXR完成 Quest2 VR远程遥操功能的开发与调试,可在Isaac Sim中控制Franka Panda机械臂
分别使用模仿学习和强化学习完成Franka机械臂夹取方块的任务
2019.10 – 2024.4
负责智能工业领域多个核心产品的技术方案设计与研发落地,相关系统已在多家大型工厂长期稳定运行。
主要工作:
工业视觉质检系统研发:主导图像异常检测、3D检测与定位算法研发、工业相机/镜头选型与 Nvidia Jetson 平台模型部署
多模态工业监控系统:基于人体骨架识别、动作识别与激光雷达3D点云处理,实现行为识别与异常检测
系统架构设计:负责从感知算法、边缘设备到后台服务的整体技术架构
技术团队带领:负责小型算法团队的技术规划与研发推进
主要成就:
荣获省部级科技奖项《中国有色金属工业科学技术奖》一等奖
作为初创团队成员参与部门技术架构与产品研发体系建设
阶段性担任部门负责人
被提拔为部门总工程师
2017.8 – 2019.9
参与多项自动驾驶感知算法研发,包括 停车位检测、车辆2D/3D 检测、车辆细粒度识别等。
主要工作:
停车位检测:负责车位检测算法模型搭建训练到实车部署全流程研发工作
车辆 2D Box 检测模型迭代:负责从海量数据中挖掘 corner case;制定多套 GT 标注规范
车辆细粒度识别多任务模型:负责(3D Box、车牌/车灯检测、车型识别)的模型优化
数据工具链:基于 MXNet + PostgreSQL + HDFS 构建千万级在线数据迭代器与数据可视化/统计/版本管理工具
主要成就:
荣获2017年部门年度绩效第一名
2016.4 – 2017.3
主要工作:
负责VR头戴设备的IMU & 磁力计标定(在线与离线)
负责头部姿态估计算法的实现与调优(多传感器融合)
主要成就:
独立完成新算法功能的研发
2014.11 – 2016.4
主要工作:
在 MCU 平台移植 Lisp 脚本语言解释器,实现设备端脚本执行能力
设计并实现轻量级 MCU 文件系统,用于设备本地数据存储
主要成就:
作为初创团队成员负责嵌入式软件模块研发
复现论文2D和3D感知融合的车辆3D检测《Multi‑View 3D Object Detection Network》
代码已发布在GitHub并获得495⭐️ Github链接
负责无人机飞控算法设计与调试
负责绘图机构执行机构设计与运动控制算法开发
南京信息工程大学 滨江学院(通信工程 |本科) 2012– 2016