十四、具身智能(拔尖英才试点班)方向 — 面试备考指南

十四、具身智能(拔尖英才试点班)方向 — 面试备考指南

14.1 方向概况

具身智能(Embodied Intelligence / Embodied AI)是人工智能从"离身"(disembodied,仅处理符号与文本)走向"具身"(embodied,拥有物理身体并与真实世界交互)的新范式。它的核心命题是:智能并非仅存在于大脑/模型之中,而是在"感知—行动—环境"的持续耦合中涌现的。一个具身智能体(通常是机器人)需要通过传感器感知物理世界,在大脑(决策系统)中形成对世界的理解并作出规划,再通过执行器(电机、关节)作用于世界,并从结果中不断学习。

这一概念与经典的"莫拉维克悖论"(Moravec's Paradox)密切相关:对人工智能而言,推理、下棋等"高层认知"反而不难,而行走、抓握、避障这类看似简单的"身体智能"却异常困难——因为后者依赖海量与物理世界交互中获得的直觉与常识。具身智能正是要补上这一课。

交大在机器人 / 智能制造领域的积淀

上海交通大学是国内机器人研究的重镇之一,为本方向提供坚实支撑:

  • 机械工程学科(A+):在机器人机构学、智能制造、伺服控制方面积累深厚,拥有机械系统与振动全国重点实验室。
  • 机器人研究所:在工业机器人、特种机器人、仿生机器人方向有长期积累;高峰教授团队在重载、足式机器人领域成果突出。
  • 医疗机器人研究院 / 上海交通大学医疗机器人中心:聚焦手术机器人、康复机器人,体现"医工交叉"特色。
  • 电子信息与电气工程学院:在计算机视觉、SLAM、强化学习、多模态感知等"软"方向提供算法底座。
  • 清源研究院、人工智能研究院:布局大模型、具身大模型与世界模型等前沿。

研究前沿(面试高频)

  • 具身大模型 / 机器人基础模型(Robot Foundation Model):以大规模多模态数据预训练,再微调到具体机器人任务。
  • VLA 模型(Vision-Language-Action):将视觉、语言指令直接映射为机器人动作(代表:Google RT-1/RT-2、OpenVLA、PaLM-E)。
  • 世界模型(World Model):让模型在内部"想象"行动后的未来状态,用于规划与 dreaming。
  • Sim-to-Real 迁移:在仿真中训练、迁移到真实机器人,缓解真实数据采集昂贵的问题。

14.2 培养特色

拔尖英才试点班核心培养特色

  • 本博衔接 / 荣誉培养:对标致远荣誉计划体系,强数理、强科研,优秀者可进入加速通道。
  • 硬核交叉:融合机械工程、控制科学、计算机、人工智能、认知科学,强调"既会写算法,也会让机器人动起来"。
  • 一对一导师制 + 实验室轮转:入学即可进入机器人/具身智能实验室参与真实课题(RBL 科研训练)。
  • 软硬一体平台:提供机械臂、足式机器人、视觉伺服平台、仿真集群(Isaac Gym / MuJoCo)等实操资源。
  • 赛事与工程驱动:鼓励参加 RoboMaster、RoboCup、中国机器人大赛及顶会投稿(CoRL、RSS、IROS、ICRA)。
  • 国际化视野:与海外顶尖机器人实验室交流,关注英文论文阅读与英文表达(英文面试占比高)。

14.3 核心知识体系:感知—决策—控制闭环

具身智能的知识版图可以概括为一条"感知 → 决策 → 控制 → 反馈"的闭环。下表给出每个环节的核心知识点,建议面试前对照自查。

闭环环节核心问题关键知识 / 方法
感知(Perception)机器人"看到了 / 感觉到了什么"相机模型与标定、多视图几何、目标检测与分割、深度估计、SLAM 与建图定位、多模态融合(视觉+力觉+ proprioception)
决策 / 规划(Decision)机器人"下一步该做什么 / 怎么走"任务规划、运动规划(RRT / A* / 轨迹优化)、强化学习、模仿学习、大语言模型作规划器、VLA 端到端策略
控制(Control)机器人"如何精确执行动作"运动学正/逆解、PID、模型预测控制(MPC)、阻抗/力控、视觉伺服(VS)、动力学与力矩控制
反馈与学习(Feedback & Learning)机器人"如何越做越好"Sim-to-Real 迁移、域随机化、在线自适应、世界模型、持续学习、人机协作中的意图理解

数理基础

线性代数(矩阵、李群 SE(3))、概率论(贝叶斯滤波)、微积分与最优化、动力学(拉格朗日方程)——是看懂机器人论文的硬通货。

编程与工具

Python / C++、PyTorch、ROS(机器人操作系统)、MuJoCo / Isaac Gym(仿真)、OpenCV、PCL 点云库。

经典理论

运动学/动力学、SLAM、经典控制(PID)、最优控制、强化学习(策略梯度、SAC、PPO)。

前沿方向

具身大模型、VLA、世界模型、Sim-to-Real、多模态感知、人机协作(HRC)。

十四、具身智能方向 — 自我介绍模板(3个版本)

本方向英文面试占比高,建议准备中、英文两套自我介绍并熟练背诵。以下三个模板可据个人经历改写,控制在 1.5–2 分钟(约 280–360 字 / 英文 180–220 词)。

模板一:学术导向型(适合有机器人 / 竞赛 / 编程经历的同学)

各位老师好!我是 XXX,来自 XX 省 XX 市,现被上海交通大学 XX 专业录取。非常荣幸能站在这里申请致远荣誉计划具身智能(拔尖英才试点班)方向。

我对"让机器拥有身体并理解物理世界"这件事着迷已久。高中阶段,我获得过 XX 信息学 / 物理竞赛 XX 奖项,并自学了 Python 与 PyTorch;高二时我用树莓派 + 摄像头搭建了一个循迹小车,第一次体会到"感知—决策—控制"闭环是如何让一台机器"活"起来的。高三寒假,我尝试用强化学习在仿真里训练一个机械臂完成抓取,虽然经历了无数次"抓手抖、掉东西",但 sim-to-real 那一刻的成就感让我坚定了方向。

我的数理基础较为扎实(高考数学 XX、物理 XX),也具备一定的算法与动手能力。我了解到交大在机器人、医疗机器人、智能制造领域有深厚积淀,又有致远荣誉计划本博衔接与导师制的培养土壤——这正是我能"既学算法、又能让机器人真正动起来"的地方。

我的理想是未来投身具身大模型或人机协作研究,让机器人真正走进工厂、医院和家庭。谢谢各位老师!

适用:有竞赛奖项、机器人/编程项目、科研经历的同学。重点突出"硬核成果 + 明确的具身智能兴趣点",用具体项目细节体现真实参与。

模板二:综合素质型(适合全面发展、工程实践与领导力突出的同学)

各位老师上午好!我是 XXX,来自 XX,被上海交通大学 XX 专业录取。能够参与致远具身智能方向的选拔,我感到非常激动。

高中三年,我在学业与综合素质之间努力寻找平衡:数理成绩稳定在年级前列(数学 140+、物理 90+),同时担任校机器人社团社长,带领 12 人的团队从零搭建一台参加 RoboMaster 步兵机器人。那段时间我既写控制代码,也拧螺丝、调 PID 参数——我第一次明白,一个能动的机器人背后是机械、电控、算法无数次的联调。

我选择具身智能,是因为它恰好站在工程与智能的交叉点:它不只要求我会写模型,更要求模型能在一个真实、不确定、会碰撞的世界里可靠工作。致远拔尖英才试点班"软硬一体、本博衔接、导师制"的设计,与我的成长路径高度契合。

我清楚这条路难且长,但我享受把想法变成"会动的实物"的过程。如果有幸入选,我会全力以赴。谢谢!

适用:无竞赛金牌但工程实践丰富、团队协作/领导力突出的同学。突出"完整项目经历 + 抗挫折能力 + 对软硬协同的理解"。

模板三:跨专业转方向型(英文版 · 适合原志愿非机器人但热爱的同学)

Good morning, professors. My name is XXX, currently admitted to the XX program at Shanghai Jiao Tong University. It is a great honor to be here for the Embodied AI (Top Talent Pilot Class) interview.

Although my original major is XX, my true passion has always been building intelligent machines that can physically interact with the world. Two years ago, I taught myself Python and robotics fundamentals. Last summer, I built a small vision-based robotic arm as a self-initiated project: I used a camera to detect objects, wrote a simple closed-loop controller, and made it pick up cubes. That hands-on experience taught me more about the "perception–decision–control" loop than any textbook could.

I realize that to go further, I need a rigorous foundation in mathematics, control theory, and embodied AI — exactly what this pilot class offers through its honors curriculum, lab rotations, and close faculty mentorship. SJTU's strength in robotics and medical robotics makes it, to me, the ideal place to grow.

My goal is to contribute to human-robot collaboration research. I am ready for the challenge. Thank you!

适用:原志愿非机器人/AI,但已通过自学/项目证明兴趣与能力的转方向同学。英文版可应对高占比英文面试;务必口语流利、能即兴展开。

自我介绍要点总结

  • 结构:我是谁 → 亮点(项目/竞赛/成绩)→ 为什么选具身智能(结合交大优势)→ 未来规划 → 致谢。
  • 准备中英文双版,英文版需能脱稿、自然停顿,而非机械背诵。
  • 用"具体项目细节"替代空话:说出你用过什么传感器、什么算法、踩过什么坑。
  • 主动埋"钩子":在自我介绍里提一个你熟悉的方向(如 SLAM / 强化学习),引导老师追问你擅长的领域。
十四、具身智能方向 — 面试真题 20 题(第1–10题)
1 请解释什么是"具身智能(Embodied AI)",它与传统"离身"的人工智能(如大语言模型)有什么本质区别?专业基础
【核心逻辑】

这是本方向的"第一题",考察你对方向本质的理解深度。能讲清"具身性"的哲学与工程含义,比背定义重要得多。

【参考回答】

具身智能指智能体拥有物理身体,通过传感器感知环境、通过执行器作用于环境,并在"感知—行动—环境反馈"的持续耦合中形成智能。代表性载体是机器人。

它与传统"离身"AI(如纯文本训练的大语言模型)的本质区别在三点:

  1. 交互对象不同:离身 AI 只在符号/文本空间里运算,缺乏与物理世界的因果交互;具身智能必须处理真实世界的连续性、噪声、时延与物理约束。
  2. "符号接地"(Symbol Grounding)问题:大语言模型里的"杯子"只是一个 token,没有真实的感官 grounding;具身智能体通过视觉、触觉真正"知道"杯子是什么、能否抓握。这正是哈拿德(Harnad)提出的符号接地问题。
  3. 莫拉维克悖论:高层推理对 AI 相对容易,而行走、抓握等"身体智能"极难——具身智能正是要补齐这部分常识与直觉。

一个有意思的视角:大语言模型可以是具身智能的"大脑"(如用 LLM 作任务规划器),但只有把它装进机器人身体、让它从行动结果中学习,才真正成为具身智能。这也是当前 VLA(视觉-语言-动作)模型兴起的逻辑。

备考提示:能提及"符号接地""莫拉维克悖论""感知-行动闭环"会显著加分;可以举"让机器人把杯子放到桌上"远比"写一段描述杯子的文字"难为例。
2 什么是机器人运动学中的正运动学(Forward Kinematics)和逆运动学(Inverse Kinematics)?为什么逆运动学通常更难求解?专业基础
【参考回答】

正运动学(FK):已知各关节角度 q = [q₁…qₙ],求末端执行器(end-effector)在空间中的位姿(位置+姿态)。常用 DH 参数法建立每个连杆的坐标系,用齐次变换矩阵相乘得到:T⁰ₙ = A₁·A₂·…·Aₙ,末端位姿即由该 4×4 矩阵给出。FK 是确定性的、一对一的函数映射,计算直接。

逆运动学(IK):给定期望的末端位姿 T_des,反求满足该位姿的关节角度 q。IK 远难于 FK,原因有四:

  • 非线性和多解:FK 是矩阵连乘(易);IK 需求解一组非线性三角方程,往往存在多个解(同一位置可由不同"姿势"到达,如人类手够某点可肘朝上或朝下)。
  • 无解情况:目标超出工作空间(workspace)时无解。
  • 奇异性(Singularity):当机械臂处于奇异构型(如完全伸直),雅可比矩阵 J 退化、秩亏,逆解不稳定甚至无法求得。
  • 自由度不匹配:冗余机械臂(DOF > 6)末端位姿固定但关节有无穷多解,需额外优化准则(如最小化能耗、避开奇异)。

求解方法:解析法(对低自由度可闭合解,如牛顿-拉夫森)与数值法(雅可比伪逆迭代:Δq = J⁺Δx,配合阻尼最小二乘 DLS 处理奇异)。工程中常用数值迭代 + 约束优化。

备考提示:能写出 T = A₁…Aₙ 与 Δq = J⁺Δx 这类关键式子即可体现功底;务必讲清"为何难"(多解/奇异/无解),这是区分度所在。
3 请描述具身智能中"感知—决策—控制"闭环,各环节分别承担什么功能?专业基础
【参考回答】

这是具身系统的主链路,可类比人的"眼看—心想—手做—再反馈":

  • 感知(Perception):用相机、激光雷达、IMU、力传感器等获取环境信息,完成目标检测/分割、深度估计、位姿估计、SLAM 定位建图、多模态融合。输出是机器能"理解"的世界状态表示。
  • 决策 / 规划(Decision & Planning):在感知得到的状态上决定"做什么、怎么做"。高层做任务分解(如"把杯子放托盘"→"靠近→抓取→移动→放下"),低层做运动规划(路径、轨迹)。方法涵盖经典规划(RRT/A*)、强化学习、模仿学习,以及用 LLM/VLA 作语义规划器。
  • 控制(Control):把规划出的轨迹转化为电机指令,精确执行。常用 PID、MPC、阻抗/力控、视觉伺服。需处理时延、扰动、建模误差。
  • 反馈(Feedback):执行结果再次被感知,与预期比较,形成闭环;误差用于在线校正或用于学习(RL 的 reward 即来自此闭环)。

关键点:三者不是简单串联而是闭环——控制误差会上抛给决策重规划,感知噪声会要求控制更鲁棒。端到端 VLA 模型则尝试把"感知→决策→控制"压缩进一个网络,但可解释性与安全性仍是开放问题。

备考提示:用"自动驾驶/机械臂抓取"具体例子串起三环节,比纯概念罗列更生动;可点出端到端与传统模块化两种范式的取舍。
4 什么是 SLAM(同步定位与地图构建)?它在具身智能中的作用是什么?请简述基本原理。专业基础
【参考回答】

SLAM指机器人在未知环境中移动时,一边估计自身位姿(定位)、一边构建环境地图(建图)。它之所以是具身智能的基石,是因为"没有定位就没有行动"——机器人必须知道"我在哪、周围环境什么样"才能规划与交互。

基本原理可拆为两大部分:

  • 前端(Front-end / 里程计):从传感器(视觉/激光)提取特征点(如 ORB 特征),通过数据关联(data association)匹配相邻帧,估计相对运动(视觉 VO 或激光 ICP)。
  • 后端(Back-end / 优化):用贝叶斯滤波(EKF-SLAM)或图优化(Graph-based SLAM)融合多帧观测,最小化重投影误差,得到一致的轨迹与地图。核心是一个批量优化问题:min Σ‖观测 − 预测‖²。

闭环检测(Loop Closure)是关键:当机器人回到曾到过的地方,检测并修正累积漂移,否则地图会"飘走"。代表系统:ORB-SLAM(视觉)、Cartographer(激光)、LIO-SAM(激光-惯性融合)。

备考提示:说清"定位与建图相互依赖"这一精髓;能提"前端/后端/闭环检测"和一种具体算法名(如 ORB-SLAM)即可。可延伸谈"语义 SLAM""神经辐射场 NeRF / 3D Gaussian Splatting 建图"等前沿。
5 强化学习如何应用于机器人控制?什么是"稀疏奖励(sparse reward)"问题,有哪些应对方法?专业基础
【参考回答】

RL 在机器人中的应用:把控制建模为马尔可夫决策过程(MDP)——状态 s(观测)、动作 a(关节力矩/速度)、奖励 r、策略 π(a|s)。智能体通过与环境交互最大化累积回报,学到"在什么状态下做什么动作"。典型算法有 SAC、PPO、DDPG。机器人学走路、抓取、 locomotion 都常用 RL。

稀疏奖励问题:真实机器人任务中,只有在成功完成时才给 +1(如"杯子被成功抓起"),过程中几乎全是 0。这导致信用分配(credit assignment)极难——agent 不知道是哪一步导致了成功,学习效率极低甚至学不动。

应对方法:

  • 奖励塑形(Reward Shaping):加入稠密中间奖励(如离目标越近奖励越高),但需小心引入"奖励 hacking"。可用潜在奖励(potential-based)保证最优策略不变。
  • 内在动机 / 好奇心(Curiosity / Intrinsic Motivation):用"预测误差"作为内部奖励,鼓励探索陌生状态。
  • 模仿学习(IL)/ 逆强化学习:用专家示范(如人类示教、动捕)提供稠密信号,再 RL 微调。
  • 课程学习(Curriculum Learning):先学简单子任务,逐步加难。
  • 分层强化学习(HRL):高层定子目标、低层执行,缩短信用分配链。
  • 在仿真中训练 + Sim-to-Real:用仿真提供近乎无限的稠密奖励样本。
备考提示:务必讲清"为何稀疏难"(信用分配);至少说出 reward shaping、curiosity、imitation 三种解法。可提"奖励作弊"风险体现批判性思考。
6 什么是 Sim-to-Real(仿真到现实)迁移?为什么会出现"仿真—现实鸿沟",有哪些缓解策略?专业基础
【参考回答】

Sim-to-Real指先在仿真器(如 MuJoCo、Isaac Gym)中训练策略,再部署到真实机器人。动机很现实:真实机器人数据采集慢、贵、易损坏,而仿真可并行、无限、安全。

鸿沟(Reality Gap)来源:

  • 动力学差异:仿真里的摩擦、质量、阻尼、电机响应是理想化的,与真实物理有偏差。
  • 感知差异:仿真渲染的图像缺乏真实世界的噪声、光照变化、材质细节。
  • 未建模效应:线缆柔性、齿轮 backlash、通信时延等常被忽略。

缓解策略:

  • 域随机化(Domain Randomization):在仿真中随机化摩擦、质量、光照、相机参数等,迫使策略学到对扰动鲁棒的"不变特征"。这是最常用手段(OpenAI 用其训练 Rubik 方块机械手)。
  • 系统辨识(System Identification):用真实数据标定仿真参数,缩小模型误差。
  • 域适应(Domain Adaptation)/ 域对抗训练:对齐仿真与真实的视觉/状态分布。
  • 渐进式 / 混合训练:先仿真后逐步加入真实数据微调(sim-to-real-to-sim)。
备考提示:"域随机化"是必会关键词;能区分"随机化(让模型鲁棒)"与"系统辨识(让仿真更真)"两种思路逻辑更佳。
7 请解释 PID 控制器中比例(P)、积分(I)、微分(D)三个环节各自的作用,为什么纯比例控制会有稳态误差?专业基础
【参考回答】

PID 控制律:u(t) = K_p·e(t) + K_i·∫₀ᵗ e(τ)dτ + K_d·de(t)/dt,其中 e(t) = r − y 为误差(设定值减输出)。

  • 比例 P:u ∝ 当前误差。反应快、提供主要控制力。但纯比例会产生稳态误差:对常见的一类系统(如带恒力负载的位置控制),要达到平衡必须有非零误差来"支撑"输出(u = K_p·e_ss 才能抵消负载),故 e_ss ≠ 0。
  • 积分 I:累积历史误差,只要还有残差就持续增大输出,直到误差被"消为零"——消除稳态误差。代价是可能引入超调与振荡,甚至积分饱和(windup)。
  • 微分 D:正比于误差变化率,提供"阻尼/预测",抑制超调、改善稳定性,但对噪声敏感(需滤波)。

工程上常先整定 P,再加 D 抑制振荡,最后用 I 消残差(如 Ziegler–Nichols 法)。具身机器人中 PID 广泛用于关节位置/速度环,而上层常配 MPC 处理约束。

备考提示:写出 u(t) 公式并解释"P 留残差、I 消残差、D 加阻尼"即可;能举"用 P 控恒力负载留稳态误差"的物理直觉很加分。
8 什么是视觉伺服(Visual Servoing)?基于位置的视觉伺服(PBVS)与基于图像的视觉伺服(IBVS)有何区别?专业基础
【参考回答】

视觉伺服指用视觉反馈闭环来控制机器人运动——相机(眼在手 hand-eye 或眼在外 eye-to-hand)实时提供误差信号,驱动机器人到达期望位姿/构型。

PBVS(Position-Based VS):先从图像估计目标/相机的三维位姿(需已知目标模型与相机标定),在三维空间计算位姿误差 e = (t_des − t, R_des − R),再控制机器人消除误差。

  • 优点:在任务空间直观、路径可预测。
  • 缺点:依赖准确的 3D 重建与标定,位姿估计误差会被直接放大。

IBVS(Image-Based VS):直接在图像特征空间定义误差 e = s* − s(如特征点像素坐标),通过图像雅可比(Interaction Matrix / Image Jacobian)L映射"动作→像素变化",控制使图像特征收敛到目标。即 ė = L·v,求 v = −λL⁺e。

  • 优点:无需精确 3D 重建,对相机标定/建模误差更鲁棒,直接闭环到像素。
  • 缺点:可能出现局部极小值、图像雅可比奇异、特征点出视野(需路径规划配合)。

工程中常采用混合 / 2.5D 视觉伺服折中二者优缺点。

备考提示:核心区分点——PBVS 在"3D 位姿空间"闭环、IBVS 在"2D 图像空间"闭环;能提 Interaction Matrix 体现专业度。
9 What is Embodied AI? Please explain in English. (什么是具身智能?请用英文解释。)英文
【Reference Answer】

Embodied AI refers to artificial intelligence that is situated in a physical body—typically a robot—that can perceive its environment through sensors, reason about it, and act upon it through effectors. Unlike "disembodied" AI such as large language models that only process text, an embodied agent learns and exhibits intelligence through the continuous loop of perception → decision → action → feedback in the real, physical world.

The key idea is symbol grounding: concepts such as "cup" or "grasp" are not merely tokens, but are grounded in real sensory-motor experience. A classic observation is Moravec's Paradox: high-level reasoning is relatively easy for machines, while locomotion and manipulation—things humans do without thinking—are extremely hard. Embodied AI aims to close that gap, enabling robots to perform physical tasks in unstructured, changing environments. Today this field is rapidly advanced by vision-language-action (VLA) models and robot foundation models that map multimodal inputs directly to actions.

(中文注:回答覆盖定义、与离身AI区别、符号接地、莫拉维克悖论、感知-行动闭环、VLA 前沿,足以应对英文概念题。)

备考提示:英文题先给清晰定义,再用 2–3 个关键词(perception-action loop / symbol grounding / Moravec's paradox)展开;发音流畅比用词华丽更重要。
10 Explain the "sim-to-real gap" and how domain randomization helps bridge it. (解释"仿真-现实鸿沟"以及域随机化如何弥合它。)英文
【Reference Answer】

The sim-to-real gap is the mismatch between a simulated environment and the real world, which causes a policy trained in simulation to degrade when deployed on a physical robot. The gap comes from three main sources: dynamics discrepancies (friction, mass, motor response), visual discrepancies (lighting, texture, sensor noise), and unmodeled effects (cable compliance, communication delay).

Domain randomization is the most common remedy: during training we randomly perturb simulator parameters—friction coefficients, object masses, camera poses, lighting, and even dynamics—so that the real world becomes just "one more random instance" of the training distribution. The policy is thus forced to learn features that are invariant to these perturbations, rather than overfitting to one exact simulation. Combined with system identification and domain adaptation, domain randomization enables robust transfer, as demonstrated by systems like OpenAI's Rubik's Cube manipulator.

(中文注:讲清"鸿沟三大来源 + 域随机化让真实世界成为训练分布的一个随机样本"这一核心直觉即可。)

备考提示:英文技术表达要准确:dynamics / visual discrepancies / invariant features;可补一句 system identification 作为对比方案展示知识广度。
十四、具身智能方向 — 面试真题 20 题(第11–20题)
11 如果让你设计一个方案,让机械臂学会"把桌上的杯子放到托盘里",你会怎么做?学术思维
【核心逻辑】

开放设计题,没有唯一答案。考察你能否把模糊任务拆解成"感知—决策—控制"的可执行链路,并体现出对学习方法的选择能力。

【参考回答】

我会分层次来设计:

① 感知层:用 RGB-D 相机检测杯子与托盘,做 6D 位姿估计(如用 Grounding-DINO + 姿态估计算法,或点云配准)。得到杯子和托盘的抓取点/放置点坐标。

② 抓取规划:根据杯子几何与位姿生成抓取姿态(grasp pose),做碰撞检测,避开桌面与托盘壁。

③ 运动规划与控制:用 RRT* / 轨迹优化生成无碰撞路径,底层用关节 PID/阻抗控制执行;接近杯子时用视觉伺服微调,夹爪闭合后做力控防夹碎。

④ 放置:移动到托盘上方、对准、缓降、释放;可加触觉/力矩反馈确认放置成功。

⑤ 学习方式的选择:若仅有少量真实数据,我会用模仿学习(人类示教若干次)快速得到可行策略;若要泛化到不同杯子,则用强化学习 + Sim-to-Real在仿真里大规模训练(域随机化杯子的形状/材质/光照),再迁移。也可走端到端 VLA:输入"把杯子放托盘"的语言指令和图像,直接输出动作序列。

⑥ 失败处理:加入异常检测(抓取失败、杯子滑动),触发重规划或求助。

备考提示:体现出"模块化 vs 端到端""IL vs RL vs VLA"的方法权衡,比只给一种方案更显功力;务必提到 Sim-to-Real 与失败恢复。
12 具身大模型 / 机器人基础模型(Robot Foundation Model)面临的最大挑战是什么?你如何理解"世界模型"在其中的作用?学术思维
【参考回答】

最大挑战——数据:与 NLP/CV 拥有互联网级文本/图像不同,机器人真实交互数据极其昂贵且异构(不同本体、不同任务、不同传感器)。这使得"规模化定律"难以直接复制。当前做法:海量仿真数据 + 多机器人数据集(如 RT-1 的 130k 片段、Open X-Embodiment)+ 跨本体协同训练来弥补。

其他挑战:安全性与可解释性(物理动作有真实后果)、实时性(大模型推理时延)、因果与泛化(在未见场景是否真懂而非记忆)。

世界模型(World Model)的作用:世界模型让智能体在内部学习一个"环境动力学"的隐式/显式模型,能预测"如果采取某动作,下一状态会怎样"。其价值在于:

  • 在内部想象中规划:不必每次都真机试错(节省成本、避免危险),如 Dreamer 系列在 latent space 里 rollout。
  • 提升样本效率:用预测误差作为内在奖励,促进探索。
  • 视频/潜空间生成作为"梦":如 Genie、JEPA 思路,从观测中学到紧凑的世界表征。

简言之,世界模型是把"试错从真实世界搬到模型内部"的关键,是通向样本高效、可规划的具身智能的核心路径。

备考提示:"数据稀缺"与"世界模型用于内部规划/提升样本效率"是两个得分点;能提 Open X-Embodiment、Dreamer、JEPA 等具体工作更显前沿视野。
13 为什么多模态感知对具身智能至关重要?仅靠视觉(单模态)会有哪些局限?学术思维
【参考回答】

具身智能要在一个真实、物理的世界上行动,而视觉只是信息的一种投影,远不足以支撑可靠交互。多模态融合(视觉 + 深度 + 力/触觉 + 本体感知 + 听觉)之所以关键,是因为:

  • 深度与尺度歧义:单张 2D 图像无法可靠判断物体距离与大小(同像素可对应近小或远大物体)。需深度相机/双目/激光补足几何。
  • 遮挡与视角:视觉会被遮挡,力觉/触觉能"感受"看不见的接触状态——如插孔装配(peg-in-hole)靠视觉几乎无法对准缝隙,必须靠力控/触觉。
  • 材质与物理属性不可见:视觉看不出物体是软是硬、滑不滑、多重——这些直接影响抓取力度,需触觉/力矩感知。
  • 接触与力是行动的核心信号:抓握成功与否、是否被推走,力反馈最直接;纯视觉只能间接推断。
  • 动态与安全性:与人协作时,力矩/接近传感器能即时检测碰撞并急停,视觉时延高、易漏检。

一句话:视觉回答"是什么/在哪",力觉/触觉回答"怎么安全地作用"——二者缺失任一方,具身智能都无法在真实世界可靠工作。

备考提示:用"peg-in-hole 装配""易碎品抓取"等例子说明"视觉的盲区";点出多模态融合中的"早期/晚期融合""跨模态对齐"可作为延伸。
14 在人机协作(HRC)场景中,机器人如何"理解"人类的意图?有哪些技术路径?学术思维
【参考回答】

人机协作中"理解意图"本质是从人类的可观测信号推断其目标/下一步动作,技术路径可分为:

  • 轨迹/运动预测:用人体姿态估计(如 OpenPose、ViTPose)+ 时序模型(LSTM/Transformer)预测人手/身体的运动趋势,机器人据此避让或配合。
  • 力 / 触觉意图:当人推/拉机器人时,力矩传感器直接读出人的作用方向与大小,实现"示范即指令"(kinesthetic teaching),或共享控制(shared control)。
  • 凝视 / 手势 / 语音:视线估计指向"关注对象",手势/自然语言给出高层指令(结合 VLA 模型理解"把那个递给我")。
  • 模仿学习 / 示教(LfD):人示范一遍,机器人学其策略;配合意图识别可在协作中动态调整。
  • 共享自治与意图推断(Bayesian intent inference):把"人的意图"建模为隐变量,用观测(轨迹、力)在线推断最可能目标,机器人据此辅助。

安全是底色:协作机器人需力限(power & force limiting)、速度监控、碰撞检测兜底。前沿方向是"意图驱动的共享控制"——人定目标、机器人补细节,最大化默契与效率。

备考提示:强调"意图是隐变量、需从多信号推断"这一本质;能区分"力觉直读"与"轨迹预测推断"两种层次体现深度。
15 什么是 VLA(Vision-Language-Action)模型?它与传统机器人控制方法有什么不同?专业基础
【参考回答】

VLA 模型是一类端到端的具身策略:输入视觉观测(图像/视频)+ 语言指令(如"把红色方块放到左边"),直接输出机器人动作(关节角度/末端速度/离散动作 token)。代表工作:Google 的 RT-1、RT-2,以及开源的 OpenVLA、PaLM-E(把动作也当作一种"模态 token")。

与传统方法的区别:

  • 架构:传统是"模块化流水线"(检测→规划→控制,各模块独立设计);VLA 用单一大模型把三者压缩进一个网络。
  • 语义 grounding:VLA 借助预训练语言/视觉大模型,天然理解"红色方块""左边"这类语义,无需为每个物体单独写检测器;传统方法需人工定义特征与规则。
  • 泛化与少样本:VLA 可零样本/少样本迁移到新物体、新指令(得益于大模型的世界知识);传统方法换任务常需重编程。
  • 代价:VLA 需大量多模态数据与算力,推理时延、可解释性、安全性仍是落地难点;传统模块化方法可控、易调试、实时性好。

趋势是" hybrid":用 VLA 作高层语义规划,传统控制作底层精确执行。

备考提示:必会关键词 Vision-Language-Action、端到端、语义 grounding、RT-2/OpenVLA;点出"大模型推理时延与安全性"体现工程权衡意识。
16 什么是模型预测控制(MPC)?它相比 PID 有什么优势与代价?专业基础
【参考回答】

MPC(Model Predictive Control)是一种基于模型的最优控制:在每个时刻,用系统模型在有限时域(horizon)内预测未来状态,求解一个优化问题(最小化跟踪误差 + 控制代价),只执行第一步,下一时刻滚动重优化(receding horizon)。优化目标常含约束:

min Σ (‖x_k − r‖²_Q + ‖u_k‖²_R) s.t. x_{k+1}=f(x_k,u_k), u_min ≤ u ≤ u_max

相对 PID 的优势:

  • 显式处理约束:力矩上限、关节限位、避障约束可直接写进优化——PID 无约束概念,易超限。
  • 多变量 / 耦合:天然处理 MIMO 系统与前馈;PID 多单回路、耦合需额外解耦。
  • 预测性:提前对干扰/设定变化做出反应,跟踪更平滑。

代价:计算开销大(需实时求解优化,对嵌入式硬件挑战),依赖较准确的模型(模型误差需鲁棒 MPC 处理),调参维度更高。

工程中常见搭配:底层 PID 关节环 + 上层 MPC 轨迹跟踪;或 NMPC(非线性 MPC)用于足式机器人动态步态。

备考提示:写出滚动优化 + 约束这一精髓;对比维度用"约束处理/多变量/计算代价"三点最清晰。可提 robust / nonlinear MPC 展示广度。
17 What are VLA (Vision-Language-Action) models and why are they important for robotics? (什么是VLA模型,为何对机器人重要?)英文
【Reference Answer】

VLA models are end-to-end embodied policies that take visual observations and a language instruction (e.g., "pick up the red cup") as input and directly output robot actions (joint angles, end-effector velocities, or discrete action tokens). Examples include Google's RT-1 / RT-2 and the open-source OpenVLA.

They matter for robotics for three reasons. First, semantic grounding: by building on pretrained vision-and-language models, a VLA already understands concepts like "red" or "left", so we no longer hand-engineer a detector and rules for every object. Second, generalization: thanks to the world knowledge of large models, VLAs can follow novel instructions and handle unseen objects in a zero-/few-shot manner. Third, simplicity of the stack: a single model replaces the traditional modular pipeline of detection → planning → control.

Of course, challenges remain—real-time inference latency, safety, and interpretability. The practical trend is a hybrid: a VLA for high-level semantic planning, with classical control (PID/MPC) for precise low-level execution.

(中文注:覆盖定义、代表模型、三大价值——语义接地/泛化/端到端,以及 hybrid 趋势。)

备考提示:英文回答用 First/Second/Third 结构清晰;结尾的 hybrid 趋势显示你不盲信端到端,有工程权衡意识。
18 你为什么选择具身智能(拔尖英才试点班)方向?相比计算机科学 / 人工智能普通班,它吸引你的地方是什么?综合素质
【参考回答】

坦诚地说,我对 AI 和 CS 都有兴趣,但具身智能对我有独特吸引力,原因有三:

第一,它把"智能"落到真实世界。纯算法在屏幕里跑通不等于能解决问题——只有让机器人真的抓起杯子、避开行人,才算闭环。我喜欢这种"看得见、摸得着"的反馈,也享受软硬件联调时那种综合挑战。

第二,它逼我成为"交叉型"而不是"单科型"人才。具身智能要求同时懂控制理论、机器人学、计算机视觉、强化学习和机械基础。这种广度正是拔尖英才试点班"软硬一体"培养的设计初衷,也契合我想要的成长方式。

第三,交大的平台不可替代。交大在机械工程(A+)、机器人研究所、医疗机器人研究院的积淀,加上致远荣誉计划的本博衔接与导师制,让我能在真实实验室里从第一天就接触机器人本体,而不是只写仿真。这是很多纯 CS 项目给不了的。

所以我的定位是:以具身智能为根基,AI 是我的工具而非终点——我希望做出能真正在物理世界里帮人的机器人。

备考提示:避免贬低 CS/AI(显得狭隘);最佳策略是"承认了解、清晰阐述为何具身更契合自己",并点出与交大平台的具体关联。
19 (压力测试)如果面试官直接告诉你:"根据今天的表现,我们认为你并不适合具身智能方向。"你会如何回应?压力测试
【核心逻辑】

压力题考察情绪稳定、自我认知与韧性。没有"正确回答",关键是冷静、理性、不卑不亢。

【参考回答】

(保持镇定,不急于辩解)

首先,我会尊重各位老师的判断。但我想诚恳请教:老师们觉得我具体在哪方面还不足?是数理基础、动手实践,还是对方向的理解深度?这样即使今天没被录取,我也清楚下一步该补什么。

同时我也想表达:我对具身智能的兴趣不是一时兴起。从自学搭建循迹小车、到用强化学习训练机械臂抓取,这些经历让我确信这条路值得走。如果今天暂时不合适,我不会放弃——我会先在现有专业把数理与控制基础打牢,参加机器人社团和竞赛积累项目经验,未来通过校内二次选拔或研究生阶段再次争取进入这个方向。

对致远/拔尖英才试点班来说,我理解它要的是既有潜力又有定力的人。今天的结果或许说明我还不到位,但我对具身智能的追求不会因为一次面试而改变。

备考提示:体现三特质——情绪稳定(不崩、不赌气)、理性(追问具体原因)、韧性(有备用路径)。切忌当场反驳或过度自我贬低。
20 具身智能研发往往"重投入、高风险、周期长"——机器人贵、实验易失败、论文难出。你对此有心理准备吗?如果长期没有成果,你会怎么办?综合素质
【参考回答】

我不仅有心理准备,而且认为这正是具身智能的魅力所在——它的门槛和难度,恰好是它不可替代价值的一部分。

关于"长期没成果",我的应对框架是:

  1. 树立正确的成果观:机器人研究的"失败"大多是有信息量的——硬件炸了说明结构/控制要改,抓取失败暴露了感知或力控的短板。我把每次失败当成定位问题的诊断,而非否定。
  2. 拆小目标、设里程碑:不指望一步到位,而是把大目标切成可验证的小节点(先让臂动起来→能避障→能抓固定物→能抓未知物),每达成一个就有正向反馈,避免长期"空转"。
  3. 用仿真放大试错效率:在仿真里低成本迭代,把真机留给关键验证,既省钱又加快节奏——这也缓解"周期长"的焦虑。
  4. 保持记录与复盘:实验日志能让我看清是方法问题还是执行问题;必要时主动与导师沟通调整方向,而非硬扛。

我清楚自己选的是一条长跑赛道。短期发不出论文会有压力,但比起"轻易得到的成果",我更在意是否真的在让机器理解物理世界这件事上往前挪了一小步。这份定力,我准备好了。

备考提示:面试官看重"问题解决框架"而非"保证不出问题"。用"失败有信息量 + 拆里程碑 + 仿真提效 + 主动求助"闭环回应,比拍胸脯更可信。
十四、具身智能方向 — 专业背景知识梳理与备考策略

专业背景知识梳理

下面按"经典理论 → 前沿方向"给出面试高频知识地图,建议对照自查、查漏补缺。

(一)机器人学基础

  • 运动学:DH 参数、齐次变换、正/逆运动学、雅可比矩阵(速度级 IK、奇异)。
  • 动力学:拉格朗日方程、牛顿-欧拉递推、惯性/科氏/重力项,力矩控制基础。
  • 经典控制:PID(比例消差靠积分、微分阻尼)、根轨迹/频域初步、稳定性直觉。
  • 最优/预测控制:LQR、MPC(滚动优化+约束)、NMPC。

(二)感知与定位

  • 相机模型与标定:针孔模型、内外参、畸变、RGB-D。
  • SLAM:前端 VO/ICP、后端图优化、闭环检测;激光/视觉/多传感器融合(LIO)。
  • 多模态感知:目标检测/分割、6D 位姿估计、点云(PCL)、触觉/力觉融合。

(三)决策与学习

  • 运动规划:A*、RRT/RRT*、轨迹优化、步态规划。
  • 强化学习:MDP、策略梯度、PPO/SAC、稀疏奖励、模仿学习(IL/LfD)、Sim-to-Real。
  • 具身大模型 / VLA:RT-1/RT-2、OpenVLA、PaLM-E;世界模型(Dreamer、JEPA);数据集(Open X-Embodiment)。
  • 视觉伺服:PBVS vs IBVS、Interaction Matrix。

(四)人机协作与安全

  • 共享控制、意图推断(贝叶斯)、力限与碰撞检测、协作安全规范。

交大相关优势平台(面试可引用)

  • 机械工程 A+ 学科、机械系统与振动全国重点实验室
  • 机器人研究所(足式/工业/仿生机器人)
  • 医疗机器人研究院 / 医疗机器人中心(手术、康复机器人)
  • 电子信息与电气工程学院(CV、SLAM、RL 算法)
  • 人工智能研究院 / 清源研究院(大模型、世界模型)
  • 致远荣誉计划本博衔接、导师制、ZIRC 创新研究中心

备考策略与资源

报名前(现在 — 7月31日)
核心:材料 + 知识框架
· 精修自荐信(突出数理 + 机器人/编程项目 + 与具身方向的匹配)
· 整理竞赛/项目/专利证明材料(附项目照片或 demo 视频链接)
· 系统复习:运动学正逆解、PID、SLAM 概念、强化学习基础
· 每天读 1 篇具身智能前沿(RT-2、OpenVLA、世界模型相关报道)
8月1日 — 8月3日(材料筛选期)
核心:面试准备
· 中英文自我介绍各定稿,反复练习(≥10 遍,录音纠发音)
· 熟读本资料 20 题,理解每题"核心逻辑"而非死背
· 准备 2–3 个自己的"项目故事"(做了什么、踩了什么坑、学到什么)
· 在自我介绍里埋"钩子"引导老师追问你擅长的方向
8月4日 — 面试当日
核心:模拟冲刺 + 心态
· 找同伴做 ≥1 次全真模拟(含英文提问环节、正装、计时)
· 准备"被问到不会的问题"的应对话术(诚实 + 从已知推理)
· 保证睡眠、提前规划路线、提前 30 分钟到场

推荐学习资源

类别资源名称用途
经典教材《机器人学导论》(John J. Craig)运动学、动力学、轨迹规划入门必读
经典教材《现代机器人学:机构、规划与控制》(Lynch & Park)更现代的矩阵李群表述,含视觉伺服
控制理论《Feedback Control of Dynamic Systems》(Franklin)PID、频域、状态空间基础
强化学习《Reinforcement Learning: An Introduction》(Sutton & Barto)RL 圣经,重点看 MDP、策略梯度
公开课CS231n(视觉)/ CS285(深度 RL)/ 交大机器人学 MOOC快速建立算法框架
动手平台ROS、MuJoCo、Isaac Gym、OpenAI Gym本地跑仿真、训练简单控制策略
前沿论文RT-1 / RT-2、OpenVLA、PaLM-E、Dreamer、Open X-Embodiment了解 VLA 与世界模型最新进展
英文提升Robotics: Science and Systems (RSS)、CoRL、IROS、ICRA 会议读摘要/视频,提升学术英语与前沿视野
竞赛RoboMaster、RoboCup、中国机器人大赛工程实践与简历背书
官方信息致远学院官网(zhiyuan.sjtu.edu.cn)、交大机器人所主页获取最新招生政策与导师方向

必知概念速查

正/逆运动学 · 雅可比与奇异 · PID 三环节 · SLAM 前端/后端/闭环 · 强化学习稀疏奖励 · Sim-to-Real 与域随机化 · VLA · 世界模型 · MPC 约束 · 视觉伺服 PBVS/IBVS

必知代表工作

RT-1/RT-2(Google VLA)· OpenVLA(开源)· PaLM-E · Dreamer(世界模型)· Open X-Embodiment(数据集)· ORB-SLAM · MuJoCo/Isaac Gym(仿真)

必知交大平台

机械工程 A+ · 机器人研究所 · 医疗机器人研究院 · 电院(CV/RL)· 人工智能研究院 · 致远本博衔接/导师制

英文高频题

What is Embodied AI? · Explain sim-to-real gap & domain randomization · What are VLA models? · Why is multimodal perception important?

面试 Do's & Don'ts

  • Do:结论先行再展开;遇到不懂诚实承认并尝试从已知推理;用具体项目细节体现真实参与;主动引导到擅长方向。
  • Don't:不懂装懂(对专家撒谎是大忌);背诵式回答;贬低其他专业;只说"不知道"而放弃思考过程;因压力题情绪失控。

让智能拥有身体,让机器理解世界——

具身智能,是 AI 走向真实世界的下一程。

愿你在致远,造出真正能动的智能。

返回二次选拔

本站为独立信息整理平台,并非学校招生官网,未获学校招生代理授权。招生要求与时间以学校官方最新通知为准。

RELATED

相关文章

同一栏目下的其他内容

山东大学 · 泰山学堂二次选拔

山东大学 · 泰山学堂

泰山 计算机科学取向 · 新生入学二次选拔 · 面试备考指南 面试形式与核心考察点 · 30 道专业面试真题(含参考回答) 专业背景知识 · 自我介绍模板 · 备考技巧 · 附录 基础学科拔尖学生培养试验计划(珠峰计划)

阅读全文 →