南开大学2026级本科新生二次选拔通知(附二次选拔项目一览表)
南开大学 2026年官方招生简章文字版,本站已归档 PDF 原件,正文摘自官方简章,可按招生区域、报名条件、选拔程序、录取规则快速检索。
阅读全文 →
具身智能(Embodied Intelligence / Embodied AI)是人工智能从"离身"(disembodied,仅处理符号与文本)走向"具身"(embodied,拥有物理身体并与真实世界交互)的新范式。它的核心命题是:智能并非仅存在于大脑/模型之中,而是在"感知—行动—环境"的持续耦合中涌现的。一个具身智能体(通常是机器人)需要通过传感器感知物理世界,在大脑(决策系统)中形成对世界的理解并作出规划,再通过执行器(电机、关节)作用于世界,并从结果中不断学习。
这一概念与经典的"莫拉维克悖论"(Moravec's Paradox)密切相关:对人工智能而言,推理、下棋等"高层认知"反而不难,而行走、抓握、避障这类看似简单的"身体智能"却异常困难——因为后者依赖海量与物理世界交互中获得的直觉与常识。具身智能正是要补上这一课。
上海交通大学是国内机器人研究的重镇之一,为本方向提供坚实支撑:
具身智能的知识版图可以概括为一条"感知 → 决策 → 控制 → 反馈"的闭环。下表给出每个环节的核心知识点,建议面试前对照自查。
| 闭环环节 | 核心问题 | 关键知识 / 方法 |
|---|---|---|
| 感知(Perception) | 机器人"看到了 / 感觉到了什么" | 相机模型与标定、多视图几何、目标检测与分割、深度估计、SLAM 与建图定位、多模态融合(视觉+力觉+ proprioception) |
| 决策 / 规划(Decision) | 机器人"下一步该做什么 / 怎么走" | 任务规划、运动规划(RRT / A* / 轨迹优化)、强化学习、模仿学习、大语言模型作规划器、VLA 端到端策略 |
| 控制(Control) | 机器人"如何精确执行动作" | 运动学正/逆解、PID、模型预测控制(MPC)、阻抗/力控、视觉伺服(VS)、动力学与力矩控制 |
| 反馈与学习(Feedback & Learning) | 机器人"如何越做越好" | Sim-to-Real 迁移、域随机化、在线自适应、世界模型、持续学习、人机协作中的意图理解 |
线性代数(矩阵、李群 SE(3))、概率论(贝叶斯滤波)、微积分与最优化、动力学(拉格朗日方程)——是看懂机器人论文的硬通货。
Python / C++、PyTorch、ROS(机器人操作系统)、MuJoCo / Isaac Gym(仿真)、OpenCV、PCL 点云库。
运动学/动力学、SLAM、经典控制(PID)、最优控制、强化学习(策略梯度、SAC、PPO)。
具身大模型、VLA、世界模型、Sim-to-Real、多模态感知、人机协作(HRC)。
本方向英文面试占比高,建议准备中、英文两套自我介绍并熟练背诵。以下三个模板可据个人经历改写,控制在 1.5–2 分钟(约 280–360 字 / 英文 180–220 词)。
各位老师好!我是 XXX,来自 XX 省 XX 市,现被上海交通大学 XX 专业录取。非常荣幸能站在这里申请致远荣誉计划具身智能(拔尖英才试点班)方向。
我对"让机器拥有身体并理解物理世界"这件事着迷已久。高中阶段,我获得过 XX 信息学 / 物理竞赛 XX 奖项,并自学了 Python 与 PyTorch;高二时我用树莓派 + 摄像头搭建了一个循迹小车,第一次体会到"感知—决策—控制"闭环是如何让一台机器"活"起来的。高三寒假,我尝试用强化学习在仿真里训练一个机械臂完成抓取,虽然经历了无数次"抓手抖、掉东西",但 sim-to-real 那一刻的成就感让我坚定了方向。
我的数理基础较为扎实(高考数学 XX、物理 XX),也具备一定的算法与动手能力。我了解到交大在机器人、医疗机器人、智能制造领域有深厚积淀,又有致远荣誉计划本博衔接与导师制的培养土壤——这正是我能"既学算法、又能让机器人真正动起来"的地方。
我的理想是未来投身具身大模型或人机协作研究,让机器人真正走进工厂、医院和家庭。谢谢各位老师!
适用:有竞赛奖项、机器人/编程项目、科研经历的同学。重点突出"硬核成果 + 明确的具身智能兴趣点",用具体项目细节体现真实参与。
各位老师上午好!我是 XXX,来自 XX,被上海交通大学 XX 专业录取。能够参与致远具身智能方向的选拔,我感到非常激动。
高中三年,我在学业与综合素质之间努力寻找平衡:数理成绩稳定在年级前列(数学 140+、物理 90+),同时担任校机器人社团社长,带领 12 人的团队从零搭建一台参加 RoboMaster 步兵机器人。那段时间我既写控制代码,也拧螺丝、调 PID 参数——我第一次明白,一个能动的机器人背后是机械、电控、算法无数次的联调。
我选择具身智能,是因为它恰好站在工程与智能的交叉点:它不只要求我会写模型,更要求模型能在一个真实、不确定、会碰撞的世界里可靠工作。致远拔尖英才试点班"软硬一体、本博衔接、导师制"的设计,与我的成长路径高度契合。
我清楚这条路难且长,但我享受把想法变成"会动的实物"的过程。如果有幸入选,我会全力以赴。谢谢!
适用:无竞赛金牌但工程实践丰富、团队协作/领导力突出的同学。突出"完整项目经历 + 抗挫折能力 + 对软硬协同的理解"。
Good morning, professors. My name is XXX, currently admitted to the XX program at Shanghai Jiao Tong University. It is a great honor to be here for the Embodied AI (Top Talent Pilot Class) interview.
Although my original major is XX, my true passion has always been building intelligent machines that can physically interact with the world. Two years ago, I taught myself Python and robotics fundamentals. Last summer, I built a small vision-based robotic arm as a self-initiated project: I used a camera to detect objects, wrote a simple closed-loop controller, and made it pick up cubes. That hands-on experience taught me more about the "perception–decision–control" loop than any textbook could.
I realize that to go further, I need a rigorous foundation in mathematics, control theory, and embodied AI — exactly what this pilot class offers through its honors curriculum, lab rotations, and close faculty mentorship. SJTU's strength in robotics and medical robotics makes it, to me, the ideal place to grow.
My goal is to contribute to human-robot collaboration research. I am ready for the challenge. Thank you!
适用:原志愿非机器人/AI,但已通过自学/项目证明兴趣与能力的转方向同学。英文版可应对高占比英文面试;务必口语流利、能即兴展开。
这是本方向的"第一题",考察你对方向本质的理解深度。能讲清"具身性"的哲学与工程含义,比背定义重要得多。
具身智能指智能体拥有物理身体,通过传感器感知环境、通过执行器作用于环境,并在"感知—行动—环境反馈"的持续耦合中形成智能。代表性载体是机器人。
它与传统"离身"AI(如纯文本训练的大语言模型)的本质区别在三点:
一个有意思的视角:大语言模型可以是具身智能的"大脑"(如用 LLM 作任务规划器),但只有把它装进机器人身体、让它从行动结果中学习,才真正成为具身智能。这也是当前 VLA(视觉-语言-动作)模型兴起的逻辑。
正运动学(FK):已知各关节角度 q = [q₁…qₙ],求末端执行器(end-effector)在空间中的位姿(位置+姿态)。常用 DH 参数法建立每个连杆的坐标系,用齐次变换矩阵相乘得到:T⁰ₙ = A₁·A₂·…·Aₙ,末端位姿即由该 4×4 矩阵给出。FK 是确定性的、一对一的函数映射,计算直接。
逆运动学(IK):给定期望的末端位姿 T_des,反求满足该位姿的关节角度 q。IK 远难于 FK,原因有四:
求解方法:解析法(对低自由度可闭合解,如牛顿-拉夫森)与数值法(雅可比伪逆迭代:Δq = J⁺Δx,配合阻尼最小二乘 DLS 处理奇异)。工程中常用数值迭代 + 约束优化。
这是具身系统的主链路,可类比人的"眼看—心想—手做—再反馈":
关键点:三者不是简单串联而是闭环——控制误差会上抛给决策重规划,感知噪声会要求控制更鲁棒。端到端 VLA 模型则尝试把"感知→决策→控制"压缩进一个网络,但可解释性与安全性仍是开放问题。
SLAM指机器人在未知环境中移动时,一边估计自身位姿(定位)、一边构建环境地图(建图)。它之所以是具身智能的基石,是因为"没有定位就没有行动"——机器人必须知道"我在哪、周围环境什么样"才能规划与交互。
基本原理可拆为两大部分:
闭环检测(Loop Closure)是关键:当机器人回到曾到过的地方,检测并修正累积漂移,否则地图会"飘走"。代表系统:ORB-SLAM(视觉)、Cartographer(激光)、LIO-SAM(激光-惯性融合)。
RL 在机器人中的应用:把控制建模为马尔可夫决策过程(MDP)——状态 s(观测)、动作 a(关节力矩/速度)、奖励 r、策略 π(a|s)。智能体通过与环境交互最大化累积回报,学到"在什么状态下做什么动作"。典型算法有 SAC、PPO、DDPG。机器人学走路、抓取、 locomotion 都常用 RL。
稀疏奖励问题:真实机器人任务中,只有在成功完成时才给 +1(如"杯子被成功抓起"),过程中几乎全是 0。这导致信用分配(credit assignment)极难——agent 不知道是哪一步导致了成功,学习效率极低甚至学不动。
应对方法:
Sim-to-Real指先在仿真器(如 MuJoCo、Isaac Gym)中训练策略,再部署到真实机器人。动机很现实:真实机器人数据采集慢、贵、易损坏,而仿真可并行、无限、安全。
鸿沟(Reality Gap)来源:
缓解策略:
PID 控制律:u(t) = K_p·e(t) + K_i·∫₀ᵗ e(τ)dτ + K_d·de(t)/dt,其中 e(t) = r − y 为误差(设定值减输出)。
工程上常先整定 P,再加 D 抑制振荡,最后用 I 消残差(如 Ziegler–Nichols 法)。具身机器人中 PID 广泛用于关节位置/速度环,而上层常配 MPC 处理约束。
视觉伺服指用视觉反馈闭环来控制机器人运动——相机(眼在手 hand-eye 或眼在外 eye-to-hand)实时提供误差信号,驱动机器人到达期望位姿/构型。
PBVS(Position-Based VS):先从图像估计目标/相机的三维位姿(需已知目标模型与相机标定),在三维空间计算位姿误差 e = (t_des − t, R_des − R),再控制机器人消除误差。
IBVS(Image-Based VS):直接在图像特征空间定义误差 e = s* − s(如特征点像素坐标),通过图像雅可比(Interaction Matrix / Image Jacobian)L映射"动作→像素变化",控制使图像特征收敛到目标。即 ė = L·v,求 v = −λL⁺e。
工程中常采用混合 / 2.5D 视觉伺服折中二者优缺点。
Embodied AI refers to artificial intelligence that is situated in a physical body—typically a robot—that can perceive its environment through sensors, reason about it, and act upon it through effectors. Unlike "disembodied" AI such as large language models that only process text, an embodied agent learns and exhibits intelligence through the continuous loop of perception → decision → action → feedback in the real, physical world.
The key idea is symbol grounding: concepts such as "cup" or "grasp" are not merely tokens, but are grounded in real sensory-motor experience. A classic observation is Moravec's Paradox: high-level reasoning is relatively easy for machines, while locomotion and manipulation—things humans do without thinking—are extremely hard. Embodied AI aims to close that gap, enabling robots to perform physical tasks in unstructured, changing environments. Today this field is rapidly advanced by vision-language-action (VLA) models and robot foundation models that map multimodal inputs directly to actions.
(中文注:回答覆盖定义、与离身AI区别、符号接地、莫拉维克悖论、感知-行动闭环、VLA 前沿,足以应对英文概念题。)
The sim-to-real gap is the mismatch between a simulated environment and the real world, which causes a policy trained in simulation to degrade when deployed on a physical robot. The gap comes from three main sources: dynamics discrepancies (friction, mass, motor response), visual discrepancies (lighting, texture, sensor noise), and unmodeled effects (cable compliance, communication delay).
Domain randomization is the most common remedy: during training we randomly perturb simulator parameters—friction coefficients, object masses, camera poses, lighting, and even dynamics—so that the real world becomes just "one more random instance" of the training distribution. The policy is thus forced to learn features that are invariant to these perturbations, rather than overfitting to one exact simulation. Combined with system identification and domain adaptation, domain randomization enables robust transfer, as demonstrated by systems like OpenAI's Rubik's Cube manipulator.
(中文注:讲清"鸿沟三大来源 + 域随机化让真实世界成为训练分布的一个随机样本"这一核心直觉即可。)
开放设计题,没有唯一答案。考察你能否把模糊任务拆解成"感知—决策—控制"的可执行链路,并体现出对学习方法的选择能力。
我会分层次来设计:
① 感知层:用 RGB-D 相机检测杯子与托盘,做 6D 位姿估计(如用 Grounding-DINO + 姿态估计算法,或点云配准)。得到杯子和托盘的抓取点/放置点坐标。
② 抓取规划:根据杯子几何与位姿生成抓取姿态(grasp pose),做碰撞检测,避开桌面与托盘壁。
③ 运动规划与控制:用 RRT* / 轨迹优化生成无碰撞路径,底层用关节 PID/阻抗控制执行;接近杯子时用视觉伺服微调,夹爪闭合后做力控防夹碎。
④ 放置:移动到托盘上方、对准、缓降、释放;可加触觉/力矩反馈确认放置成功。
⑤ 学习方式的选择:若仅有少量真实数据,我会用模仿学习(人类示教若干次)快速得到可行策略;若要泛化到不同杯子,则用强化学习 + Sim-to-Real在仿真里大规模训练(域随机化杯子的形状/材质/光照),再迁移。也可走端到端 VLA:输入"把杯子放托盘"的语言指令和图像,直接输出动作序列。
⑥ 失败处理:加入异常检测(抓取失败、杯子滑动),触发重规划或求助。
最大挑战——数据:与 NLP/CV 拥有互联网级文本/图像不同,机器人真实交互数据极其昂贵且异构(不同本体、不同任务、不同传感器)。这使得"规模化定律"难以直接复制。当前做法:海量仿真数据 + 多机器人数据集(如 RT-1 的 130k 片段、Open X-Embodiment)+ 跨本体协同训练来弥补。
其他挑战:安全性与可解释性(物理动作有真实后果)、实时性(大模型推理时延)、因果与泛化(在未见场景是否真懂而非记忆)。
世界模型(World Model)的作用:世界模型让智能体在内部学习一个"环境动力学"的隐式/显式模型,能预测"如果采取某动作,下一状态会怎样"。其价值在于:
简言之,世界模型是把"试错从真实世界搬到模型内部"的关键,是通向样本高效、可规划的具身智能的核心路径。
具身智能要在一个真实、物理的世界上行动,而视觉只是信息的一种投影,远不足以支撑可靠交互。多模态融合(视觉 + 深度 + 力/触觉 + 本体感知 + 听觉)之所以关键,是因为:
一句话:视觉回答"是什么/在哪",力觉/触觉回答"怎么安全地作用"——二者缺失任一方,具身智能都无法在真实世界可靠工作。
人机协作中"理解意图"本质是从人类的可观测信号推断其目标/下一步动作,技术路径可分为:
安全是底色:协作机器人需力限(power & force limiting)、速度监控、碰撞检测兜底。前沿方向是"意图驱动的共享控制"——人定目标、机器人补细节,最大化默契与效率。
VLA 模型是一类端到端的具身策略:输入视觉观测(图像/视频)+ 语言指令(如"把红色方块放到左边"),直接输出机器人动作(关节角度/末端速度/离散动作 token)。代表工作:Google 的 RT-1、RT-2,以及开源的 OpenVLA、PaLM-E(把动作也当作一种"模态 token")。
与传统方法的区别:
趋势是" hybrid":用 VLA 作高层语义规划,传统控制作底层精确执行。
MPC(Model Predictive Control)是一种基于模型的最优控制:在每个时刻,用系统模型在有限时域(horizon)内预测未来状态,求解一个优化问题(最小化跟踪误差 + 控制代价),只执行第一步,下一时刻滚动重优化(receding horizon)。优化目标常含约束:
min Σ (‖x_k − r‖²_Q + ‖u_k‖²_R) s.t. x_{k+1}=f(x_k,u_k), u_min ≤ u ≤ u_max
相对 PID 的优势:
代价:计算开销大(需实时求解优化,对嵌入式硬件挑战),依赖较准确的模型(模型误差需鲁棒 MPC 处理),调参维度更高。
工程中常见搭配:底层 PID 关节环 + 上层 MPC 轨迹跟踪;或 NMPC(非线性 MPC)用于足式机器人动态步态。
VLA models are end-to-end embodied policies that take visual observations and a language instruction (e.g., "pick up the red cup") as input and directly output robot actions (joint angles, end-effector velocities, or discrete action tokens). Examples include Google's RT-1 / RT-2 and the open-source OpenVLA.
They matter for robotics for three reasons. First, semantic grounding: by building on pretrained vision-and-language models, a VLA already understands concepts like "red" or "left", so we no longer hand-engineer a detector and rules for every object. Second, generalization: thanks to the world knowledge of large models, VLAs can follow novel instructions and handle unseen objects in a zero-/few-shot manner. Third, simplicity of the stack: a single model replaces the traditional modular pipeline of detection → planning → control.
Of course, challenges remain—real-time inference latency, safety, and interpretability. The practical trend is a hybrid: a VLA for high-level semantic planning, with classical control (PID/MPC) for precise low-level execution.
(中文注:覆盖定义、代表模型、三大价值——语义接地/泛化/端到端,以及 hybrid 趋势。)
坦诚地说,我对 AI 和 CS 都有兴趣,但具身智能对我有独特吸引力,原因有三:
第一,它把"智能"落到真实世界。纯算法在屏幕里跑通不等于能解决问题——只有让机器人真的抓起杯子、避开行人,才算闭环。我喜欢这种"看得见、摸得着"的反馈,也享受软硬件联调时那种综合挑战。
第二,它逼我成为"交叉型"而不是"单科型"人才。具身智能要求同时懂控制理论、机器人学、计算机视觉、强化学习和机械基础。这种广度正是拔尖英才试点班"软硬一体"培养的设计初衷,也契合我想要的成长方式。
第三,交大的平台不可替代。交大在机械工程(A+)、机器人研究所、医疗机器人研究院的积淀,加上致远荣誉计划的本博衔接与导师制,让我能在真实实验室里从第一天就接触机器人本体,而不是只写仿真。这是很多纯 CS 项目给不了的。
所以我的定位是:以具身智能为根基,AI 是我的工具而非终点——我希望做出能真正在物理世界里帮人的机器人。
压力题考察情绪稳定、自我认知与韧性。没有"正确回答",关键是冷静、理性、不卑不亢。
(保持镇定,不急于辩解)
首先,我会尊重各位老师的判断。但我想诚恳请教:老师们觉得我具体在哪方面还不足?是数理基础、动手实践,还是对方向的理解深度?这样即使今天没被录取,我也清楚下一步该补什么。
同时我也想表达:我对具身智能的兴趣不是一时兴起。从自学搭建循迹小车、到用强化学习训练机械臂抓取,这些经历让我确信这条路值得走。如果今天暂时不合适,我不会放弃——我会先在现有专业把数理与控制基础打牢,参加机器人社团和竞赛积累项目经验,未来通过校内二次选拔或研究生阶段再次争取进入这个方向。
对致远/拔尖英才试点班来说,我理解它要的是既有潜力又有定力的人。今天的结果或许说明我还不到位,但我对具身智能的追求不会因为一次面试而改变。
我不仅有心理准备,而且认为这正是具身智能的魅力所在——它的门槛和难度,恰好是它不可替代价值的一部分。
关于"长期没成果",我的应对框架是:
我清楚自己选的是一条长跑赛道。短期发不出论文会有压力,但比起"轻易得到的成果",我更在意是否真的在让机器理解物理世界这件事上往前挪了一小步。这份定力,我准备好了。
下面按"经典理论 → 前沿方向"给出面试高频知识地图,建议对照自查、查漏补缺。
| 类别 | 资源名称 | 用途 |
|---|---|---|
| 经典教材 | 《机器人学导论》(John J. Craig) | 运动学、动力学、轨迹规划入门必读 |
| 经典教材 | 《现代机器人学:机构、规划与控制》(Lynch & Park) | 更现代的矩阵李群表述,含视觉伺服 |
| 控制理论 | 《Feedback Control of Dynamic Systems》(Franklin) | PID、频域、状态空间基础 |
| 强化学习 | 《Reinforcement Learning: An Introduction》(Sutton & Barto) | RL 圣经,重点看 MDP、策略梯度 |
| 公开课 | CS231n(视觉)/ CS285(深度 RL)/ 交大机器人学 MOOC | 快速建立算法框架 |
| 动手平台 | ROS、MuJoCo、Isaac Gym、OpenAI Gym | 本地跑仿真、训练简单控制策略 |
| 前沿论文 | RT-1 / RT-2、OpenVLA、PaLM-E、Dreamer、Open X-Embodiment | 了解 VLA 与世界模型最新进展 |
| 英文提升 | Robotics: Science and Systems (RSS)、CoRL、IROS、ICRA 会议 | 读摘要/视频,提升学术英语与前沿视野 |
| 竞赛 | RoboMaster、RoboCup、中国机器人大赛 | 工程实践与简历背书 |
| 官方信息 | 致远学院官网(zhiyuan.sjtu.edu.cn)、交大机器人所主页 | 获取最新招生政策与导师方向 |
正/逆运动学 · 雅可比与奇异 · PID 三环节 · SLAM 前端/后端/闭环 · 强化学习稀疏奖励 · Sim-to-Real 与域随机化 · VLA · 世界模型 · MPC 约束 · 视觉伺服 PBVS/IBVS
RT-1/RT-2(Google VLA)· OpenVLA(开源)· PaLM-E · Dreamer(世界模型)· Open X-Embodiment(数据集)· ORB-SLAM · MuJoCo/Isaac Gym(仿真)
机械工程 A+ · 机器人研究所 · 医疗机器人研究院 · 电院(CV/RL)· 人工智能研究院 · 致远本博衔接/导师制
What is Embodied AI? · Explain sim-to-real gap & domain randomization · What are VLA models? · Why is multimodal perception important?
让智能拥有身体,让机器理解世界——
具身智能,是 AI 走向真实世界的下一程。
愿你在致远,造出真正能动的智能。
本站为独立信息整理平台,并非学校招生官网,未获学校招生代理授权。招生要求与时间以学校官方最新通知为准。
同一栏目下的其他内容
二次选拔
南开大学 2026年官方招生简章文字版,本站已归档 PDF 原件,正文摘自官方简章,可按招生区域、报名条件、选拔程序、录取规则快速检索。
阅读全文 →
二次选拔
二次选拔
泰山 计算机科学取向 · 新生入学二次选拔 · 面试备考指南 面试形式与核心考察点 · 30 道专业面试真题(含参考回答) 专业背景知识 · 自我介绍模板 · 备考技巧 · 附录 基础学科拔尖学生培养试验计划(珠峰计划)
阅读全文 →