一、开场与项目选择

Q1:请做一下自我介绍

A:面试官您好,我叫杨奥,是江苏大学物联网专业本科生,目前大三,主要做 MCU 嵌入式开发和机器人控制。最近一段实习参与了基于 STM32F407 和 FreeRTOS 的 AUV 水下机器人控制系统,我负责的部分主要是 IMU、深度传感器和 PWM 等驱动适配、八推进器六自由度混控以及串口通信,也参与了姿态、定深闭环和 IAP 升级

在校期间,我还负责过 RoboMaster 数控超级电容系统,以及基于 TC377 的平衡轮腿车。超级电容项目涉及电压电流采样、功率控制、CAN 通信和保护;轮腿车涉及灰度图像处理、路径提取和串级 PID。我比较熟悉的是把传感器采集、数据处理和执行控制连起来,再通过实际信号和运行状态定位问题。这个岗位的传感器采集、嵌入式调试与我的经历比较接近,端侧模型部署是我希望继续补上的方向

Q2:你为什么想来做这个岗位?你和岗位的匹配点是什么?

A:我对传感器数据怎样变成设备的判断和动作比较感兴趣。之前做 AUV,IMU 和深度数据要进入闭环控制;做轮腿车,图像里的赛道边界要变成路径和控制目标。这两类经历让我意识到,算法效果不仅由公式决定,前面的采集质量、时间关系和后面的实时执行同样重要

这个岗位既需要传感器采集,也需要处理和部署算法。我可以先从比较熟悉的驱动、通信、数据整理和板端调试做起,再逐步承担模型输入处理和性能测试。模型训练和部署工具链这部分,我的项目经验还没有 MCU 控制扎实,但我能说明需要解决哪些工程问题,也愿意从一个具体模型的完整流程开始补

Q3:挑一个项目详细介绍,你会讲哪个?

A:我会先讲 AUV,因为它和传感器、实时处理的关联最直接。系统用 STM32F407 和 FreeRTOS,把 IMU、深度传感器、手柄和上位机接进来,经过姿态与定深控制,再把六个自由度的控制量分配给八个推进器,通过 PWM 输出

我是在公司已有架构上开发,主要负责设备驱动和适配、六自由度混控、串口可靠通信,并参与闭环与升级功能。这里比较有代表性的是多轴叠加后的饱和问题:每个单轴指令单独看都可能合法,叠加到某个推进器时却会超过输出范围。因此混控后需要限幅和等比例降饱和,控制器还要考虑积分抗饱和。另外,IMU 安装方向、机体坐标和推进器旋向要先统一,否则 PID 参数调得再久也可能是在补偿方向错误

Q4:哪些工作是你自己做的?哪些是团队已有的?

A:AUV 的总体软件架构是公司已有的,我是在这个基础上开发。我的明确负责项是八推进器混控,IMU、深度传感器、UART、TIM/PWM 等 BSP 和设备适配,以及 UART 通信框架。姿态和定深闭环、Bootloader/IAP 是参与开发,我会按具体模块说明,不把整个系统都归到自己名下

学校的超级电容项目,我承担得更完整,从方案和 PCB、焊接调试到控制程序、整车联调都有参与并负责推进。轮腿车是团队项目,我负责软件方案与项目推进,也做了视觉处理和控制相关工作。面试中如果想深入看个人实现,我会优先展开 AUV 的混控和串口,或者超级电容的采样与控制链路

二、传感器采集与多模态处理

Q5:IMU 输出的是什么?加速度计和陀螺仪分别有什么问题?

A:常见六轴 IMU 包含三轴加速度计和三轴陀螺仪。陀螺仪给的是角速度,不是直接给姿态角;加速度计测量的是比力,静止时会体现重力作用,但运动时还混有运动加速度。读取原始数据后,需要根据量程转换单位,再做校准和姿态估计

陀螺仪短时间内跟踪转动比较好,但零偏会在积分后累积成姿态漂移。加速度计可以在静止或运动加速度较小时提供重力方向,帮助修正横滚和俯仰,但在急加速、振动和跳跃时不能直接把测量值都当成重力。只靠这六个轴,没有额外方向参考时,绝对航向不可观,yaw 仍可能慢慢漂移

Q6:拿到一颗不熟悉的传感器,你怎么把驱动写出来?

A:我会先确认供电、电平、接口和上电时序,再用最简单的读操作确认器件在线,例如读取身份寄存器。通信打通以后,按手册完成复位、工作模式、量程、输出数据率和滤波配置,并回读关键寄存器,确认配置确实写进去了

然后先读一组原始数据,核对高低字节、补码、有效位数和单位换算。数据合理以后,再接数据就绪中断、FIFO 或 DMA。最后补上超时、总线错误、无新数据和复位后的恢复流程。比如 IMU 可以先静止看零偏和重力方向,再绕单轴转动看轴向和符号。这样遇到异常时,能分清是总线没通、寄存器配置错,还是上层算法用错了数据

Q7:传感器的量程、分辨率、精度、输出数据率和带宽怎么区分?

A:量程是能测多大的范围,分辨率是最小能分出多细的变化,精度是结果离真实值有多近。分辨率高不等于精度高,零偏、噪声和标定误差仍然可能很大。相同位数下,量程越大,一个数字单位对应的物理量通常也越大,所以不能只为了不溢出就一律选最大量程

输出数据率是每秒产生多少组数据,带宽是能有效反映多快的信号变化,两者不是同一个概念。比如接口每秒能读很多次,不代表传感器每次都产生了新样本。选参数时,我会先看最大运动范围和需要保留的变化速度,再留出冲击余量,最后判断噪声和处理资源能否接受

Q8:采样率怎么选?采样越快越好吗?

A:先看需要保留的信号频率。对带限信号,采样频率要高于最高信号频率的两倍,实际还需要给滤波器过渡带留余量。这个条件是为了避免混叠,并不意味着刚好取两倍就适合控制或识别任务。闭环控制还要考虑时延、带宽和相位影响

采样越快,数据量、中断或 DMA 处理负担、内存和功耗都会增加。如果传感器本身只更新 100 次每秒,MCU 每秒读 1000 次,只会多读到重复值。对模拟输入,抗混叠滤波需要在采样前完成;数据已经混叠以后,再做数字低通无法恢复原来丢失的频率关系。设计时我会把传感器输出率、MCU 取数频率、算法处理频率和控制周期分开看

Q9:如何校准 IMU?静止时取平均就够了吗?

A:静止平均可以估计陀螺仪零偏,但不是完整校准。前提是设备真的静止,温度也比较稳定。把多组角速度取平均,作为零偏扣除,能减小积分漂移;温度变化比较大时,还要考虑零偏随温度变化

加速度计不能简单把三个轴都减成零,因为静止时它应该反映重力方向。可以通过多姿态、例如六面静置的数据估计各轴零偏和比例误差。传感器本身校准以后,还要做安装坐标到机体坐标的变换。对 AUV,我会重点解释“器件读数正常”和“机体向某个方向转动时反馈符号正确”是两项检查,后者直接关系到闭环是负反馈还是正反馈

Q10:互补滤波是什么?和卡尔曼滤波有什么区别?

A:互补滤波是让不同传感器发挥各自比较可靠的部分。以一个小角度的倾角例子来说,先用角速度积分得到短期预测,再用加速度估计的重力方向修正长期漂移,可以写成 角度 = α ×(上一时刻角度 + 角速度 × dt)+(1−α)× 加速度倾角。这里 α 和采样周期、滤波时间常数有关,不是随便固定一个数就适用于所有系统

卡尔曼滤波会显式描述状态模型和不确定性,用预测误差、测量误差来计算融合权重。模型和噪声设置合理时,它能更系统地融合不同来源,但并不是换成卡尔曼就一定更准。姿态本身还涉及三维旋转,大角度时应使用四元数等合适的表示。无论使用哪一种方法,都要检查传感器数据、坐标方向和更新间隔,否则融合算法也会建立在错误输入上

Q11:NED 和 FRD 是什么?为什么坐标系不统一会影响控制?

A:NED 是北、东、地三个方向,通常作为世界参考;FRD 是前、右、下,固定在机体上。两套坐标都可以描述一个向量,但对应的分量含义不同。比如机体转过一个方向后,“向前推”仍然沿机头,却不再一定沿世界坐标的北向

实现时要分清两步:先把传感器安装坐标转到机体坐标,再按姿态把机体坐标和世界坐标关联起来。旋转矩阵需要说明方向,例如 v_n = R_nb × v_b 表示机体系向量变换到 NED。如果把矩阵用反、轴交换错或者正负号弄反,控制器可能越纠正偏得越大。联调时先做单轴运动与单推进器方向检查,比直接进入多轴 PID 调参更容易定位问题

Q12:IMU、摄像头和其他传感器频率不同,怎样做时间同步?

A:先统一时间基准,并明确时间戳代表“采样发生”“数据就绪”还是“读完数据”。如果只是给任务收到数据的时刻打戳,调度和通信延迟就会被误认为传感器之间的时间差。能用硬件触发或硬件时间戳时优先用;不能用时,也要尽量靠近数据就绪事件记录时间,并估计固定延迟和抖动

处理时按时间窗口关联,不是把每一路最后收到的值直接拼在一起。比如假设相机 30 Hz、IMU 200 Hz,可以用一帧图像对应的曝光时刻,查找前后 IMU 数据做插值或积分;若做动作识别,可以对同一时间段提特征。来自不同芯片的独立时钟还会有频率漂移,需要持续校正。某一路过期或缺失时,要带有效性标记,不能让旧数据看起来像当前数据

Q13:FIFO 一次读出多组数据,时间戳怎么加?

A:FIFO 是传感器内部积攒样本的缓冲区,DMA 是把数据搬到 MCU 内存的方式。一次 DMA 完成只说明这批数据搬完了,不能说明这些样本是在同一时刻采集的。器件如果有逐样本时间戳或样本计数,优先用它,并映射到系统时间

如果没有,可以在明确输出数据率、FIFO 顺序和中断对应位置的前提下,用一个可靠锚点和采样间隔重建。假设最后一个样本时刻是 t_end,这一批有 N 个连续样本,那么第 i 个时刻是 t_i = t_end − (N−1−i)/f_s。难点在于水位中断未必对应读出批次的最后一个样本,读取期间也可能继续入 FIFO,所以要结合样本数量与硬件行为修正锚点。溢出后要标记数据断点,不能继续假装等间隔且完整

Q14:多模态数据融合是不是把几个传感器值拼起来?

A:拼接只是其中一种输入组织方式。真正要解决的是各路数据测量什么、单位和坐标是否一致、时间是否对齐,以及什么时候可信。例如摄像头能提供环境和目标信息,IMU 能提供较高频率的运动变化,两者的失效条件不一样,融合价值在于互相补充

可以在原始数据、特征或最终决策三个层面融合。原始数据级对同步和标定要求高;特征级先分别提取有用信息,再合并;决策级先分别判断,再根据可靠程度做组合。对资源有限的 MCU,我会先用简单、可解释的方案建立基线,验证增加一路传感器是否真的减少误判,再考虑更复杂的模型。某一路故障、遮挡或数据缺失,也应该在方案里有明确处理

Q15:常见滤波怎么选?滑动平均、低通、中值有什么区别?

A:滑动平均适合压低随机波动,实现简单,但窗口越长,输出越滞后。等间隔、因果的 N 点滑动平均,其线性相位对应的群延迟约为 (N−1)/2 个采样周期。中值滤波对孤立尖峰比较有效,但会改变局部波形,不适合不加判断地用在所有动态信号上

一阶低通可以写成 y += α × (x−y),α 越小越平滑,跟随越慢。以常用离散近似来说,α = dt/(τ+dt),τ 是时间常数。闭环里不能只看曲线是否平滑,还要看滤波造成的延迟会不会让控制响应变差。遇到电机开启后的周期噪声,我会先查电源、接地、采样时刻和机械振动,再决定是否用低通或针对性的陷波处理

Q16:采到的数据偶尔跳变,你怎么判断是传感器问题还是软件问题?

A:我会沿着“物理信号—总线原始字节—换算结果—算法输出”逐段看。先检查数据就绪、溢出和通信错误状态,再保留一小段原始字节。如果原始字节稳定而物理量突然变,重点查大小端、有符号转换、单位、数组越界和多任务读写;如果原始数据就异常,再查器件量程、总线时序、电源和干扰

还会看异常和什么事件同时发生,例如启动推进器、发无线数据、写 Flash 或切换任务。一次只改变一个条件,观察异常是否随之出现。暂时剔除异常值可以保护上层,但要留下错误计数和数据有效性,不能用滤波把根因盖住。实时控制尤其不能把一段无效数据当成“只是有点噪声”继续使用

三、端侧算法部署:先把流程和约束讲清楚

Q17:你做过端侧神经网络部署吗?没有经验怎么开展工作?

A:我目前能详细展开的项目经验主要是传感器处理、传统视觉和闭环控制,神经网络部署这部分还需要补。我理解这项工作的重点,是把训练端定义的输入输出和计算流程,在目标设备上正确、稳定地复现,并满足内存、时延和功耗限制

如果开始做,我会先拿一个已经训练好的小模型和一组固定测试数据,在 PC 上得到参考输出,再确认板端可用内存、支持的算子和数据类型,完成转换与集成。先让同一输入在两端输出一致,再接真实传感器,最后测采集、预处理、推理和输出的整条链路。这样每一步都有对照,出现问题也比较容易定位

Q18:从训练好的模型到开发板运行,完整流程是什么?

A:先把输入尺寸、通道顺序、采样窗口、归一化方式和输出含义固定下来,同时准备参考样本和 PC 输出。然后按目标硬件选择转换和推理工具,检查算子、数据类型和内存需求;需要量化时,用具有代表性的数据校准,并重新比较精度

在板端集成时,准备模型常量、运行缓冲区和输入输出接口,先离线喂固定数据,再接实时采集。验证不仅看能不能调用推理函数,还要看识别指标、单次与最坏时延、RAM 峰值、Flash 占用,以及长时间运行是否积压。最后保存模型版本、预处理参数和验证样本,避免固件换了预处理而模型仍沿用旧假设

Q19:INT8 量化是什么?为什么能节省资源?

A:量化是用较低位宽的整数近似表达浮点数。常见关系是 x ≈ scale × (q − zero_point)。例如 scale 为 0.02、zero_point 为 0 时,实数 0.5 可以表示成整数 25。量化时要做舍入和范围截断,反量化则按这个关系还原近似值,所以会引入误差

同样数量的权重,FP32 每个通常占 4 字节,INT8 占 1 字节,纯权重存储理论上可以缩小到四分之一。但整个模型文件还有其他数据,运行时也有激活和临时空间,不能直接说整机 RAM 一定降到四分之一。整数推理是否更快,取决于芯片指令、算子实现和转换开销;不是只把 float 强制转成 int8_t 就完成了量化

Q20:模型在 PC 上正常,放到板子上结果不对,你怎么排查?

A:第一步不接摄像头或传感器,而是把同一份输入数据直接给 PC 和开发板。如果此时结果不同,就查模型版本、算子实现、输入输出类型、量化参数和内存。如果固定输入能对上,而实时数据不行,再回到采集与预处理

图像重点看 RGB/BGR、灰度转换、缩放裁剪、NCHW/NHWC 布局和归一化顺序;时序数据重点看单位、轴顺序、窗口长度、采样间隔和缺失样本。INT8 还要确认输入到底是有符号还是无符号,以及 scale、zero_point 是否匹配。必要时保存几层中间输出找第一个明显分歧点。这样可以把问题缩小到某一步,而不是反复换模型碰运气

Q21:STM32F407 能不能跑 AI 模型?怎么估算能否放得下?

A:可以考虑小型、算子受支持的模型,但不能只凭“用了 F407”就承诺能跑某个网络。F407 是 Cortex-M4 平台,最高主频 168 MHz,带单精度 FPU,片上资源和专用 NPU 平台差距很大。它更适合从小型时序分类、简单特征加分类器等任务做预算和验证

需要分别估算权重、峰值激活、临时工作区、输入输出缓冲,以及 RTOS 任务栈和通信缓存。F407 的 192 KB SRAM 包含 64 KB CCM,DMA 不能把这部分当普通 SRAM 随便访问,所以“总剩余内存够”还不代表缓冲区能放对位置。比如 100×100 的单通道输入,INT8 数据本身约 10 KB,换成 float 就约 40 KB,而中间特征图可能比输入更大。最终要看转换工具的内存规划和板端实测

Q22:ONNX、推理框架和 CMSIS-NN 分别做什么?

A:ONNX 主要是一种表达模型计算图和权重的交换格式,方便不同工具之间转换;它不是所有 MCU 都能直接执行的程序。推理框架负责加载或组织模型、安排算子执行、管理运行内存。面向微控制器的实现通常只支持一部分算子,不能把桌面端支持情况直接搬过来

CMSIS-NN 则是面向 Arm Cortex-M 的优化神经网络计算库,提供卷积、全连接等算子的实现,可以作为上层推理系统的执行基础。对具体板子,我会先确认工具链能否把模型转换成受支持的算子组合,再看有没有利用目标内核的优化。只完成格式转换不等于部署成功,输出一致性和资源占用还需要验证

Q23:模型量化后精度下降怎么办?PTQ 和 QAT 有什么区别?

A:先排除输入处理不一致,再看量化误差。训练后量化,也就是 PTQ,是模型训练完成后再做量化;静态量化通常需要代表性样本估计激活范围。校准数据只覆盖明亮、静止等少数场景,到了低光或剧烈运动时就可能出现明显误差

量化感知训练 QAT 会在训练时模拟量化影响,让参数适应这种误差,但需要训练流程和数据支持。如果 PTQ 下降明显,我会先检查校准分布、离群值和误差集中的层,再评估按通道量化、保留少数敏感算子的高精度,或者转 QAT。对称量化通常零点为零,非对称量化用零点平移表示范围;选择也要看部署后端支持,不能只看理论精度

Q24:模型运行慢或者占用大,你会怎么优化?

A:先分段测时间,确认慢在取数、预处理、数据复制还是推理。如果推理只占总时延的一小部分,先换小模型可能效果并不明显。对推理本身,再看耗时算子、是否走了优化内核、量化类型以及内存访问情况

可选办法包括减小输入或窗口、减少通道和模型规模、量化、复用生命周期不重叠的缓冲区、减少重复拷贝。算子融合能减少中间结果写回和调度开销;结构化剪枝更容易真正减少常规硬件上的计算,非结构化稀疏若没有对应支持,不一定变快。每次改动都要同时看识别效果和端到端时延,尤其不能为了跑模型把实时控制任务挤到超期