一句话让无人机起飞北航新框架让无人机响应语言指令
一句话就能让无人机起飞？
就像人类飞行员一样，听懂指令后立刻照做。
北航刘偲教授团队创新性地提出了语言引导的细粒度无人机轨迹控制研究框架，将无人机根据简短指令执行短距反应式飞行的任务定义为Flying-on-a-Word（Flow）范式。【图1】
采用模仿学习方法，使无人机通过习得人类飞行员在真实环境中的操作策略来响应原子化语言指令。
Flying-on-a-Word (Flow) 任务致力于实现自然语言指令与无人机精细飞行控制的高效对齐。
在该任务框架中，无人机代理整合三种输入模态：**自然语言指令**、**六自由度状态信息**和**第一视角视觉观测**，生成符合指令语义的动作序列，以模仿人类飞行员的操作。
为支持Flow任务的研究，北航刘偲教授团队构建了一个大规模的真实世界语言引导的无人机模仿学习数据集。该数据采集工作在三所高校校园内展开，覆盖总面积达**5.02平方公里**。【图2】
为建立统一的评估基准，研究团队构建了UAV-Flow-Sim仿真数据集，并在仿真闭环测试环境下对多个模型进行了系统评估，采用成功率(SR)和归一化动态时间规整(NDTW)等指标对飞行轨迹质量进行量化分析，具体测试结果如【图3、图4】
针对无人机机载计算资源受限的挑战，研究团队还提出了一套地面站-无人机协作策略，并为缓解通信和推理延迟带来的控制滞后问题，提出具有前瞻机制的全局轨迹对齐算法，确保运动控制的连续性。
团队基于UAV-Flow真实世界数据集训练了Pi-0-UAV模型，在北航国新院的开放场景中成功实现了视觉语言动作（VLA）系统的真机部署，首次通过自然语言对话实时控制无人机完成指令任务。
更多真机飞行精彩视频，详见项目主页：
论文链接：
