企业级AI调度新范式上交大将企业级AI流程调度提速79
复合LLM应用 (compound LLM applications) 是一种结合大语言模型（LLM）与外部工具、API、或其他LLM的高效多阶段工作流应用。
⽬前，服务这些应⽤任务需要⾯对运⾏时⻓不确定、⼯作流结构不确定等问题，这对现有集群任务调度算法提出了极大挑战，并严重影响任务运⾏效率。
为了解决上述问题，上海交通大学朱怡飞教授团队联合江行智能提出调度框架LLMSched，通过引入三类新节点来扩展传统任务表征方法实现复合LLM应用任务的有效表征，借助贝叶斯网络识别可降低不确定性的关键节点，并以信息熵衡量节点的熵减程度。
目前论文已被IEEE ICDCS’ 25接收。
实验结果显示，LLMSched结合探索-利用策略来平衡调度不确定性与当前调度收益，最终实现高效调度复合LLM应用，相较现有调度器平均任务完成时间降低14~79%。
