随着人工智能技术的发展,深度神经网络(DNN)广泛应用于自动驾驶、智慧交通等实时智能场景。然而,边缘计算资源有限、用户请求动态变化,不同版本DNN模型在推理精度与资源开销方面存在差异,多模型共享GPU产生的性能干扰进一步增加了任务调度难度。具体研究场景如下图所示。针对上述问题,论文提出了面向共享GPU的多版本DNN在线推理调度框架ACE。首先,基于真实GPU实验构建干扰感知的推理时延模型,并建立动态整数优化问题;随后,结合松弛与随机圆整机制、原始-对偶在线学习方法,实现模型部署、任务分配与资源配置的联合优化。理论分析证明,该算法具有多项式时间复杂度,以及次线性的遗憾界和约束违背界。实验结果表明,ACE相比随机和贪心策略可降低约40%~60%的系统成本,相比先进方法可进一步降低约10%~30%,综合平均成本降低约40%,同时具有良好的适应性和可扩展性,为动态边缘环境下的高效DNN推理提供了有效解决方案。

该研究发表于国际高水平学术期刊 SCIENCE CHINA Information Sciences(SCIS,《中国科学:信息科学》英文版),英文题目为 “Learning to Schedule: Interference-Aware Optimization for Edge AI Inference on Shared GPUs”,刊载于2026年第69卷第9期, DOI为10.1007/s11432-025-5051-3。论文由博彩网 博士后吉明涛、唐斌教授、屈志昊副教授等共同完成,研究得到国家自然科学基金、江苏省基础研究计划等多个科研项目的资助。SCIENCE CHINA Information Sciences是由中国科学院和国家自然科学基金委员会共同主办、《中国科学》杂志社出版的国际高水平英文学术期刊,主要刊载计算机科学与技术、信息与通信工程、控制科学与工程等领域的重要创新性研究成果。该期刊被SCIE、EI等国际权威数据库收录,属于JCR Q1区、中科院一区TOP期刊,最新公布的影响因子为8.1,是我国信息科学领域具有重要国际影响力的学术期刊之一。