近日,我校博彩网 毛莺池教授团队在国际高影响力学术期刊《ACM Computing Surveys》发表题为“A Survey on Spatio-Temporal Prediction: From Transformers to Foundation Models”的综述论文。该研究系统性地梳理并揭示了基于Transformer及基础模型(大语言模型)在时空预测领域的最新技术演进与应用前景。
时空预测广泛应用于智慧交通、气象预测和城市治理等场景。相较一般预测任务,时空数据同时具有时间演化、空间关联和复杂非线性关系,传统统计学习方法较难统一刻画多尺度、动态变化的依赖结构。近年来,Transformer及其衍生的大模型凭借卓越的长距离依赖捕获能力和泛化鲁棒性,为解决该问题提供了新思路。然而,现有综述多聚焦单一应用或多类模型,对“时空预测”任务下Transformer及衍生模型的系统性比较仍显不足。
图1 时空数据的分类、预测方法和应用领域
针对这一快速发展但缺乏统一整理的研究方向,团队提出了覆盖数据类型、技术方法、应用场景、模型评估和未来方向的总体分析框架。论文将时空预测中的Transformer相关模型归纳为“模块增强”“架构调整”“基础模型”三类,为不同方法的比较研究提供了统一坐标系。在此基础上,研究进一步汇总了多个公开数据集、常用评价指标和代表性模型表现,形成了从模型结构、应用任务到性能评估的完整分析链条。
面向真实应用需求,论文还指出了五个亟待突破的研究方向:低质量时空数据预测、模型压缩与实时部署、模型可解释性、跨场景泛化能力以及外部信息融合。这些方向将学术前沿与工程需求相连接,为推动时空预测模型从标准数据集迈向复杂真实环境、赋能相关领域的智能决策提供了重要方法支撑。
我校博彩网 毛莺池教授为论文第一作者,南京邮电大学陈鸣锴副教授为论文通讯作者。论文其他合作者包括我校博彩网 戚荣志副教授、硕士生周洪亮、陈玲、博士生荣毅,以及来自国内外多所高校的学者。该研究得到了中国国家重点研发计划(2022YFC3005401)等项目的支持。
论文信息:Mao Y, Zhou H, Chen L, et al. A survey on spatio-temporal prediction: From transformers to foundation models[J]. ACM Comput. Surv., 2025, 58(4): 85.
原文链接://dl.acm.org/doi/10.1145/3766546