大语言模型用于时间序列:综述
OriginalLarge Language Models for Time Series: A Survey
Going beyond text, image and graphics, LLMs present a significant potential for analysis of time series data, benefiting domains such as climate, IoT, healthcare, traffic, audio and finance.
- 发布时间
- 2024-07
内容介绍
大语言模型在文本、图像领域已经证明了自己,但它能不能用来处理时间序列?这份由 Xiyuan Zhang、Ranak Roy Chowdhury、Rajesh K. Gupta、Jingbo Shang 合作完成、来自 University of California San Diego 的综述,正是围绕这个问题展开。它值得现在看,是因为时间序列分析横跨气候建模、交通管理、医疗监测与金融分析等场景,而 LLM 与这些数值型数据之间还横着一道训练数据来源不同造成的鸿沟。材料显示该文被引 112 次,说明这条路线已经聚集了相当多的跟进工作,而这篇综述试图把散落的方法收拢成一张可用的地图。
覆盖范围上,材料给出的应用领域包括气候、物联网、医疗、交通、音频与金融,任务类型则列出分类、预测、异常检测与插补,图中还涉及 EEG、ECG、IMU、机器人、语音等更细的类别。作者的论点是:时间序列的连续性、自回归性以及对采样率的依赖,同样为音频、语音和音乐数据所共有,因此这些领域的 LLM 工作也被纳入讨论。方法上,综述并不逐篇罗列,而是先勾勒一条典型的 LLM 流程——输入文本、分词、嵌入、LLM、输出——再让每类方法对应到其中一个环节,形成分类体系。此外,文中还整理了同时包含时间序列与文本的多模态数据集,并维护一个收录全部论文与数据集的 GitHub 仓库。
第一个关键分类是直接提示(prompting),对应流程的输入环节:把时间序列当作原始文本直接喂给 LLM。第二个是时间序列量化(quantization),对应分词环节:把连续序列离散化成特殊 token 交由模型处理。第三个是对齐(aligning),对应嵌入环节:设计时间序列编码器,使序列嵌入与语言空间对齐。这三类各自针对鸿沟的一处下手,从最粗暴的文本化,到词表层面的改造,再到表示空间层面的映射。材料中的示意图按发表时间排列了各类的代表工作,并用深浅不同的方框区分十亿参数级与百万参数级模型。
第四类是「以视觉为桥」(vision as bridge),对应 LLM 环节:借视觉语言模型,用图表等视觉表示把时间序列与语言连接起来。第五类是工具集成(tool integration),对应输出环节:让语言模型输出工具调用,以服务于时间序列分析。作者把这五类合起来视为对「如何把 LLM 的知识迁移与蒸馏到数值型时间序列分析」这一问题的不同回答,这也是该综述区别于其他大模型与时序综述的地方——后者往往不聚焦 LLM,也不聚焦模态鸿沟本身。文中还讨论了这一新兴领域的挑战与未来机会。
这些分类的意义在于,它把「用 LLM 做时序」从一句口号拆成了五个可分别评估的技术选择。换句话说,研究者可以据此判断自己的工作落在哪一环、与同类方法的差别在哪、以及相邻环节有哪些现成方案可以借用。对实践者而言,这张分类图更像一份选型参考:如果目标只是快速验证,直接提示的成本最低;如果要处理高频连续数值,量化或对齐更贴近问题本质;如果已有成熟的视觉或多模态基础设施,以视觉为桥是一条现成路径;而在需要外部计算或专用模型的场景下,工具集成提供了另一条出口。需要注意的是,以上关于选型难易与适用性的判断属于对材料结构的解读,原文摘要只陈述了这些方法类别的存在,并未给出横向比较的结论。
这份综述面向的是想进入或已经身处 LLM 与时序交叉方向的研究者与工程师,读完可以拿走一套五类方法的分类框架、一条对应 LLM 流程各环节的映射思路,以及一份可继续追踪的论文与数据集清单。它的边界也应当说清楚:作为一篇 survey,它的贡献在于组织与归类,材料中没有给出各方法的定量对比或基准排名,因此不能据此判断哪类方法效果更好;摘要也明确把挑战与未来机会并列,说明这一领域尚未收敛,今天看起来清晰的分类,随着新工作出现可能需要修订。
原文摘录
自动提取自 PDFLarge Language Models for Time Series: A Survey Xiyuan Zhang , Ranak Roy Chowdhury , Rajesh K. Gupta and Jingbo Shang University of California, San Diego {xiyuanzh, rrchowdh, rgupta, jshang}@ucsd.edu Abstract Large Language Models (LLMs) have seen signif- icant use in domains such as natural language pro- cessing and computer vision. Going beyond text, image and graphics, LLMs present a significant potential for analysis of time series data, benefit- ing domains such as climate, IoT, healthcare, traf- fic, audio and finance. This survey paper provides an in-depth exploration and a detailed taxonomy of the various methodologies employed to harness the power of LLMs for time series analysis. We address the inherent challenge of bridging the gap between LLMs’ original text data training and the numerical nature of time series data, and explore