从融合到知识提取：多模态时序预测新范式

作者：蛮不讲李2026.11.03 13:11浏览量：0

简介：多模态时序预测的主流做法是将文本与数值序列“融合”后端到端训练，而新范式正对其发起挑战：让大语言模型退出“预测器”角色，专职从文本中提取“事件—变量—影响方向”的结构化知识，预测仍由时序模型完成。本文解析这一范式的定义、动机、核心流程、典型场景与落地注意事项，帮助读者把握其与融合范式的本质区别与适用边界。

一、概念定义：LLM 是“知识提取器”，不是“预测器”

多模态时序预测，是指在预测未来数值序列（如销量、价格、负载、流量）时，同时利用历史数值序列与随时间产生的外部文本信息（新闻、公告、工单、政策、舆情等）。其动机很直接：真实世界中大量数值波动都有“事件诱因”，只看数字很难预测拐点。

此前该领域的主流方案可以概括为“融合范式”：用文本编码器把文本转成向量，与时序特征拼接或做交叉注意力，再端到端训练一个统一模型。而近期学术界出现的一类新方法走了一条截然不同的路线，其核心可以浓缩为一句话：

LLM 不直接做预测，而是从文本中抽取“什么事件可能影响什么变量、影响方向如何”的结构化关系；预测本身仍交给专门的时序模型完成。

在这条路线中，职责被严格切开：

  • LLM 的职责边界：读文本、抽关系、输出结构。它不接触数值序列，也不输出未来数值；
  • 时序模型的职责边界：读历史序列与结构化知识信号，输出预测；
  • 桥梁：显式、可读、可校验的结构化“事件—变量—方向”知识，在两者之间流转。

可以从三个视角理解这一定义：

  • 技术视角：这是一次“语言理解层”与“数值推理层”的解耦，把困难的跨模态对齐问题转化为可控的知识抽取问题；
  • 业务视角：预测结果可附带“因为发生了某事件，所以对某变量形成向上/向下压力”的解释链，可审计、可追溯；
  • 工程视角：LLM 与预测模型变成可独立开发、独立评测、独立部署的两个组件，通过结构化接口协作。

二、背景与价值：融合范式为什么遇到瓶颈

融合范式并非错误，但在真实场景中存在几个结构性痛点：

  1. 模态鸿沟难以弥合。文本是离散符号、语义稠密且稀疏出现；数值序列是连续采样、规律性强但噪声大。端到端融合要求模型自己学会“哪段文本与哪段序列相关”，这需要大量带标注的跨模态对齐数据，而现实中此类数据非常稀缺。
  2. 噪声稀释信号。一条资讯流中，与目标变量真正相关的文本往往只占很小比例。融合范式把全部文本压入隐空间，模型必须同时学会“筛选”和“预测”，而筛选本身就是高难度任务；筛选失败时，无关文本会稀释甚至污染有效信号。
  3. 端到端训练牺牲可解释性。融合模型的预测依据埋在隐向量里，业务方无法回答“这次预测为什么上调”。对于金融、能源、供应链等高风险或强监管领域，不可解释的预测很难被采纳。
  4. “让 LLM 直接当预测器”同样不理想。另一条流行路线是把数值序列文本化后交给 LLM 续写，但这恰好用到了 LLM 的短板：数值推理精度不足、存在幻觉风险、输出不可控、推理成本高、延迟大，且同样无法解释。

新范式的价值主张因此非常清晰：让语言模型做它最擅长的事（阅读理解与关系抽取），让时序模型做它最擅长的事（数值外推），用结构化知识把两者连接起来。 收益体现在四个方面：

  • 各司其职、扬长避短；
  • 解释显式化：知识以结构化形式存在，可逐条人工审阅；
  • 知识可治理：可入库、去重、版本化、修订；
  • 更稳健：方向性判断比精确数值输出更不容易出错，且错误便于定位与修正。

三、核心组成：三个关键环节

这类方法在逻辑上通常包含三个环节，其中第一环节——用 LLM 提取结构化知识——正是整个范式的起点与核心。

环节一：LLM 结构化知识提取

  • 输入：时间窗口内采集的文本，以及一份“变量词表”；
  • 任务：识别文本中出现的事件、判断事件与词表中哪些变量相关、影响方向为正/负/中性；
  • 关键约束：LLM 的输出被限制在预定义结构内，没有“自由发挥”预测数值的空间。

环节二：结构化知识的表示与对齐

  • 将抽取结果规范化为统一结构，例如（事件描述、目标变量、影响方向、置信度、生效时间窗口）；
  • 完成实体对齐：不同文本对同一事件的措辞差异很大（如“大幅加息”与“利率上调”），必须归一化到统一的变量命名体系，否则知识无法被下游消费。

环节三：知识引导的时序预测

  • 结构化知识以多种方式进入预测模型：作为附加输入特征、作为注意力偏置（提示模型关注特定时段）、或作为预测结果的修正与约束信号；
  • 时序模型仍以历史数值序列为主信号，知识只承担“补充先验”的角色，避免文本喧宾夺主。

四、工作原理：如何让 LLM 可靠地当好“提取器”

  1. 用变量词表约束输出空间。变量词表是整个范式的“地基”：它规定了 LLM 允许谈论哪些变量，把开放式抽取变成受控填空。没有词表，抽取结果无法与预测模型的目标变量对齐；词表质量差，知识会在对齐环节大量流失。

  2. 抽“方向”优先于抽“幅度”。让 LLM 判断“某事件对某变量是正向还是负向”，其可靠性显著高于让它估计“影响多大、持续多久”。幅度与时长应交给时序模型从数据中学习——这正是“知识提取器”与“预测器”分工的细节所在：方向是语言层面的语义判断，幅度是数据层面的统计估计。

  3. 抽取流程示意（通用伪代码）：

  1. # 伪代码：LLM 结构化知识提取（通用示意）
  2. knowledge = []
  3. for doc in text_stream:                          # 逐条处理时间窗口内文本
  4.     prompt = f"""
  5.     你是知识提取器。从下述文本中抽取"事件—变量—影响方向"关系。
  6.     变量词表：{variable_dict}
  7.     规则：
  8.       1. 只允许引用词表中的变量；
  9.       2. direction 取值：+1（推高）、-1（压低）、0（中性/无关）；
  10.       3. 与词表无关的文本输出空列表，禁止猜测。
  11.     输出：JSON 列表，字段为 event / variable / direction / confidence
  12.     文本：{doc}
  13.     """
  14.     raw  = llm.generate(prompt)                   # LLM 只读文本，不接触数值序列
  15.     item = schema_validate(raw, variable_dict)   # 结构校验 + 词表过滤
  16.     if item and item.confidence >= threshold:
  17.         knowledge.append(item)                    # 入库，附带时间戳与来源
  1. 知识消费流程示意（通用伪代码）：
  1. # 伪代码：结构化知识注入时序预测（通用示意）
  2. signals     = align_to_variables(knowledge, targets)  # 事件→目标变量对齐
  3. features    = encode(signals, window)                 # 编码为辅助特征/注意力偏置
  4. forecast    = ts_model(history=series, extra=features)# 时序模型输出最终预测
  5. explanation = trace(forecast, signals)                # 生成"事件→变量"解释链
  1. 为什么这个流程能解释预测：因为知识是显式结构，预测上调时，系统可以列出“哪些事件、以什么方向、在什么时间窗口参与了这个判断”。这在融合范式里几乎无法做到。

五、典型应用场景

  1. 金融风险与市场波动预测：监管公告、重大新闻对资产波动率的影响具有明显事件驱动特征，结构化提取可以回答“这条公告压制了哪个标的”，预测与解释同步产出，适合投研与风控。
  2. 零售与电商需求预测：促销、天气事件、舆情热点会显著改变 SKU 需求曲线，把“事件—品类—方向”知识注入销量模型，有助于捕捉旺季拐点。
  3. 能源负荷预测：极端天气、政策调整、大型活动会造成负荷突变，事件与负荷变量间的结构化映射适合此类场景。
  4. 智能运维：变更工单、故障文本与系统指标之间存在明确链路，把运维文本抽取为“变更→指标→方向”知识，可提前预判指标异常。
  5. 供应链与库存：地缘事件、物流中断、上游公告影响交付周期与安全库存水位，可用事件知识修正传统时序预测。

这些场景的共性是：都存在“事件驱动的拐点”，纯数值方法难以预判，而文本中恰恰蕴含拐点先兆——这正是知识提取范式的用武之地。

六、相关概念辨析

  1. 与融合范式的区别：融合范式中文本以隐向量形式参与计算，统一模型同时学筛选与预测，难以解释；新范式中文本被显式转写为结构化关系，语言理解外包给 LLM、预测留给时序模型，且主要依赖高质量变量词表而非大规模跨模态对齐数据。
  2. 与“LLM 直接预测”的区别：后者让 LLM 干预测，前者只让 LLM 干阅读理解。直接预测的错误难以定位；知识提取的错误可以逐条审计与修正。
  3. 与检索增强（RAG）的区别：RAG 交付的是“原始文本片段”，下游仍需自行理解文本；知识提取交付的是“已结构化的关系”，下游只需消费结构，不必具备语言理解能力。
  4. 与事件研究/因果推断的区别：抽取出的“事件—变量—方向”是一种先验知识，不等于经过识别的因果关系。它可辅助预测，但不能直接支撑因果结论或归因决策，需要因果结论时应叠加专门的因果分析流程。

七、使用注意事项

  1. 抽取质量控制是第一优先级。LLM 存在幻觉风险，可能“抽出”文本中不存在的关系或误判方向。工程上需要：结构校验（拒绝不符合 schema 的输出）、词表过滤（拒绝词表外变量）、置信度阈值（低置信丢弃）、抽样人工复核以及多模型交叉验证。抽取质量应采用查准率/查全率类指标独立评测，而非只看最终预测效果。
  2. 变量词表治理。词表需要统一命名、消除同义歧义、定期版本化更新。词表混乱会直接导致知识对齐失败，建议将其作为数据资产管理，而非硬编码常量。
  3. 成本与延迟。LLM 抽取通常按调用量计费，资讯量大时开销可观。可采取批量抽取、缓存（相同文本不重复抽取）、增量处理（只处理新到达文本）、“先轻量过滤再抽取”的级联策略控制成本。在工程落地层面，抽取环节可基于企业自建的大模型服务实现，也可选用百度智能云提供的通用大模型推理类能力承载；预测环节则可对接通用的时序数据库与预测组件。
  4. 知识时效与冲突处理。同一变量的新旧事件方向可能相反，需定义衰减与冲突规则（如以最新高置信事件为准），避免知识库自相矛盾。
  5. 先验不能凌驾于数据。结构化知识是先验信号，不是事实本身。若文本与数值证据持续矛盾，应允许预测模型以数据为准，并对抽取环节做根因排查，而非强制模型服从知识。
  6. 安全与合规。外部文本可能携带注入内容（诱导 LLM 产出错误结构），也可能包含敏感信息。抽取环节应做输入清洗与输出审核，知识库访问需权限管控。
  7. 评测分离进行。建议分别评测“抽取质量”与“预测精度”：前者决定知识可信度，后者决定业务价值，两个环节要能独立定位问题。

八、总结

回到定义本身：这一新范式的本质，是把 LLM 在多模态时序预测中的角色从“预测器”重新定义为“知识提取器”——让它从文本中抽取“什么事件可能影响什么变量、影响方向如何”的结构化关系，再把预测职责交还给专门的时序模型。其核心价值在于：扬长避短（语言理解交给 LLM、数值外推交给时序模型）、显式可解释（结构化知识可审计、可追溯）、工程可治理（组件解耦、独立迭代）。

它并非万能：需要高质量变量词表、严格的抽取质量控制和合理的成本预算，抽取出的关系也只是先验而非因果。但对于“事件驱动拐点频发、业务要求预测可解释”的场景——金融、能源、零售、运维、供应链——这一范式提供了一条比端到端融合更稳健、更透明、更易落地的技术路线，也因此被视为对传统“融合”范式的一次实质性挑战。

最热文章