简介：本文围绕多模态时序预测中的“结构化知识提取”这一技术思路展开，从定义、背景、核心组成、工作原理、典型场景到使用注意事项进行系统梳理。文章将以TiMi为例进行中立化阐述，帮助读者理解为何让大语言模型充当“知识提取器”而非“预测器”，以及这种设计如何改变传统多模态时序融合范式。
在多模态时序预测中，“结构化知识提取”是一种将非结构化文本信息转化为可被时序模型利用的结构化关系的技术方法。其核心思路是：不直接让大语言模型输出预测数值，而是让它从文本中抽取“什么事件可能影响什么变量、影响方向如何”等关系，再将这种结构化关系作为先验知识或辅助特征，注入到下游时序预测模型中。
以TiMi这一技术思路为例，它代表的是一种新的范式：多模态时序预测不再依赖简单的特征拼接或结果融合，而是通过“先提取结构化知识、再引导时序建模”的方式，提升模型对复杂业务场景的理解能力与泛化能力。
从技术视角看，结构化知识提取解决的是“文本信息如何被有效利用”的问题；从业务视角看，它解决的是“当业务人员拥有大量文本记录、公告、新闻、操作日志时，如何让这些信息真正帮助预测未来趋势”的问题。传统做法往往将文本编码成向量后直接与时序特征拼接，但这样做语义不对齐、可解释性差、噪声大。结构化知识提取则试图在更高层次上完成语义与数值之间的桥接。
在真实业务场景中，多模态时序预测经常面临以下问题：
文本信息稀疏且噪声大
文本来源可能是运营记录、新闻标题、政策文件、维修工单、告警描述等。这类文本长短不一、用语不规范，直接将其端到端地输入预测模型，容易引入大量无关语义，影响训练稳定性。
文本与时序之间缺乏显式对应关系
一条文本可能同时影响多个变量，也可能只影响某一个变量，甚至存在滞后影响。传统向量化方法难以刻画“哪段文本影响哪个变量、影响方向是正向还是负向、影响强度如何”。
模型可解释性不足
如果将文本向量直接作为隐特征参与预测，当预测结果异常时，很难解释是文本中的哪部分信息导致了偏差。结构化知识提取可以保留“事件—变量—方向”的显式关系，便于业务人员和算法工程师共同排查。
大语言模型直接预测的局限
让大语言模型直接输出未来的数值，虽然在某些简单场景可行，但存在数值稳定性差、不确定性高、对长时序推理能力有限等问题。相比之下，让大语言模型先输出结构化关系，再由专门的时序模型完成数值预测，更能发挥两类模型的各自优势。
因此，结构化知识提取的价值主要体现在三点：降低文本噪声对时序模型的干扰、显式连接语义与变量、提升整体预测框架的可解释性与可控性。这也是TiMi这类思路被关注的重要原因。
一个完整的“结构化知识提取驱动多模态时序预测”框架，通常包含以下几个核心模块。
原始文本通常需要先进行清洗、分段、去重和基本实体识别。对于业务场景而言，还可能涉及行业术语标准化、时间信息提取和变量名称对齐。例如，将“空调机组出现高压报警”标准化为“设备状态：高压报警”，并关联到对应的设备编号或传感器通道。
这是整个框架最关键的一步。大语言模型的输入是经过预处理的文本片段，输出是结构化的关系三元组或规则形式，例如：
事件：高温预警影响变量：用电负荷影响方向：正向影响类型：即时影响置信度：高
也可以输出更完整的规则描述：
IF 温度超过35℃ THEN 用电负荷预计上升，滞后时间为0～2小时
需要注意，大语言模型在此处的角色是“知识提取器”，而不是“预测器”。它的任务是完成文本到结构化语义的转换，而不是直接给未来时刻的数值。
大语言模型抽取出的关系可能存在冲突、重复或与历史数据统计规律不一致的情况。因此通常需要设置一个知识校验层，通过规则匹配、历史统计或小样本验证，对抽取出的关系进行过滤、合并和置信度修正。例如，模型抽取到“降雨量增加导致某种产品销量下降”，但历史统计显示两者并不存在显著相关时，应当降低该知识的权重或将其标为待验证。
结构化知识进入时序模型的方式主要有以下几种：
不同方式对应不同的耦合强度和工程复杂度，需要结合实际业务选择。
以TiMi为代表的思路，整体工作流程可以概括为以下四步。
第一步，文本输入与切分。将新闻、公告、日志等非结构化文本按时间窗口或事件单位切分，保留时间戳与业务上下文。
第二步，知识抽取。大语言模型对每段文本进行语义解析，输出“事件—变量—方向—时间关系”的结构化表达。此阶段不涉及具体数值预测，只关心“影响是否存在以及影响的方向”。
第三步，知识注入。将结构化知识转换为时序模型可消费的形式，注入到预测网络中。例如，在多变量时序模型中，如果抽取到“A事件对变量X存在正向影响”，则可以增加变量X在当前时间窗口的注意力权重，或在训练阶段强化该方向的梯度响应。
第四步，混合输出。时序模型基于历史数值特征和结构化知识，生成未来多个时间步的预测结果。预测结果可附带影响因子解释，例如“本次预测上行主要受A事件推动”。
可以看出，这样的设计把“语义理解”和“数值预测”解耦了。大语言模型擅长语义归纳，但不一定擅长数值外推；时序模型擅长数值建模，但难以直接利用原始文本。结构化知识提取恰好作为两者之间的桥梁。
结构化知识提取驱动的多模态时序预测，适用于同时具备文本信息和数值时序数据的业务场景。以下是几个典型示例。
文本来源包括天气预警、设备告警、巡检记录、维修工单等；数值时序包括用电负荷、压力、温度、振动等传感器数据。通过抽取“某种天气条件对某类设备运行功率的影响”，可以提升负荷预测和故障风险预测的准确率。
文本来源包括促销计划、市场公告、节假日安排、商品评价摘要等；数值时序包括销量、库存、补货周期等。结构化知识可以帮助模型理解“促销类型对某一品类销量的影响方向”以及“影响持续多久”。
文本来源包括宏观政策、行业新闻、监管公告等；数值时序包括价格、利率、成交量等。抽取“某类政策对某类资产收益率的影响方向”，有助于提升风险模型对事件的响应速度。
文本来源包括发布变更说明、告警描述、故障复盘报告等；数值时序包括CPU、内存、QPS、错误率等。结构化知识可以辅助判断“某次版本发布对下游服务延迟是否存在正向影响”。
在这些场景中，单纯依赖数值模型往往无法及时感知外部事件，而直接依赖大语言模型预测又缺乏数值稳定性。结构化知识提取正好发挥衔接作用。
为了更清晰理解这一思路，可以将其与两种常见方案进行对比。
传统多模态融合通常先将文本转成向量，再与数值特征进行拼接或注意力融合。这种方式虽然在工程上高效，但文本向量中的信息是隐式的，模型难以区分“哪些信息影响了哪些变量”。结构化知识提取则要求模型先输出明确的关系，再进行融合，因此可解释性和变量对齐能力更强。
端到端方式将文本和数值直接输入大模型或统一模型，直接输出预测序列。其优点是流程简单，缺点是模型对数值预测的稳定性和长序列推理能力可能不足。结构化知识提取则将语义任务和数值任务拆开，更适合工程化落地和逐步迭代。
此外，需要注意的是，结构化知识提取并非完全取代传统融合，而是可以作为传统方法的上游增强层。实际系统中也可以将二者结合，例如先抽取结构化关系，再将关系向量与传统文本向量一同输入时序模型。
在实际开发中，采用结构化知识提取驱动多模态时序预测，需要重点关注以下几个方面。
大语言模型输出的结构化关系可能存在格式不稳定、内容冗余或方向判断错误的情况。应在系统层面设置模板约束、格式校验和二次确认机制。必要时可让模型输出置信度，并对低置信结果进行人工抽检或规则修正。
业务系统中变量名称可能存在多种写法，文本中的业务术语也不统一。需要在抽取前进行实体标准化和变量映射，否则抽取出的关系无法落到可用的特征维度上。对齐成本通常是项目初期的最大工作量之一。
事件与变量之间的关系可能随时间变化。例如，某项政策刚发布时影响较强，随后逐渐减弱。因此，结构化知识不应只抽取一次，而应结合时间窗口、数据回流和在线更新机制，持续修正知识库。
在注入结构化知识后，时序模型的计算复杂度可能增加。若需要在线推理，应评估注意力偏置、规则后处理等环节带来的延迟是否可接受。必要时可以将部分知识固化到离线训练阶段，减少在线计算压力。
如果结构化知识是由同一时间段内的未来信息抽取而来，例如用事件发生后的总结报告去预测该事件发生前的数值，则会造成数据泄露。训练时需要严格按时间切分，确保知识抽取只使用当前时刻之前可得的信息。
结构化知识提取驱动的多模态时序预测，是一种将大语言模型从“预测器”重新定位为“知识提取器”的方法。它不追求让大模型直接输出未来数值，而是先抽取“事件—变量—方向—时间”等显式关系，再将这些关系注入专业时序模型，完成最终预测。
这种设计的核心价值在于：明确分离语义理解与数值建模，降低文本噪声干扰，提升变量对齐能力和模型可解释性。它适合处理同时存在外部文本信息和内部数值时序的业务场景，如能源运维、零售供应链、金融风险监控和智能运维等。
需要强调的是，结构化知识提取并非银弹，其成功实施高度依赖知识质量控制、文本与变量对齐、时间一致性和工程化更新机制。对于技术选型者而言，应优先评估自身业务中文本信息的可利用程度和变量体系是否清晰，再决定是否引入这一思路，并设计合理的离线抽取与在线推理架构。