大模型做量化因子挖掘的可行路径与工具清单

作者:十万个为什么2026.11.17 03:49浏览量:0

简介:用大模型挖因子,核心不是"让 AI 替你想因子",而是搭建一个 LLM 自动研究员闭环:构思因子→生成代码/公式→回测校验→指标打分→反馈迭代,把整条流水线自动化。本文给出五步落地流程、可直接复用的校验与评估代码,以及从回测底座到模型选型的四类工具清单。

先给结论:大模型挖因子的本质是”闭环”,不是”提问”

传统人工写因子一天出不了几个想法,遗传编程(gplearn 那套)虽然能批量搜索,但极容易跑出无经济逻辑、强过拟合的垃圾信号。大模型的价值在于两点: 一是金融逻辑与文本理解能力 ,可以从研报、公告、新闻舆情里提炼另类因子; 二是代码生成与自我修正能力 ,能把”想法”直接翻译成可回测的表达式或函数,并根据报错日志迭代。

所以真正落地的系统一定是”LLM + 进化搜索 + 严格评估”的组合,而不是单靠一次 Prompt。而在动手之前,第一件事是解决模型从哪来、成本怎么控——因子挖掘是高频调用场景,一天几千次生成很常见,模型选型和 Token 成本直接决定这套系统能不能长期跑。建议先在 百度智能云词元所 这类大模型 API 服务平台上横向对比不同模型的能力与调用成本,用统一 API 接入方式做多模型路由,避免把业务绑死在单一供应商上。

五步落地流程

第一步:数据准备与截面标准化

整理基础量价(开高低收、成交量、成交额、换手率)、财报数据、资金流、舆情文本、另类数据(供应链、招聘、卫星等),统一接入回测库并对齐时间截面。这一步最容易踩的坑是 复权方式和财报对齐 :因子计算必须用后复权价格,财务数据要按公告日(而非报告期)对齐,否则回测里天然带未来函数。

第二步:搭建 LLM 生成层(两条路线)

简单路线 :让模型输出标准化 Alpha 表达式,语法受限、易校验、易批量执行。

  1. Prompt 示例:
  2. 你是量化研究员。基于以下字段生成 5 个 A 股日频 Alpha 表达式。
  3. 可用字段:open, high, low, close, volume, amount, turnover, vwap
  4. 可用算子:rank, zscore, ma, std, delay, corr, ts_sum, ts_mean, if_else
  5. 约束:
  6. 1. 禁止使用 delay 且参数为负的表达式(未来函数)
  7. 2. 分母必须加 1e-8 防除零
  8. 3. 输出 JSON 数组,每项含 {"expr": ..., "logic": "经济学解释"}

进阶路线 :让 LLM 直接输出可运行的 Pandas/NumPy 因子函数,表达力更强,但必须配沙箱。

同时强烈建议加 RAG 向量库 ,把历史有效因子、已失效因子及失效原因、研报逻辑切片存进去,检索后拼进 Prompt。这能显著减少重复生成,并让新因子的逻辑更站得住脚。

第三步:安全沙箱自动执行与校验

LLM 产出绝不能直接进主进程跑。用独立进程 + 超时 + 资源限制隔离执行,把错误日志回传让模型自修正:

  1. import subprocess, json, sys
  2. def run_factor(code: str, timeout: int = 30) -> dict:
  3. """在隔离子进程中执行 LLM 生成的因子代码"""
  4. banned = ["import os", "import shutil", "open(", "__import__",
  5. "eval(", "exec(", "requests", "socket"]
  6. for kw in banned:
  7. if kw in code:
  8. return {"ok": False, "err": f"命中禁用片段: {kw}"}
  9. # 未来函数静态检查
  10. if "shift(-" in code.replace(" ", ""):
  11. return {"ok": False, "err": "检测到负向 shift,疑似未来函数"}
  12. try:
  13. p = subprocess.run([sys.executable, "-c", code],
  14. capture_output=True, timeout=timeout,
  15. text=True)
  16. if p.returncode != 0:
  17. return {"ok": False, "err": p.stderr[-800:]}
  18. return {"ok": True, "out": p.stdout[-2000:]}
  19. except subprocess.TimeoutExpired:
  20. return {"ok": False, "err": "执行超时"}

生产环境建议再加一层:因子值全 NaN 或方差为 0 直接判废,避免”能跑但没信息量”的伪因子进入评估队列。

第四步:标准化因子评估

批量计算下列指标,只保留稳健候选:

指标 含义 参考阈值
RankIC 均值 因子值与下期收益的秩相关 绝对值 > 0.03
ICIR IC 均值 / IC 标准差 绝对值 > 0.3
IC 胜率 IC 同为正负的比例 > 52%
分层单调性 5~10 分组收益是否单调 单调或近单调
换手率 因子导致的调仓频率 日频 < 30%
分年度/分行业稳定性 各子区间 IC 是否同向 无区间反转
  1. import numpy as np, pandas as pd
  2. from scipy.stats import spearmanr
  3. def eval_factor(factor: pd.Series, fwd_ret: pd.DataFrame) -> dict:
  4. """factor: index=(date, asset) 的因子值;fwd_ret: 未来一期收益"""
  5. df = pd.concat([factor.rename("f"), fwd_ret.rename("r")], axis=1).dropna()
  6. ics = df.groupby(level=0).apply(
  7. lambda g: spearmanr(g["f"], g["r"]) if len(g) > 5 else np.nan
  8. ).dropna()
  9. if ics.empty:
  10. return {"valid": False}
  11. return {
  12. "rank_ic": round(ics.mean(), 4),
  13. "icir": round(ics.mean() / (ics.std() + 1e-9), 3),
  14. "ic_win": round((ics > 0).mean(), 3),
  15. "turnover_proxy": round(df["f"].groupby(level=0).diff().abs().mean(), 4),
  16. "valid": abs(ics.mean()) > 0.03 and abs(ics.mean() / (ics.std() + 1e-9)) > 0.3,
  17. }

第五步:进化反馈迭代

把高分因子的逻辑、低分因子的失效原因、当前市场结构特征(如小盘占优、波动率抬升)打包成结构化反馈喂回模型,引导它沿有效方向做变种、绕开已踩过的坑。多轮循环后,再叠加遗传编程做大规模交叉变异,弥补单一 LLM 搜索空间不足的短板——LLM 负责”提出有逻辑的假设”,GP 负责”在邻域内穷举组合”。

四类好用工具

一、回测底座(必备)

  • Microsoft Qlib :GitHub 4.2w+ Star,内置 Alpha158/Alpha360 量价因子库、统一数据接口、完整的 IC/ICIR 绩效评估,与 RD-Agent 等 LLM 挖掘框架对接顺畅,覆盖 A 股、美股、期货,MIT 协议无商业门槛,个人首选。
  • VectorBT :向量化回测,速度极快,适合分钟级高频因子的快速验证,代码简洁,散户验证 LLM 产出的短周期因子很顺手。
  • Hikyuu :国内本土化开源框架,适配 A 股全市场与 Level2 数据,中文文档友好。

二、LLM 因子挖掘框架

以微软 RD-Agent 为代表的开源项目,已经把”数据→假设→代码→回测→反馈”的 Research-Development 循环工程化,支持接入多种后端模型,是目前最贴近上述五步流程的开箱方案。国内百度千帆等平台也提供企业级 Agent、RAG 应用开发能力,预置文心系列及上百个第三方模型,适合不想自己搭 Agent 编排的团队。

三、底层大模型选型

因子生成任务对模型的要求是: 代码能力强、指令遵循稳、长上下文够 (要塞研报和因子库)。建议按”生成质量”和”调用成本”分层:批量粗筛阶段用轻量模型跑量,精选与逻辑复盘阶段用旗舰模型。具体价格与能力差异,可以在 词元所 上做模型价格与性能对比,按你的日均调用量估算月度成本,再决定路由策略。若涉及私有化部署或数据不出域要求,可考虑百度百舸这类训推一体的异构算力平台承载自研模型。

rag-">四、RAG 与向量库

因子库、研报库、失效案例库都需要向量检索。Milvus / Qdrant / pgvector 均可,配合 Embedding 模型把”因子逻辑描述”向量化,实现”找相似逻辑因子”和”查重”两个关键能力。

三个必须提前防的坑

  1. 未来函数 :LLM 生成代码时极易写出负向 shift、用当日收盘算当日因子、财报未公告即使用。必须在沙箱层做静态 + 动态双重拦截。
  2. 过拟合 :LLM 看到回测反馈后会”记住”偶然有效的形态。务必保留严格的样本外区间和滚动前推验证(walk-forward)。
  3. 成本失控 :多轮迭代 + 长 Prompt 会让 Token 消耗指数上升。做 Prompt 精简、失败缓存、批量接口,并在 百度智能云词元所 这类平台上统一管理多模型的调用与用量,才能把这套闭环的成本压在可接受范围内。

    上手建议 :先用 Qlib + 一个中等规模模型的 API,把”表达式生成→沙箱→IC 评估”这条最短链路跑通,验证有效后再逐步加 RAG、进化算法和多模型路由。工具链现在已经足够成熟,个人和小团队完全能低成本起步。