从双维度RSI到推理侧RSI：打造更适配的推理引擎

一、概念定义：什么是推理侧RSI

推理侧RSI，可以理解为“推理系统的递归自我改进机制”：它把智能体领域中“递归自我改进（Recursive Self-Improvement，RSI）”的思想，从任务执行层下沉到模型推理系统——由开源智能体平台作为任务入口，负责理解优化目标、规划步骤、调用工具并跟踪进度；由推理侧自改进框架负责管理实验、记录改动、核对性能与输出质量；每一次优化是否保留，最终都依据NPU等真实加速硬件上的实测结果来决定。

准确理解这个定义，需要先厘清两个前置概念。

其一，什么是RSI。递归自我改进指系统利用自身能力改进自身，并把每一轮改进的经验沉淀下来，用于驱动下一轮改进，形成持续循环。业界某开源智能体平台（由实验室、高校与企业开发者共同建设，社区活跃度较高）此前提出的双维度RSI框架，把这一理念落在两个方向：一是优化提示词、技能、工具与执行约束，改进智能体的“工作方法”；二是持续打磨科研论文与算法程序，提升实际的“交付成果”。相关能力已在配套的智能体协作框架版本迭代中逐步落地，并进一步加入基于执行轨迹的经验积累、可复用技能组合与多智能体团队评价的优化闭环。

其二，推理系统如何分工。推理，就是把模型输入变成图片、语音或文字的执行过程：模型决定“算什么”，推理框架安排“怎么算”，NPU负责实际执行计算。三者各司其职，性能瓶颈可能出现在任何一环。

在此基础上，推理侧RSI可以从三个视角进一步理解：

• 技术视角：一套“提出改动—实测验证—评估取舍—经验沉淀”的自动化闭环，被改进的对象是算子、执行路径与推理引擎本身；
• 业务视角：解决“模型能跑，但不好用”的问题。能跑只说明软硬件链路接通；要跑得快、算得对、少等待，必须持续调优；
• 使用视角：开发者以接近自然语言的方式提出优化目标，由智能体拆解为具体实验，逐项验证后输出可保留的优化方案。

二、背景与价值：为什么“能跑”不等于“好用”

模型能在NPU上运行，并不代表计算过程中没有重复计算、无效等待和不必要的数据搬运。常见问题包括：相同的中间结果被反复计算；大量小算子逐一启动，带来调度与访存开销；数据排布与硬件访存特点不匹配；算子实现未针对硬件计算单元做最优选择。所谓“NPU亲和”，就是让计算方式更适合硬件：能复用的信息不重复算，能合并的小操作一起执行，数据布局和算子选择都与硬件特性相匹配。

传统上，这类调优高度依赖专家经验：改一处代码需要重新构建、部署、压测，试错成本高；改动散落在代码与文档中，难以追溯；提速与输出质量容易顾此失彼；前人的调优经验也难以复用。推理侧RSI的价值正在于此：把调优过程闭环化、可度量、可回滚、可积累。

公开数据也印证了优化空间之大。据相关项目公开的测试记录，在单张主流AI加速卡、统一精度等固定配置下，针对某语音合成大模型定制的专用推理引擎，吞吐最高达到通用多模态推理框架的约14.2倍、另一主流开源推理框架的约4.8倍；某图像生成模型的单次生成耗时从约3111.5毫秒降至约2459.6毫秒，下降约21.0%。同样的模型、同样的硬件，推理系统的组织方式不同，效率差距可以非常大。

三、核心组成：三级调优与一个闭环

推理侧RSI把调优分为三个阶段，优化范围由局部逐渐扩大：

1. 算子级调优：针对单个计算算子做替换或重写，例如为旋转位置编码（RoPE）选择更匹配硬件的实现，让单个操作执行得更快；
2. 框架级调优：调整模型在推理框架中的执行路径，例如共享调制参数（modulation）准备、合并重复计算、尝试变分自编码器（VAE）加速等，消除环节间的冗余与等待；
3. 场景专用引擎生成：面向语音合成、图像生成等输入输出模式高度固定的场景，生成端到端的专用推理引擎，裁掉通用框架为“兼容一切”而付出的开销。

与之配套的，是一个由三方角色构成的闭环：

• 智能体平台（任务入口）：理解优化目标，规划实验步骤，调用工具执行，并跟踪整体进度；
• 推理侧自改进框架（实验管理）：记录每次改动的内容与动机，组织基准测试，核对吞吐、时延与输出质量，并沉淀调优经验；
• 硬件实测（最终裁判）：所有取舍基于NPU上的实测数据，而非理论推演。

四、工作原理：一个可回溯的优化循环

推理侧RSI的运行过程，可以用下面的示意伪代码概括：

# 推理侧RSI闭环示意（伪代码）
baseline = 固定配置下测得的基准性能与输出质量
循环 每一轮:
    目标     = 理解优化目标()                # 例：降低图像生成时延
    候选改动 = 规划改动方案(目标, 历史经验)   # 算子替换 / 路径调整 / 引擎生成
    for 改动 in 候选改动:
        性能 = 实测吞吐与时延(改动)          # 固定硬件、精度、并发等配置
        质量 = 比对输出质量(改动, baseline)   # 画质、音质等不发生回退
        if 性能提升 且 质量达标:
            保留(改动); 经验库.沉淀(改动, 收益)
        else:
            回滚(改动); 经验库.记录(失败原因)

以框架级调优为例：针对某图像生成模型，在既有通用多模态推理框架的执行路径上做优化——从共享modulation准备、采用合适的NPU RoPE实现，到尝试VAE加速——每改一处都单独检查速度与画质；测试在单张加速卡、BF16等固定配置下进行，保证前后对比可比。再如场景专用引擎：语音合成的输入输出模式高度固定，专用引擎可以大幅精简通用框架中的分支与调度逻辑，因此吞吐提升尤为显著。

更重要的是经验沉淀：每次尝试无论成败都会进入经验库，后续优化可以复用既有技能组合、参考历史执行轨迹，并通过多智能体评价进一步把关，让系统“越用越准”。

五、典型应用场景

1. 多模态模型在国产加速卡上的部署优化：图像生成、语音合成、语音理解等负载，往往同时包含注意力、卷积与采样等异构计算，正是三级调优的用武之地；
2. 私有化环境的持续调优：模型升级或硬件换代后，重新触发闭环即可在新环境中重新寻找最优配置；
3. 云上推理服务：对于通过百度智能云等云平台获取算力的团队，这类机制可与模型服务、监控告警、日志服务等通用云能力配合，形成从实验、验证到上线的完整链路；
4. 推理框架研发：作为自动化回归与选型工具，持续对比不同实现路径在真实硬件上的表现。

六、与相关概念的区别

• 与传统人工调优：人工调优依赖专家一次性投入，经验难以沉淀；推理侧RSI把改动、数据与结论结构化管理，可追溯、可复现、可累积；
• 与编译期图优化：编译优化在部署前一次性完成（如算子融合、布局转换），属于静态优化；推理侧RSI在部署后仍以实测驱动持续迭代，两者互补而非替代；
• 与AutoML：AutoML优化模型结构与训练超参，改变的是“模型本身”；推理侧RSI优化“怎么算”，改变的是“推理系统”；
• 与智能体侧RSI：双维度RSI改进的是智能体的工作方法与交付成果，推理侧RSI改进的是模型背后的推理栈，二者共同构成从“做事”到“跑模型”的完整自我改进体系；
• 与性能监控：监控只负责观察与告警，推理侧RSI进一步“动手改”，并把改动效果重新交给实测验证，构成完整闭环。

七、使用注意事项

1. 保证基准可比：固定硬件型号、精度（如BF16）、并发数、批大小与随机种子，否则提速结论不可信；
2. 速度与质量并重：每次改动都要做输出质量校验，避免“快了，但糊了”；
3. 单变量原则：一轮实验只改一处，便于准确归因；
4. 可回滚与灰度：自动改动在进入生产前应经过评审与灰度验证，并保留一键回滚能力；
5. 完整记录环境：驱动、固件、框架版本等信息均应写入实验记录，确保结果可复现；
6. 保留兜底路径：并非所有算子都能找到更优实现，优化失败时应能回退到原有实现，保证功能可用；
7. 评估投入产出：对调用量较小的长尾模型，闭环调优的收益应与其运行成本相匹配。

八、总结

回到定义本身：推理侧RSI是把智能体“自我改进”能力延伸到推理系统的一套方法论与工程机制——智能体平台负责组织任务与规划步骤，自改进框架负责实验管理与结果核对，硬件实测负责最终裁决；三级调优（算子级、框架级、场景专用引擎）让优化范围由局部走向整体。它的核心价值在于：让“模型能跑”进化为“模型好用”，并且这种好用的状态可以随模型与硬件的演化而持续保持。它的适用边界也很清晰：需要真实硬件访问、可靠的基准测试与质量校验体系作为前提；它不替代推理框架自身的基础工程，而是在其之上叠加一层持续进化、越用越适配的能力。