简介：本文系统解析一种全新的像素空间扩散模型架构，它摒弃了传统隐空间模型依赖预训练自编码器的两阶段流程，通过双层级Transformer设计与像素级调制机制，直接在原始像素域完成高质量图像生成。本文将深入剖析其核心原理、技术优势与适用场景，帮助读者理解这一技术如何兼顾计算效率与生成细节，并展望其在图像编辑、文本生成图像等领域的应用前景。
像素空间扩散模型是一种直接在原始图像像素坐标上进行生成建模的技术方案。与当前主流的隐空间扩散模型不同，它不需要预先训练一个自编码器将图像压缩到低维隐空间，而是让扩散与去噪过程直接发生在高分辨率、高密度的像素域中。
本文所探讨的核心技术方案，是一种单阶段、完全基于Transformer架构的像素空间扩散模型。该模型通过精心设计的双层级结构，实现了对全局图像语义与局部像素纹理的分别建模，从而在计算开销可控的前提下，保留了像素级生成的精细度。这一方案解决了传统两阶段流程中自编码器有损重建、误差累积以及端到端联合优化困难等固有问题。
当前业界广泛使用的主流图像生成方案，大多遵循“压缩-生成”的两阶段范式。第一阶段，训练一个自编码器将高分辨率图像压缩为低维隐空间表示；第二阶段，在隐空间上进行扩散去噪，再将生成的隐向量解码回像素空间。
这一流程存在三个难以回避的问题：
直接在像素空间进行扩散虽然避免了上述问题，但同样面临严峻挑战：
正是基于以上背景，一种能够在像素空间实现高效且高质量生成的新架构应运而生。
该模型的架构设计围绕“双层级”理念展开，将图像生成过程拆解为语义规划与细节填充两个递进阶段。
该模块负责全局语义理解与结构规划。它采用尺寸较大的图像块作为输入单位，例如8×8或16×16像素，从而将原始图像压缩为较短的token序列。在这一相对低分辨率的表示上，模型可以高效地执行远程注意力计算，建立图像不同区域之间的长距离依赖关系。此层级的输出是全局语义token，它们蕴含了图像的整体布局、物体分类、空间关系等高层信息。
该模块专精于局部纹理细节的生成。它对每个像素进行独立的token化处理，构建密集的像素级token序列。在此层级上，模型能够解析发丝、布料褶皱、植物叶脉等高频细节信息。但直接对所有像素token执行全局注意力计算是不可行的，因此该模块采用了特殊的工作机制（详见下文“工作原理”部分）来控制计算成本。
两个层级的Transformer并非孤立运行，而是通过特定的调制机制实现信息互通。块层级语义模块输出的全局语义token，会作为条件信号注入像素层级模块的每一个token计算过程中，从而确保精细的像素生成方向严格遵循全局语义的引导。
为了让像素级token的更新过程与全局上下文对齐，该模型引入了像素级自适应层归一化机制。具体而言，块层级模块输出的语义token会线性变换为缩放参数与偏置参数，作用于每一个像素token的归一化层。这意味着，每个像素在更新时，都会被全局语义信息所“校准”，既保留了独立纹理生成的灵活性，又不会偏离整体图像的主题与布局。
这是该架构控制计算复杂度的关键技术。在执行全局注意力计算之前，模型先将密集的像素token序列进行空间压缩，例如通过卷积或重排操作，将相邻像素的信息融合为数量更少的中间token。在完成全局注意力计算之后，再通过对称的操作将这些中间token解压缩回原始的像素级密度。这一“压缩-计算-解压缩”的流程，成功地将全局注意力的计算复杂度从“像素数量”的量级降低到“像素数量/压缩倍数”的量级，使得密集像素建模在工程上变得可行。
整个模型完全采用单阶段的端到端训练方式。输入图像在像素空间加噪，模型接受带噪像素序列与条件信息（如类别标签或文本描述），直接预测噪声。损失函数为简单的均方误差，反向传播贯穿双层级所有参数。整个训练过程无需任何预训练的自编码器，也无需阶段性的中间监督。
该技术方案在多个图像生成任务中展现出与主流方案媲美甚至超越的效果：
在标准图像生成基准上，该模型通过双层级架构与高效像素建模，能够快速收敛并生成清晰度极高的图像。相比于同类型像素空间生成方案，其在带噪像素序列处理上的高信号一致性，显著减少了生成样本中的结构错乱与细节模糊。
得益于Transformer架构天然适合跨模态对齐的特性，该模型成功扩展到文本到图像生成任务。它可以直接在1024×1024分辨率的像素空间进行预训练，接受文本编码器输出的语义向量作为条件。在包含复杂组合语义的评测中，这一方案展现出对文本指令的准确遵循能力与细节还原能力。
这是该方案最具独特优势的场景。由于整个生成过程全程在像素空间操作，没有任何中间自编码器介入，因此不存在因“编码-解码”带来的信息损耗。在需要进行内容保留的图像编辑任务中，像素空间模型能精准保留原图中的纹理、光照与材质质感，避免出现斑点状伪影或“水彩画”失真现象。
隐空间扩散模型的核心特征在于存在一个独立的压缩感知阶段。其优势在于计算效率高、对硬件资源要求相对较低；其代价是重建精度受限于自编码器的瓶颈设计。而像素空间扩散模型跳过了这一瓶颈，拥有更高的信息保真上限，代价是计算资源消耗更大。
早期的像素空间Transformer尝试将所有像素token置于一个层级中，直接进行全局自注意力计算，这会导致显存占用爆炸。双层级架构的关键突破在于“分而治之”——用低成本的大块token完成全局建模，再用高密度的像素token聚焦局部，两者通过调制机制协同。这使得像素空间方法首次在实用算力约束下展现了竞争力。
尽管该技术方案优势明显，但在实际工程化落地时仍需关注以下问题：
像素空间扩散模型的本质价值，在于它重新定义了图像生成的质量上限与流程范式。通过双层级Transformer架构，该方法成功化解了“像素级细节保留”与“全局注意力计算开销”之间的矛盾，实现了端到端、单阶段、高保真的图像生成。它不需要任何预训练的自编码器，从根源上避免了有损重建带来的伪影问题，尤其适合对内容忠实度有极高要求的图像编辑与专业创作场景。对于正在技术选型的开发者或研究人员而言，这一方案的适用边界清晰——若你的核心诉求是纹理保真度的最大化与完全端到端的可训练性，并且你具备足够的计算资源，那么这一技术路径值得作为重点考察方向。随着更高效的注意力近似算法与硬件加速技术的发展，像素空间生成模型将具备更广阔的应用前景。