真实面经题目 · 原创解析
FLUX 系列可以概括为在潜空间里工作的 Flow Matching 图像生成 Transformer。它不是传统以 U-Net 为主体的扩散架构，而是把噪声潜变量、文本条件、时间步、位置编码和可选引导信息统一送入多模态 Diffusion Transformer，由模型预测从噪声走向图像潜变量的速度场，再通过多步采样积分得到干净潜变量，最后由自编码器解码成图像。回答时要抓住潜空间生成、文本条件编码、多模态 Transformer 主干、Flow Matching 采样过程这四条主线。
可以这样回答：FLUX 系列的整体框架是 latent-space rectified flow transformer。输入侧先把文本通过文本编码器转成语义 token 和全局条件，把随机噪声作为图像潜变量 token，并加入时间步、位置编码以及可选的 guidance 条件；主干侧使用多模态 Diffusion Transformer，典型做法是先用双流结构分别处理文本流和图像流，通过联合注意力建立跨模态关系，再用单流结构把文本和图像 token 放在同一序列里进一步融合；生成侧不是直接预测像素，而是在潜空间预测从噪声分布到数据分布的速度或更新方向。采样时从高噪声潜变量出发，按时间调度逐步积分到低噪声潜变量，最后用 VAE 或自编码器解码为图片。它的优势是文本对齐好、全局一致性强、适合大模型扩展；限制是算力和显存开销高，细粒度可控性、文字渲染、复杂空间关系和安全边界仍依赖训练数据、采样策略和外部控制模块。
FLUX 系列本质上属于新一代文本到图像生成框架：生成过程发生在压缩后的图像潜空间，核心网络是 Transformer 风格的多模态生成模型，训练目标更接近 Flow Matching 或 Rectified Flow。它和早期 Stable Diffusion 常见的文本编码器、U-Net 去噪、自编码器解码范式不同，FLUX 把图像 patch 潜变量和文本 token 都当作序列建模对象，用注意力机制完成跨模态融合和全局建模。
图像侧并不直接在 RGB 像素上生成，而是由自编码器定义一个低维潜空间。训练时真实图片会被编码成潜变量，再与不同噪声强度混合；推理时则从随机噪声潜变量开始。这样做能显著降低序列长度和计算成本，同时让模型关注语义、结构、纹理等压缩表示。最终得到的干净潜变量再交给解码器还原成可见图片。
文本提示词会先经过文本编码器，得到两类重要条件：一类是逐 token 的语义序列，用于表达主体、属性、关系、风格和约束；另一类是更全局的句向量或池化条件，用于调制整个生成过程。FLUX 这类模型通常强调强文本理解能力，因此长提示词、复杂组合描述和风格约束会通过文本 token 进入 Transformer 主干，而不是只作为简单的全局向量使用。
生成模型必须知道当前处在从噪声到图像的哪个阶段，所以时间步会被映射成高维时间嵌入，用来调制 Transformer 层的归一化、注意力或 MLP 分支。图像 token 还需要二维位置编码，文本 token 也需要序列位置信息，二者共同帮助模型理解哪个图像 patch 对应哪个空间位置、哪个词在句子中承担什么语义角色。
FLUX 的关键可以理解为多模态 Diffusion Transformer。双流阶段通常会给文本 token 和图像 token 保留各自的投影、归一化和前馈网络，使两种模态先在适合自己的表示空间中处理；同时通过联合注意力或跨模态注意力让文本和图像互相影响。随后进入单流阶段，把文本 token 和图像 token 合并成一个序列，用统一的 Transformer 块继续建模。
传统扩散模型常被描述为一步步预测噪声并去噪；FLUX 更适合用学习一条从噪声分布流向数据分布的路径来理解。模型在给定时间 t、文本条件和当前潜变量的情况下，预测当前点应该沿哪个方向移动，采样器再按时间调度把这些小更新累积起来。这个过程类似求解一个从纯噪声到清晰图像潜变量的连续动力系统。
推理时流程通常是：先解析提示词并生成文本条件；根据目标分辨率创建随机潜变量 token 和空间位置 id；选择采样步数、时间调度和引导强度；在每个时间点把当前潜变量、文本 token、时间嵌入、位置编码和引导条件送入 Transformer，得到速度或更新方向；迭代完成后取出图像潜变量并由解码器生成最终图片。
FLUX 架构的优势在于 Transformer 的可扩展性强，长文本理解和全局一致性通常优于旧式 U-Net 框架，复杂构图、风格遵循和细节质量也更容易随模型规模提升。但它仍不是确定性图形引擎：复杂计数、精确文字、严格几何、物理一致性和罕见概念组合可能失败；大 Transformer 也带来显存、延迟和部署成本。
传统 Stable Diffusion 的核心去噪网络多是 U-Net，通过卷积和交叉注意力处理图像潜变量与文本条件；FLUX 的核心是 Transformer 风格的多模态生成主干，把图像潜变量 patch 和文本 token 序列化处理，并使用 Flow Matching 或 Rectified Flow 思路预测从噪声到数据的更新方向。
直接在像素空间生成会让序列长度和计算量非常大，尤其是高分辨率图片。潜空间通过自编码器把图片压缩到更紧凑的表示，模型在这个空间里学习结构、语义和纹理变化，最后再解码成图片。这样可以在质量和计算成本之间取得更好的平衡。
双流阶段让文本和图像保留各自的表示处理路径，因为语言 token 和图像 latent token 的统计特性不同；通过联合注意力，它们又能交换信息。单流阶段把两者合并成统一序列，让模型做更深的跨模态推理。前者强调模态专用建模，后者强调统一融合。
普通扩散常用逐步预测噪声、从噪声中还原样本来解释；Flow Matching 更强调学习一个连续向量场，告诉当前带噪潜变量该往哪个方向移动才能接近真实数据分布。二者都可以产生逐步采样过程，但训练表述、预测目标和采样解释不同。
主要局限包括显存和推理成本高、长图或高分辨率时序列长度压力大、复杂文字渲染和精确计数仍可能失败、对提示词风格敏感、训练数据偏差可能反映到输出中。实际产品化还需要安全策略、内容过滤、延迟优化和可控生成模块配合。
