真实面经题目 · 原创解析
原则上，ref 图像 token 和 noise_latent token 在联合注意力里需要使用兼容的位置坐标，否则模型很难判断参考内容和待生成区域的空间对应关系。但是否区别对待取决于具体实现：常见做法是二者使用同一类二维位置编码或 RoPE 坐标体系，同时通过空间坐标范围、序列拼接位置、offset、segment/modality 标识、mask 或额外条件嵌入来区分 ref 与 noise_latent。关键不是断言某个实现一定怎样，而是说明位置编码要保证可对齐，又要避免 ref token 和 target token 在联合序列中语义混淆。
可以这样回答：Kontext 这类图像编辑或参考图像条件生成模型里，ref 和 noise_latent 通常都会被 patchify 或 token 化后送入同一个 Transformer/attention 框架，因此它们的位置编码不能是完全不兼容的两套体系。noise_latent 表示当前扩散步骤中待去噪的目标 latent，ref 表示参考图像或条件图像 token。为了让注意力能够建立空间对应，二者一般会共享同一种二维位置编码定义，比如同样的 h/w 网格坐标、同样的 RoPE 频率规则或同样的 packed image id 结构。但共享坐标体系不等于完全无差别。实现上可能会对 ref 和 noise_latent 做区分：二者在拼接序列中的位置不同；ref 可能有单独的 modality/segment 标识；如果担心相同二维坐标导致 token 混淆，可能给 ref 的 position id 加 offset，或者让 ref 与 target 使用不同空间 id 区间；noise_latent 通常还会受 diffusion timestep、guidance 或 denoising state 影响，而 ref 更多是稳定条件输入，不一定参与同样的噪声时间状态建模。
这个问题问的不是单纯的位置编码公式，而是联合注意力中两类 token 的空间身份如何表达。ref 是参考条件，noise_latent 是当前要去噪并最终生成的目标 latent。二者都可能进入同一个 Transformer，因此模型必须同时知道每个 token 在空间上的位置，以及它来自参考图像还是来自待生成目标。位置编码解决在哪里，modality 或 segment 信息解决属于谁。
如果 ref 和 noise_latent 的位置坐标完全不兼容，注意力虽然还能计算相似度，但很难形成稳定的空间对应。例如目标区域左上角的 latent token 想参考 ref 左上角的结构时，如果两边坐标体系不同，模型需要额外学习复杂映射，训练效率和泛化都会变差。因此更合理的原则是：二者至少共享一种可比较的二维空间坐标语义。
如果 ref token 和 noise_latent token 使用完全相同的位置编码，并且没有任何来源标识，模型在联合序列中可能难以区分这个 token 是参考图像的一部分，还是正在被去噪的目标 latent。尤其当二者尺寸相同、位置坐标也相同的时候，仅靠内容向量区分来源会增加学习负担。因此很多实现会引入 token type、modality embedding、segment id、不同拼接区间或坐标 offset。
noise_latent 是扩散或流匹配过程中的动态变量，它随 timestep 改变，模型的任务是预测噪声、速度、残差或干净目标相关量。因此 noise_latent 的位置编码通常用于描述目标 latent 网格中的空间位置，同时它还会受到时间步嵌入、条件控制、guidance 等全局状态影响。它不是普通图像 token，而是带有当前去噪状态的生成对象。
ref 通常是参考图像、条件图像或编辑上下文，它提供结构、身份、风格、局部内容或背景信息。ref token 一般是稳定条件，不像 noise_latent 那样在每个去噪步骤中被直接更新。它需要位置编码来告诉模型参考内容的空间布局，但未必使用与 noise_latent 完全相同的 timestep 处理方式。常见区分方式是给 ref 加条件类型标识，或在拼接时放入独立区段。
具体实现可能有多种：一种是 ref 和 noise_latent 共用二维 RoPE 或同一 image position id，依赖 segment embedding 区分来源；一种是二者同样使用二维坐标，但 ref 的坐标整体加 offset，避免与 target 坐标完全重叠；一种是 packed sequence layout 中把 ref token 和 target token 拼接在不同区间，position id 或 attention mask 随布局变化。
如果没有具体代码或论文细节，不能武断地说某个模型一定给 ref 加 offset，或一定共享全部 position id。更稳妥的回答是讲原则：联合 attention 需要 ref image tokens 和 noise latent tokens 的位置坐标兼容，以便建立空间关系；但为了区分条件 token 与待生成 token，工程上可能在空间 id 范围、offset、modality marker、序列布局或 mask 上做区别。
如果没有额外来源标识，模型可能把相同坐标处的 ref token 和 target token 混淆，不清楚哪个是参考条件、哪个是要预测的目标状态。解决方式通常是增加 modality/segment embedding、调整序列布局、使用不同 attention mask，或给其中一类 token 的坐标加 offset。
不一定。noise_latent 与当前去噪步骤强相关，通常需要 timestep 或等价时间条件。ref 是条件输入，很多设计中它不作为被去噪变量，因此未必直接加同样的 timestep embedding。但也可能通过全局条件调制、交叉注意力投影或联合 Transformer 层间接受到时间状态影响。
可以拼接，但需要保留来源信息。普通拼接只解决 token 放在一个序列里的问题，不能自动解决 token 角色问题。模型需要知道哪些 token 是上下文、哪些 token 是需要生成的 latent，否则训练目标和注意力语义会变得不清晰。
这取决于模型结构。绝对编码简单直接，但对分辨率和长宽变化的泛化可能较弱；二维 RoPE 或类似相对位置方法更适合 Transformer 中的空间关系建模，也更容易扩展到不同尺寸。重点不是名称，而是位置表示要支持二维空间关系和跨 token 源对齐。
通常会先把它们映射到各自 latent grid，再用二维坐标表示各自空间位置。如果需要强对齐，可以通过 resize、crop、归一化坐标或尺度感知的位置编码减少错位。联合注意力仍然可以跨不同 token 数量工作，但坐标设计要让模型理解相对空间关系。
