一、 LLaTTE [2026]

《LLaTTE: Scaling Laws for Multi-Stage Sequence Modeling in Large-Scale Ads Recommendation》

1. 我们提出了 LLaTTE（LLM-Style Latent Transformers for Temporal Events），一种用于 production ads recommendation 的 scalable transformer 架构。通过系统性实验，我们证明了推荐系统中的 sequence modeling 遵循与 LLM 类似的 predictable power-law scaling。至关重要的是，我们发现 semantic features 改变了 scaling curve：它们是 scaling 的一个前提条件（prerequisite），使模型能够有效利用 deeper and longer architectures 的容量。为了在严格的latency constraints 下实现 continued scaling 的收益，我们引入了一种两阶段架构，将 large, long-context models 的heavy computation 卸载到异步的 upstream user model。我们证明了 upstream improvements 可预测地迁移到 downstream ranking tasks。作为 Meta 部署的 largest user model，这种 multi-stage framework 在 Facebook Feed 和 Reels 上带来了 4.3% 的 conversion 提升，且 serving 开销极小，为在工业推荐系统中利用 scaling laws 建立了一个实用的蓝图。

2. sequence modeling 和 recommendation systems的融合为人工智能开辟了新的前沿。现代推荐系统，特别是在广告和内容平台中，每天处理数十亿次 user interactions，因为每个用户在产品、广告和内容中的旅程形成了一个丰富的时间序列，编码了 user preferences 和 user intent。虽然大型语言模型（Large Language Models: LLMs）已经证明 deep sequence models 可以通过 predictable scaling laws（《Scaling Laws for Neural Language Models》）实现卓越的性能（能力随着模型大小、数据量和计算量的 power-law functions 而提高），但 production 推荐系统在很大程度上仍然局限于较浅的 sequence architectures （《Self-Attentive Sequential Recommendation》、《BERT4Rec: Sequential Recommendation with Bidirectional Encoder Representations from Transformer》、《Behavior Sequence Transformer for E-commerce Recommendation in Alibaba》）。

   尽管 user behavior的顺序性（sequential nature）和 the potential for similar scaling benefits，这种 gap 依然存在。挑战是双重的：

   • (i)：将 deep sequence models 的计算需求与 production serving 的严格延迟要求相协调，在这些系统中必须在毫秒内对数百个 candidates 进行排序。

   • (ii)：弥合传统的基于 Factorization Machin: FM 的模型（《Wukong: Towards a Scaling Law for Large-Scale Recommendation》）和基于 Transformer 的序列模型之间的架构鸿沟。

     • FM-based models 擅长从大量 sparse and dense feature spaces（user IDs, item IDs, request and contextual features）中学习，但缺乏 sequential modeling 能力。

     • 而 sequence models 捕获时间动态（temporal dynamics），但难以有效整合对 production 性能至关重要的高维 non-sequence features。

   如何在 production 约束下有效 scale sequence models 同时保留两种范式的优势，并在这个 hybrid regime 中利用 predictable scaling laws，仍然是一个连接 research 和实际部署的挑战。

   为了解决这些挑战，我们将研究围绕三个研究问题展开：

   • RQ1：我们如何设计集成了 FM-based architectures 的 sequence models，以同时利用 sparse collaborative signals 和 temporal dynamics？

   • RQ2：推荐系统是否表现出与 LLM 类似的 predictable scaling behaviors，具有可识别的 trade-offs、capacity bottlenecks 和 data quality impacts ？

   • RQ3：我们如何在满足严格的 production 延迟要求的同时利用 scaling benefits ？

   我们引入了 LLaTTE（LLM-Style Latent Transformers for Temporal Events），一种在我们大规模 production 系统中部署的架构范式，它解决了所有三个问题。LLaTTE 通过两个关键创新实现了高效的 scaling，这两个创新将 deep sequence modeling 与我们的 production constraints 相协调：

   • Target-Aware Adaptive Transformer：我们的 sequence module 通过利用 Multihead Latent Attention: MLA（《DeepSeek-V2: A Strong, Economical, and Efficient Mixture-of-Experts Language Model》）将 non-sequence sparse features 和 candidate information 整合到 extended query tokens 中。该架构支持 adaptive pyramidal output extraction，这可以选择性地用于渐进式地降低计算复杂度。这种设计与 FM-style modules 无缝集成，使我们能够在严格的 production inference budgets 内利用 deep sequence processing 的 scaling gains。

   • Multi-Stage Architecture：为了在严格的延迟约束下获取 scaling benefits，我们引入了一个 upstream 阶段，该阶段运行大型 LLaTTE encoders，由 high-value user events 来触发，从而异步生成和缓存 compressed user embeddings （这个 compressed user embeddings 不受 request-time latency 的限制）。online ranking 阶段将这些 cached embeddings 与由 a lightweight LLaTTE counterpart 处理的 fresh, short-horizon sequential signals 相结合。两个阶段共享共同的 sequence architecture，但在截然不同的规模上运行。具体来说，upstream model 消耗 FLOPs 大于 45 倍的 the sequence FLOPs of its online counterpart 。这种不对称性使我们能够将绝大部分 sequence computation 卸载，而不影响 online serving latency。

   通过涵盖模型 depth、模型 width 、序列长度、data enrichment via content understanding model features、以及 cross-stage transfer dynamics 的系统性实验，我们对推荐系统环境中的 foundational scaling behavior questions 提供了全面的答案，揭示了几个关键见解：

   • (i)：性能遵循 predictable log-linear scaling laws，sequence length 作为一个主要的杠杆（a primary lever）。

   • (ii)：data enrichment（如 semantic content embeddings）不仅仅是 additive 的，而是更陡峭 scaling curves 的先决条件，有效地将 scaling laws 弯曲到 sparse ID signals 所允许的范围之外。

   • (iii)：upstream modeling 的改进可预测地迁移到 online ranking 阶段，具有高迁移率（约 50%），即使在严格的 information bottleneck 下也验证了我们 multi-stage design 的有效性。

   • (iv)：模型 width 扮演了容量瓶颈（capacity bottleneck）；在 depth scaling 变得有效之前，必须建立足够的 width 。

   这些发现表明，当架构约束（architectural constraints）得到适当解决时，推荐系统可以从类似于 LLM 的 scaling laws 中受益。

   我们的 production 部署验证了这些发现，证明两阶段架构在我们主要的 revenue-generating models 上实现了 0.25% 的 Normalized Entropy 改进，且 serving 开销极小。总之，我们的架构创新和 empirical scaling laws 为在大规模 production 推荐系统中 scaling sequence models 提供了一个系统框架。

1.1 相关工作

1. 我们的工作涉及三个研究领域：推荐系统中 transformer-based sequence modeling、神经网络的 scaling laws 、以及用于 production 部署的多阶段架构。我们将回顾每个领域并定位我们的贡献。

2. Sequence Modeling in Recommendation：

   • 早期的序列推荐方法使用循环神经网络（RNN）来建模 sequential behavior。

     • GRU4Rec（《Session-based Recommendations with Recurrent Neural Networks》）开创了 RNN 用于 session-based recommendation。

     • 随后是各种 LSTM 变体（《Sequential User-based Recurrent Neural Network Recommendations》）。

   • self-attention 机制的引入标志着该领域的重大进步。

     • SASRec（《Self-Attentive Sequential Recommendation》）和 HLLM（《HLLM: Enhancing Sequential Recommendations via Hierarchical Large Language Models for Item and User Modeling》）将 self-attention 应用于 next-item prediction，实现了并行处理和更好的 long-range modeling。

     • BERT4Rec（《BERT4Rec: Sequential Recommendation with Bidirectional Encoder Representations from Transformer》）采用 masked item prediction 适配了双向 Transformer，而 S3-Rec（《S3-Rec: Self-Supervised Learning for Sequential Recommendation with Mutual Information Maximization》）为序列推荐引入了 self-supervised pretraining。

   • Target-aware attention 机制对于 production CTR prediction 也至关重要。

     • DIN（《Deep Interest Network for Click-Through Rate Prediction》）引入了由 target item 加权的 attention.

     • 随后由 DIEN（《Deep Interest Evolution Network for Click-Through Rate Prediction》）通过 interest evolution modeling 进行了扩展。

   • 近期工作探索了整合 sequential features 和 non-sequential features 的不同架构选择。

     • HSTU（《Actions Speak Louder than Words: Trillion-Parameter Sequential Transducers for Generative Recommendations》）、OneTrans（《OneTrans: Unified Feature Interaction and Sequence Modeling with One Transformer in Industrial Recommender》）和 LONGER（《LONGER: Scaling Up Long Sequence Modeling in Industrial Recommenders》）主张采用 pure sequence-based architectures 的架构。

     • 而 InterFormer（《InterFormer: Effective Heterogeneous Interaction Learning for Click-Through Rate Prediction》）则提出在每一层交错 sequence computation 和 non-sequence computation。

     然而，这些方法需要与特定架构紧密耦合，限制了 independent scaling of sequence modules 的灵活性，并阻碍了跨在线和离线阶段轻松分离 model inference 。这种架构刚性使得 production 系统只能使用相对较小的 sequence models 处理有限的上下文。

3. Scaling Laws：《Scaling Laws for Neural Language Models》 证明了 language model 性能与模型大小、数据集大小和计算预算遵循 power-law 关系。虽然近期工作已在推荐系统中探索了 scaling（《OneTrans: Unified Feature Interaction and Sequence Modeling with One Transformer in Industrial Recommender》、《Wukong: Towards a Scaling Law for Large-Scale Recommendation》），但这些研究通常要么单独考察各个 scaling 维度，要么考察它们的复合效应，而没有系统研究不同 scaling axes 如何交互。此外，它们忽视了 data richness 和 data composition 等关键维度，这些对于大规模 production 推荐系统尤为重要。我们通过建模 depth 、 width 和 feature richness 的联合交互（joint interaction）来解决这个问题，识别 scaling behavior 发生根本性转变的关键阈值。

4. Multi-Stage Architectures in Production RecSys：Multi-stage architectures 将 representation learning 与 task-specific prediction 分离，已成为 production 推荐系统中建模的一种实用范式。这些方法旨在平衡模型表达力与 online serving 的严格延迟要求。

   • Embedding-based 的方法预先计算 user representations，供 online ranking models 使用。

     • Pinnerformer（《PinnerFormer: Sequence Modeling for User Representation at Pinterest》）从 sequential engagement data 中学习 user embeddings。这个 user embedding 是使用一个 transformer，在 engagement windows 上的 dense all-action loss 训练而来。

     • SUM（《Scaling User Modeling: Large-scale Online User Representations for Ads Personalization in Meta》）提供了一个框架，通过异步 inference 在数百个 production models 之间共享 user representations。

     这两种系统都将上游计算与 online serving 解耦，使得能够使用比实时 latency budgets 所允许的更大的模型。

   • TransAct（《TransAct: Transformer-based Realtime User Action Model for Recommendation at Pinterest》）引入了一种混合架构，将 precomputed embeddings 与 real-time processing of recent user actions 相结合。该系统通过 Transformer 处理 recent actions（$O({10}^2)$$O(10^{2})$），同时利用 precomputed embeddings 来捕获长期兴趣。

     TransAct V2（《TransAct V2: Lifelong User Action Sequence Modeling on Pinterest Recommendation》）使用 candidate-anchored nearest neighbor search 和 custom GPU kernels，将 real-time component 扩展到更长的序列（$O({10}^4)$$O(10^{4})$）。

   • 另一种方法使用 retrieval-based designs ，这种方法在每个 request 内同步执行。

     • SIM（《Search-based User Interest Modeling with Lifelong Sequential Behavior Data for Click-Through Rate Prediction》）引入了 GSU-ESU 范式，其中 General Search Unit: GSU 首先检索 relevant behaviors，然后 Exact Search Unit: ESU 单元应用 target-aware attention。

     • TWIN（《TWIN: TWo-stage Interest Network for Lifelong User Behavior Modeling in CTR Prediction at Kuaishou》）通过确保两个阶段使用相同的 relevance metrics 来改进 stages 之间的一致性，在 Kuaishou 扩展到 ${10}^4-{10}^5$$10^{4} - 10^{5}$ 个 behaviors 。

     • TWIN V2（《TWIN V2: Scaling Ultra-Long User Behavior Sequence Modeling for Enhanced CTR Prediction at Kuaishou》）通过 hierarchical clustering compression 扩展到 lifecycle-scale sequences。

   尽管有这些进展，先前的 multi-stage 工作尚未探索遵循 predictable scaling laws 的系统性 model scaling。这些系统通常沿单一维度 scaling（例如 TransAct V2 中的 sequence length），同时整体保持模型相对较小。在这项工作中，我们展示了一个统一的 scaling 框架同时适用于 real-time and asynchronous upstream ranking settings。我们系统研究了 increasing model capacity across multiple dimensions 、以及 allocating capacity between online and upstream stages 是如何影响 production 推荐系统的性能。据我们所知，这是第一个为这种 hybrid upstream-downstream architectures 建立 empirical scaling laws 的工作。此外，我们严格量化了 stages 之间的 transfer ratio，提供了一个度量标准来衡量 scaling laws 如何有效地穿越 inference bottleneck。

1.2 预备知识：Ads Recommendation Stack

1. 我们考虑一个标准的 multi-task ads ranking problem，其中模型预测 engagement 概率，例如点击率（click-through rate: CTR）和转化率（conversion rate: CVR）。这些 calibrated probabilities 用于下游 ranking 和 auction pricing。

2. Task：给定用户 $u$$u$、candidate ad $i$$i$ 和 request context $c$$c$，模型预测 a vector of engagement probabilities：

   $$\overrightarrow{\mathbf{y}}=f({\overrightarrow{\mathbf{x}}}_u,{\overrightarrow{\mathbf{x}}}_i,{\overrightarrow{\mathbf{x}}}_{ui},{\overrightarrow{\mathbf{x}}}_c;\overrightarrow{\theta }\overrightarrow{\theta })\in [0,1{]}^{|\mathcal{H}|}$$

   其中：$\overrightarrow{\mathbf{x}}$$\mathbf{\vec x}$ 表示特征向量；$\overrightarrow{\theta }\overrightarrow{\theta }$$\pmb {\vec \theta}$ 为模型的参数； $\mathcal{H}=\{\text{CTR},\text{CVR},\cdots \}$$\mathcal{H} = \{\text{CTR},\text{CVR},\cdots \}$ 是 prediction heads 集合。

3. Feature Structure：我们沿两个轴对 input features 进行分类。

   • 按特征来源，我们区分：

     • (1)：用户特征 ${\overrightarrow{\mathbf{x}}}_u$$\mathbf{\vec x}_u$（人口统计特征、聚合特征、行为序列 $S_u$$S_{u}$）。

     • (2)：广告特征 ${\overrightarrow{\mathbf{x}}}_i$$\mathbf{\vec x}_i$（创意属性、落地页、广告主元数据）。

     • (3)：user-ad 交叉特征 ${\overrightarrow{\mathbf{x}}}_{ui}$$\mathbf{\vec x}_{ui}$（historical interactions）。

     • (4)：上下文特征 ${\overrightarrow{\mathbf{x}}}_c$$\mathbf{\vec x}_c$（时间、设备、surface）。

   • 按特征类型，特征被处理为：

     • Sparse IDs ${\overrightarrow{\mathbf{x}}}_{\text{sparse}}\in {\mathcal{V}}^{m_{\text{sparse}}}$$\mathbf{\vec x}_{\text{sparse}}\in \mathcal{V}^{m_{\text{sparse}}}$：categorical entities 被映射到 embeddings 。

     • Dense features ${\overrightarrow{\mathbf{x}}}_{\text{dense}}\in {\mathbb{R}}^{m_{\text{dense}}}$$\mathbf{\vec x}_{\text{dense}}\in \mathbb{R}^{m_{\text{dense}}}$：precomputed embeddings（例如，来自 content encoders）。

     • Float attributes ${\overrightarrow{\mathbf{x}}}_{\text{float}}\in {\mathbb{R}}^{m_{\text{float}}}$$\mathbf{\vec x}_{\text{float}}\in \mathbb{R}^{m_{\text{float}}}$：连续变量（continuous variables）。

     • Sequences $S_u$$S_{u}$：时间事件的有序列表（ordered lists of temporal events）。

4. User Sequences：User behavioral sequence $S_u=\{a_1,a_2,\cdots ,a_T\}$$S_{u} = \{a_{1},a_{2},\cdots ,a_{T}\}$ 是一个按时间排序的 list of actions。每个 action $a_t$$a_{t}$ 包含时间戳、action type、item ID、surface type、可选的 content embeddings 和其他 metadata。在我们的实验中，序列长度 $T$$T$ 从 500 到 5000 个 actions 不等。

5. Objective and Evaluation：我们使用加权的 multi-task binary cross-entropy loss 进行训练。我们的主要评估指标是归一化熵（Normalized Entropy: NE）的相对改进。NE 定义为 average log loss 除以 the entropy of the empirical CTR：

   $$\text{NE}=\frac{-\frac{1}{N}\sum _{i=1}^N[y_i\log {\hat{y}}_i+(1-y_i)\log (1-{\hat{y}}_i)]}{-[p\log p+(1-p)\log (1-p)]}$$

   其中： $p$$p$ 是从 ground truth 观察到的经验正例率（empirical positive rate）。

   NE 是工业推荐任务中的标准指标。

1.3 Experimental Backbone: The LLaTTE Paradigm

1. 为了系统研究 recommendation 中的 scaling laws，我们需要一个既代表现代 production 系统、又足够高效以 scale 到 massive contexts 的架构。我们采用模块化设计，称为 LLaTTE（LLM-Style Latent Transformers for Temporal Events），它综合了 efficient sequence modeling 的最佳实践。

   该架构（Figure 1）由三个组件组成：

   • (i)：编码 user behavioral histories 的 Sequence Module。

   • (ii)：将 sequence summaries 与 static features 整合的 Non-Sequence Module。

   • (iii)：用于预测的Task Heads 。

   注意：Upstream User Model 生成的 user representation，被用作于 Online Ranking Model 的 Dense Features。

   

   DHEN 的架构如下：

   

    

2. Compute Allocation：在我们的 production setting 中，sequence module 在 large-scale upstream model 中占 total inference FLOPs 的 90% 以上，而 lightweight sequence module counterpart 约占 online ranking model FLOPs 的 30 %。在后续 scaling 实验中，我们默认将研究重点放在 large-scale upstream model 上，其中改变 Sequence Module 的容量 $(L,d,T)$$(L,d,T)$ 使我们能够在比 lightweight online ranking model 可能实现的更广泛的 compute FLOP range 内探索 scaling behaviors。 Non-Sequence backbone和 Task Heads 在整个过程中保持固定，以隔离 Sequence Module scaling 的影响。

   $L$$L$ 为模型 layer num，代表模型 depth；$d$$d$ 为向量维度，代表模型 width；$T$$T$ 为时间序列长度。

1.3.1 Non-Sequence Backbone

1. non-sequence module 实现了标准的 DHEN-style 架构（《DHEN: A Deep and Hierarchical Ensemble Network for Large-Scale Click-Through Rate Prediction》），这是一种结合 heterogeneous feature interaction modules 的 deep ensemble network。它处理所有 non-sequential features 、以及由 Transformer 产生的 sequence summaries ${\overrightarrow{\mathbf{z}}}_{\text{seq}}^{(k)}$$\mathbf{\vec z}_{\text{seq}}^{(k)}$。 Sparse categorical features 被嵌入并与 dense/float features 拼接起来。concatenated features 通过 $L_{\text{NS}}$$L_{\text{NS}}$ 层的 feature interaction networks，产生 unified representation $\overrightarrow{\mathbf{z}}$$\mathbf{\vec z}$。Prediction heads 是 shallow MLPs，产生概率：

   $${\hat{y}}_h=\sigma \left({\text{MLP}}_h\left(\overrightarrow{\mathbf{z}}\right)\right)$$

   这里的 ${\left\{{\overrightarrow{\mathbf{z}}}_{\text{seq}}^k\right\}}_{k=1}^{n_q}$$\left\{\mathbf{\vec z}_\text{seq}^k\right\}_{k=1}^{n_q}$ 是 Transformer Layer 最后一层的输出。在最后一层，它输出 $n_q$$n_q$ （query token num）个 representations。

1.3.2 Sequence Module

1. sequence module 是我们 scaling study 的焦点。为了在 production 约束下 scaling 到长上下文（lengths > 1000），我们采用了一种 Target-Aware transformer，具有两个关键的 efficiency optimizations：多头潜在注意力（Multi-head Latent Attention: MLA）和自适应金字塔形输出（Adaptive Pyramidal Output）。

   该模块分五步操作：

   • 1) Tokenization：将每个 action $a_t$$a_{t}$ 嵌入为 a token vector ${\overrightarrow{\mathbf{x}}}_t\in {\mathbb{R}}^d$$\mathbf{\vec x}_{t}\in \mathbb R^d$，形成 ${\mathbf{X}}_{\text{seq}}\in {\mathbb{R}}^{T\times d}$$\mathbf{X}_{\text{seq}}\in \mathbb R^{T\times d}$。

   • 2) Fusion：append $n_q$$n_{q}$ 个 query tokens 以形成 ${\mathbf{X}}_{\text{input}}\in {\mathbb{R}}^{(T+n_q)\times d}$$\mathbf{X}_{\text{input}}\in \mathbb R^{(T+n_q)\times d}$。

     • 我们为 online model 编码 the query tokens with user-ad candidate context ${\mathbf{X}}_{\text{query}}\in {\mathbb{R}}^{n_q\times d}$$\mathbf X_\text{query}\in \mathbb R^{n_q\times d}$。

     • 我们为 upstream model 编码 the query tokens with user-only context ${\mathbf{X}}_{\text{query}}\in {\mathbb{R}}^{n_q\times d}$$\mathbf X_\text{query}\in \mathbb R^{n_q\times d}$，因为此时 ad candidate context 尚不可用。

     这种灵活的编码使得同一架构能够桥接 offline 阶段和 online 阶段。

   • 3) Latent Attention：使用 MLA（《DeepSeek-V2: A Strong, Economical, and Efficient Mixture-of-Experts Language Model》）应用到 $L$$L$ 层 Transformer 以减少内存占用。

     参考附录部分。

   • 4) Pyramidal Reduction：在 deeper layers 选择性地移除 older tokens（《OneTrans: Unified Feature Interaction and Sequence Modeling with One Transformer in Industrial Recommender》）。这将计算集中在recent events 和 query tokens上，允许模型在 context length 和 FLOPs 之间进行权衡。

   • 5) Readout：从 the final query-token representations 中抽取 fixed-size summaries。

   这种自适应设计（adaptive design）允许我们在整个技术栈中部署不同风格的 LLaTTE，同时保持统一的建模范式。

   • 在异步的 upstream阶段，我们部署 high-capacity 的变体，其消耗的 sequence FLOPs 是 main ranker 的 $>45$$>45$ 倍（其中超过 90% 集中在 Sequence Module），利用 full self-attention 最大化 representation quality。

   • 相反，online ranking models 采用激进的金字塔修剪（pyramidal trimming）以满足严格的延迟预算。

   该架构由标准化组件组成；完整规格见附录 A。

1.4 Scaling Framework and Methodology

1. 为了严格量化推荐中 scaling 的好处，我们超越了临时的 architecture search，采用系统性的 scaling 框架。与 LLM（其中 input text distribution 通常被视为固定）不同，推荐系统允许我们沿 architectural dimensions 和 input information densities 两方面进行 scale。

   我们将 scaling behavior 表述 compute budget $\mathcal{C}$$\mathcal C$ 的函数，其中 $\mathcal{C}$$\mathcal C$ 为分配给 sequence module 的 compute budget 并以 FLOPs 来衡量。当 information density 保持恒定时，我们假设归一化熵（Normalized Entropy: NE）的改进（相对于我们强大的 production baseline）与计算量遵循幂律关系（power-law relationship），建模为对数线性（log-linearly）：

   $$\mathrm{\Delta }\text{NE}(\mathcal{C})\propto -\alpha \times {\log }_{10}\mathcal{C}$$

   其中： $\alpha$$\alpha$ 表示特定维度的 scaling coefficient（效率）。

   我们研究四个主要的 scaling 的轴：

   • 1) Model Capacity $(L,d)$$(L,d)$：我们改变 Transformer depth $L$$L$ 和 embedding width $d$$d$。一个关键 objective 是：确定最大化 parameter efficiency 的纵横比 $L/d$$L / d$，以确定在推荐系统的 sparse-feature regime 中，在 depth scaling 变得有效之前是否存在关键的 width thresholds。

   • 2) Temporal Horizon $(T)$$(T)$：我们将序列长度 $T$$T$ 视为信息视界（information horizon）的直接代理。我们考察延长 $T$$T$ 是否会产生递减的收益，或者更大的模型是否能有效关注越来越远的 history events $(T\to 5000)$$(T\rightarrow 5000)$。

   • 3) Information Density：标准 scaling laws 假设同质的 token distribution。我们通过改变 tokens ${\overrightarrow{\mathbf{x}}}_t$$\mathbf{\vec x}_t$ 的语义丰富度（semantic richness）来挑战这一点。我们将 sparse ID-based tokens 与 tokens enriched with dense semantic embeddings from foundational content encoders 进行比较，将 signal quality 视为缩放系数 $\alpha$$\alpha$ 的倍数。

   • 4) Cross-Stage Transfer Efficiency：为了量化跨阶段效率（cross-stage efficiency ），我们引入了迁移率（Transfer Ratio） $\tau$$\tau$，它衡量 large up-stream model 的改进如何转化为 production online ranking loss 的改善。该指标考虑了所有 production 干扰因素，如异步 inference latency 惩罚。

     $$\tau =\frac{\mathrm{\Delta }{\text{NE}}_{\text{downstream}}}{\mathrm{\Delta }{\text{NE}}_{\text{upstream}}}$$

     其中：

     • $\mathrm{\Delta }{\text{NE}}_{\text{upstream}}$$\Delta \text{NE}_{\text{upstream}}$ 是 offline user modeling task 中的 loss reduction。

     • $\mathrm{\Delta }{\text{NE}}_{\text{downstream}}$$\Delta \text{NE}_{\text{downstream}}$ 是 online ranking task 中的 loss reduction。

     该指标使我们能够确定哪些 scaling axes 最能通过多阶段架构中固有的 information bottleneck 而保留 gains。

1.5 实验

1.5.1 实验设置

1. Training infrastructure：所有 scaling 实验都在同一个大规模 production recommendation task 上进行，使用专有的工业训练平台。如前所述，我们的实验在大型 upstream model 上进行，以研究最大可达到的 FLOP horizon，超越 online model 的计算极限。模型使用混合精度在 128 NVIDIA H100 GPUs 上训练，并使用 FlashAttention（《FlashAttention: Fast and Memory-Efficient Exact Attention with IO-Awareness》）以提高内存和吞吐量效率。除非另有说明，每个 configuration 在采样自 production traffic distribution 的 30 billion examples 上训练 229K steps。

2. Evaluation metric：我们使用归一化熵（Normalized Entropy: NE）报告所有结果。我们报告相对于 strong production baseline 的 NE 相对降低百分比（%），较低的 NE 值表示更好的性能。在我们的内部数据集上，NE 降低 0.02% 被认为具有统计显著性，并足以产生可衡量的收入影响。

1.5.2 Scaling Model Depth and Width

1. 我们首先研究如何在模型 depth $(L)$$(L)$ 和 width $(d)$$(d)$ 之间分配 a fixed compute budget。我们在固定序列长度 $T=400$$T = 400$ 下对 $L\in \{1,2,4,8\}$$L\in \{1,2,4,8\}$ 和 $d\in \{128,256,512,1024\}$$d\in \{128,256,512,1024\}$ 进行 grid search。

   结果揭示了 depth 和 width 之间的非线性关系：

   • 当模型较窄时（$d=128$$d = 128$），增加 depth 会产生递减的收益；representation capacity 受限于 embedding 维度。

   • 然而，一旦 width 达到临界阈值 $d\approx 256$$d\approx 256$，depth scaling 变得显著更有效。

   • 相反，将计算纯粹分配给 width （固定 $L$$L$ 并增加 $d\to 1024$$d \rightarrow 1024$）产生有限的 NE gains。

   为了说明这些 regimes，Table 1 比较了四种代表性配置。我们包含了一个 "Deep-Balanced" 变体以展示当 depth 和 width 都足够时的 scaling behavior。

   • 极端或不平衡地分配给 width 或 depth 都会导致递减收益。

   • 足够的 width （$d\ge 256$$d \geq 256$）是 depth scaling 有效的前提，而过大的 width 而 depth 不足（例如 $d=1024$$d = 1024$）在计算上效率低下且增益有限。

   • Balanced configurations 最大化性能和计算效率。

   受这些观察的启发，我们在研究其他 scaling axes（如 sequence length 和 content features）时，默认采用 balanced configurations（$d\ge 256$$d \geq 256$）。

   

1.5.3 Sequence Length, Composition, and Content

1. 我们现在研究 LLaTTE 性能如何随时间视界（temporal horizon）（它与 events 数量 $T$$T$ 成比例）而 scale、以及如何随着每个 event 上的 semantic content embeddings 而 scale。

2. Extending the temporal horizon：我们在固定 width 的条件下，对 depth $L\in \{1,2,4,8\}$$L \in \{1, 2, 4, 8\}$ 的模型改变 sequence horizon $T\in \{200,400,800,1600\}$$T \in \{200, 400, 800, 1600\}$。如 Figure 2 所示，在所有 depth 上，NE 随 $T$$T$ 单调下降，证实了更长的 user histories 持续提高 ranking quality。

   additional context 的 incremental benefit 在很大程度上取决于模型容量。Deeper models 在 $T$$T$ 增加时表现出更大的 NE gains，这反映在 Figure 2 中 $L=2$$L = 2$ 与 $L=1$$L = 1$ 的曲线上。

   

   Attention-score probability analyses 也揭示了 long contexts 的效用。The cumulative attention probability distributions over positions （Figure 3）表明，a non-trivial fraction of attention probability 分配在整个 200-1600 token range 内，而不是狭隘地聚焦于 most recent events，这表明中期历史和长期历史对 predictions 具备有意义的贡献。这项研究的细节见附录（见 A.4 节）。

   

3. Balancing freshness and signal strength：我们接下来研究固定长度下序列的 composition。在这种设置中，user histories 结合了 high-frequency, lower per-event signal actions（ad views）和 low-frequency, high-value actions（conversions）。我们固定 $T=1000$$T = 1000$ 并改变这两个 sources 之间的分配（Table 2，上半部分）。

   • views and conversions 的 balanced mixture 表现最佳。

   • 两种极端情况都明显次优。

     • Pure-view sequences表现不佳，因为它们包含许多 low-signal events。

       low-signal event：即这些事件包含了很少的关于用户兴趣的信号，例如 ad views。

     • Pure-conversion sequences 虽然由非常高价值的 events 组成，但性能也会下降，因为 conversions 在时间上是稀疏的： filling a length-1000 sequence with only conversions 迫使模型依赖 older events，而这些 older events 可能不再反映 current intent 。相比之下，Views 提供了 dense and recent coverage。

     表现最佳的 allocations 结合了 the high per-event signal of conversions 和 the temporal freshness provided by frequent views。

   

4. Content-aware scaling: strong content features bend the scaling curve：最后，我们研究 feature richness 如何与 architectural scaling 进行交互。除了 sparse IDs 外，我们还引入了由 fine-tuned LLaMA models 以及处理 heterogeneous multimodal signals（如文本和图像）的 Content Understanding models 所生成的 dense content embeddings，并在不同 depths 比较了 models with and without these features（Table 2，下半部分）。

   有两个观察结果：

   • 首先，在没有 content features 的情况下，将 depth 从一层增加到四层仅产生微小的改进：the 4-layer ID-only model 仅略好于 1-layer baseline。这对应于非常平缓的 scaling 斜率，表明 additional capacity 主要用于 memorizing ID patterns。

   • 其次，当启用 LLaMA content embeddings 时，相同的 4-layer configuration 实现了显著更大的增益，并且 the relative benefit of content 对于更 deeper 的模型明显强于较浅的模型。

   这些结果表明，strong semantic content features 不是可以忽略的附加物（a marginal add-on），而是 effective scaling 的前提条件。The presence of semantic features 实质上改变了 compute–NE curve 的斜率：

   • with ID-only inputs，depth and sequence-length scaling 很快出现递减收益。

   • 而 with content-enriched sequences ，相同 $L$$L$ 和 $T$$T$ 的 increases 会转化为显著更大的 NE gains。

   从这个意义上说，LLaTTE 的 scaling law 本质上是 content-aware 的；孤立地分析模型大小和计算量不足以预测性能。

1.5.4 Global Compute Scaling

1. 最后，我们汇总上述实验以考察 global compute scaling。Figure 4 在对数尺度上绘制了 relative NE gain 与 sequence compute budget $\mathcal{C}$$\mathcal{C}$（以 sequence FLOPs 衡量）的关系。

   结果表明，recommendation 性能与计算量遵循可预测的 power-law 关系。我们对经验数据拟合了一个对数线性模型（log-linear model）：

   $$\mathrm{\Delta }\text{NE}(\mathcal{C})=-\alpha \times {\log }_{10}\mathcal{C}+\beta$$

   其中 scaling 系数 $\alpha$$\alpha$ 由 scaling 策略决定。我们观察到每个轴的不同行为：

   • Sequence Length：该维度表现出最陡的 scaling 斜率。延长 temporal horizon 始终产生每单位计算量（per unit of compute）最大的性能改进，表明模型有效利用了 long-term history。然而，这伴随着 logging and materializing longer user engagement histories 的额外成本。

   • Model Depth：增加 depth 提供了稳健的 scaling behavior。一旦模型 width 被充分 scale up，增加层数为提高 ranking quality 提供了可靠路径。

   • Model Width：width 在架构中扮演基础性角色（foundational role）。虽然 scaling 斜率相对于 depth 或 length 较平缓，但足够的 width 对于最大化其他维度的容量至关重要。

   • Content Quality：如 Figure 4 所示，semantic features 的存在显著增强了其他所有维度的 scaling laws。 Content-enriched models 相比 their ID-only counterparts（黑色线）表现出更陡的斜率，表明 high-quality semantic features 是模型从 increased compute 中 extract value 所必需的。

   这些发现确立了 sequence-based recommendation 是一种 scalable 的范式，能将计算转化为可预测的 performance gains。我们在下一个章节中利用这个 scaling hierarchy，在 production 约束下优化我们的 multi-stage architecture。

   

1.6 Multistage Sequence Model: Towards Maximizing RoI in Production

1.6.1 Motivation and architecture

1. 第 1.5.4 节表明，随着我们 scale depth，特别是 scale sequence length，ranking quality 持续提高。然而，production ranker 每天在严格的 latency budget 下服务数万亿次 requests，这限制了 deployed sequence module 只有少数几层，并且每个 source（即 engagement type）的 horizon 大约为 $T\approx 400$$T\approx 400$ 个 events/tokens。为了在不违反 latency 约束的情况下从有利的 scaling curves 中受益，我们采用了一个 multistage 架构。

   • The latency-constrained downstream model 保持紧凑，并联合关注 user sequences features 和 ad/context features。

   • An asynchronous upstream user model 使用相同的 LLaTTE 架构处理更长的 histories，但仅使用 user-side features，并发布 cached user embeddings，ranker 在 request 时刻消费这些 embeddings。

   这种 separation 引入了一个严格的 information bottleneck，因为 upstream encoder 必须将数千个 historical events 总结为 a single fixed-size vector（在我们的生产部署中，$d_{\text{transfer}}=2048$$d_{\text{transfer}} = 2048$）。我们研究这种 fixed-bandwidth bottleneck 如何影响 scaling laws。

1.6.2 Upstream scaling laws

1. 我们首先单独描述 the upstream user model 的 scaling behavior。使用与第 1.5.4 节相同的 log-linear 拟合程序，我们将估计到的斜率作为 NE improvement，它是 upstream sequence FLOPs 的函数。Table 3 (top)总结了 upstream 斜率和 downstream 斜率之间的比较。

   Table 3a 报告了针对 total model FLOPs 的 scaling slopes。downstream model 在所有维度上都表现出显著更陡的斜率。然而，这种差异反映了一种结构不对称：在 downstream ranker 中，sequence module 仅占 total FLOPs 的约 30%；而在 upstream model 中，sequence module 占 total FLOPs 的约 90%。因此，在 downstream setting 中，Scaling the sequence module 产生更大的 relative improvement per total FLOP。

   为了隔离 sequence module 的内在 scaling efficiency，Table 3b 报告了针对 sequence-only FLOPs的斜率。这种比较揭示了 depth and width scaling efficiency 在两个设置中是一致的。关键区别在于 sequence length：upstream scaling 仅保留了约 50% 的 downstream efficiency。这种差距产生的原因是：upstream encoder 缺少 candidate context，迫使upstream encoder 将 user history 压缩为 a generic representation，而不是执行 candidate-aware attention。因此，只有与 candidates 相关的 long-range signals 能够穿过瓶颈。

   

1.6.3 Transfer efficiency

1. 为了量化我们多阶段架构的效率，回顾迁移率 $\tau$$\tau$。该指标衡量 upstream representation quality 转化为 downstream ranking accuracy 的转化率。

   例如，Table 3c 中的 Seq-heavy configuration 展示了这种关系：升级 upstream encoder 产生 0.14% 的 upstream improvement，这转化为 downstream ranker 0.07% 的改进，对应迁移率 $\tau \approx 50\mathrm{\%}$$\tau \approx 50\%$。

2. Benchmarking Transfer Efficiency：将收益从 asynchronous upstream models 迁移到 online rankers 本质上是损耗性的（lossy）。几个结构性因素通常将迁移效率限制在 25% - 30% 范围内：

   • massive upstream encoders 与 compact downstream rankers 之间的容量差距（capacity gap）。

   • asynchronous inference 引入的陈旧性（staleness）。

   • 以及将 user histories 压缩为 fixed-size user embeddings 所带来的信息瓶颈。

   在此背景下，我们实验中观察到的约 50% 的迁移率是显著的。它表明通过 scaling the sequence encoder 所捕获的 high-level intent signals 对 compression 和 temporal delays 具有鲁棒性，尽管存在 aggressive compression 和 separation from the online scoring context，仍保留了实质性的 predictive value。

3. Architecture Robustness：为了确定 specific architectural choices 是否影响这种效率，我们比较了两种具有 matched compute budgets（约 12 GFLOPs/sample）的 upstream configurations，代表不同的 scaling 优先级：

   • Sequence-heavy：$L=3,d=512,T=1000$$L = 3, d = 512, T = 1000$ 。

   • Model-heavy：$L=6,d=512,T=460$$L = 6, d = 512, T = 460$。

   如 Table 3 (bottom) 所示，两种模型实现了类似的 upstream gains（-0.14% vs -0.13%），并且关键的是，相同的 downstream gains（-0.07%）。这表明在固定的 compute budget 下，架构对于 depth 和 sequence length 之间的分配是鲁棒的。upstream model 的总计算量决定了 downstream 性能，验证了我们可以在 history length 和 model capacity 之间灵活权衡，而不降低迁移率。

1.6.4 Implications for compute allocation

1. 结合 downstream and upstream observations ，这产生一个简单策略：

   • Downstream online ranker：将 latency budget 分配给 short sequence lengths and shallow depths，辅以足够的 width 和 rich content features（ sequence lengths 最高约 $T\approx 400$$T \approx 400$）。

   • Asynchronous upstream user model：利用宽松的 latency budget 来 scale total sequence-modeling compute 。结果表明，downstream 性能主要由 total upstream compute budget 驱动，而非 specific allocation between depth and length。因此，我们部署 upstream models，其中 upstream models 的 sequence compute budget 是 online ranker 的 $45$$45$ 倍。

   这种 two-stage asymmetric strategy 使我们在 latency-constrained ranker 用尽 local budget 后，仍能继续遵循第 1.5.4 节中确定的 scaling frontier，将 additional offline compute 转化为 predictable online gains。

1.7 Production Deployment

1.7.1 Asynchronous embedding service with online LLaTTE

1. 在生产中，我们部署了 two-stage LLaTTE 架构。

   • downstream ranking model 继续在线运行 compact LLaTTE module，在严格的 per-request latency budget 下，在万亿级请求规模上关注 short user histories（per-source horizon 上限约为 $T\approx 400$$T \approx 400$）以及 ad and context features。这个 online LLaTTE model 捕获 fresh user intent signals 并利用 ad-specific interactions，但有意比第 1.5.4 节 scaling study 中考察的模型小得多。

   • 为了在不影响延迟的情况下利用更大的 sequence models，我们引入了一个 asynchronous embedding service，该 service 托管 upstream user understanding LLaTTE model。Embedding updates 不是 computed per request；而是由 high-value user events（主要是 user conversions）触发的。Triggered events 在 dedicated cluster of H100 GPU hosts上处理，使用针对 high-throughput transformer inference 优化好的 deeper and longer LLaTTE models。作为 Meta 部署的最大 user model，这些 upstream encoders 仅使用 user-side features，生成 user representations (embeddings)，并将其 compressed representations 写入 a feature store。在 request 时刻， downstream ranking models 将这些 embeddings 作为 dense features 读取，并在 online downstream LLaTTE ranking model 中使用。

1.7.2 Latency and online gains

1. 将 heavy sequence modeling 卸载到 asynchronous embedding service，这使 ranking path上的 additional cost 保持为a single feature lookup。online downstream LLaTTE model 在设计上保持保守（ depth 和 sequence length）。与没有 upstream LLaTTE user embeddings 的 baseline 相比，我们观察到 P99 ranking latency 没有 measurable change。来自 larger upstream LLaTTE models 的 extra FLOPs 由 H100 cluster 吸收，该 cluster 以低得多的 QPS 运行且 heavily batched。

   在多个大规模 A/B tests 中，the combination of the compact online LLaTTE and the upstream LLaTTE user embeddings 在我们的旗舰 ads ranker 上实现了约 0.25% 的 NE reduction，对应于 Facebook Feed 和 Reels 上 4.3% 的 conversion 提升，年收入的业务影响达数亿美元。这验证了所提出的 two-stage scaling 策略是一种在严格 serving 约束下将 additional sequence-modeling compute 转化为 production value 的有效方式。

1.8 Conclusion & Future Work

1. 在这项工作中，我们提出了 LLaTTE 范式，显著 scale up 了推荐系统中的 sequence learning。通过将大部分计算资源分配给 sequence modeling，我们实现了可预测的且稳健的 scaling behavior。我们系统地分析了跨 standard dimensions（model depth and width）以及 less explored factors（sequence length, composition and richness）的 scaling，证明 optimal scaling 需要同时平衡所有这些因素。

   为了最大化 production impact，我们开发了一种 multistage modeling and deployment strategy：一个在 user-only features 上训练好的计算昂贵的模型，离线且不频繁地运行，同时有效地将这些 gains 迁移到轻量级的 online production model。

   我们的工作与推荐系统 sequence modeling 方面其他显著的行业进展（《OneTrans: Unified Feature Interaction and Sequence Modeling with One Transformer in Industrial Recommender》、《OneRec: Unifying Retrieve and Rank with Generative Recommender and Iterative Preference Alignment》）是并行开发的。这些努力共同表明了 sequence modeling 在大规模推荐系统中的兴起。展望未来，我们计划探索高效 long-context kernels、reinforcement learning、scalable infrastructure solutions 以及 the upper bounds of scaling laws ——因为我们正站在推荐系统 LLM-scale 时代的起点。

1.9 附录 A : LLaTTE Architecture Details

1.9.1. A.1 Non-Sequence Module

1. 令 $\mathcal{E}:\mathcal{V}\to {\mathbb{R}}^{d_e}$$\mathcal{E}:\mathcal{V}\to \mathbb{R}^{d_{e}}$ 表示 embedding lookup for sparse categorical features。我们通过 concatenating embedded sparse features, dense features, float features, and sequence summaries 来构建 initial non-sequence representation：

   $${\overrightarrow{\mathbf{h}}}^{(0)}=\text{Concat}(\mathcal{E}\left({\overrightarrow{\mathbf{x}}}_{\text{sparse}}\right),{\overrightarrow{\mathbf{x}}}_{\text{dense}},{\overrightarrow{\mathbf{x}}}_{\text{float}},{\left\{{\overrightarrow{\mathbf{z}}}_{\text{seq}}^{(k)}\right\}}_{k=1}^{m_{\text{seq}}})\in {\mathbb{R}}^{d_0}$$

   注意，这里 ${\left\{{\overrightarrow{\mathbf{z}}}_{\text{seq}}^{(k)}\right\}}_{k=1}^{m_{\text{seq}}}$$\left\{\mathbf{\vec z}_{\text{seq}}^{(k)}\right\}_{k = 1}^{m_{\text{seq}}}$ 是拼接起来的，而不是经过池化的。

   然后我们应用 $L_{\text{NS}}$$L_{\text{NS}}$ 层的 a feature-interaction network：

   $${\overrightarrow{\mathbf{h}}}^{(\ell )}={\text{NonSeq}}_{\ell }\left({\overrightarrow{\mathbf{h}}}^{(\ell -1)}\right),\ell =1,\cdots ,L_{\text{NS}}$$

   得到：

   $$\overrightarrow{\mathbf{z}}={\overrightarrow{\mathbf{h}}}^{(L_{\text{NS}})}\in {\mathbb{R}}^d$$

   在 production，${\text{NonSeq}}_{\ell }$$\text{NonSeq}_{\ell}$ 使用 DCN/DeepFM/DLRM 风格架构来实例化。

1.9.2. A.2 Sequence Module

1. Action Embeddings：令 $S_u=\{a_1,a_2,\cdots ,a_T\}$$S_{u} = \{a_{1},a_{2},\cdots ,a_{T}\}$ 为按时间排序的 ordered sequence of actions，最早的在前。每个 action $a_t=$$a_{t} =$ $({\tau }_t,{\text{type}}_t,{\text{item}}_t,{\text{surface}}_t,{\text{meta}}_t)$$(\tau_{t},\text{type}_{t},\text{item}_{t},\text{surface}_{t},\text{meta}_{t})$ 被嵌入并投影为一个 token：

   $${\overrightarrow{\mathbf{x}}}_t={\text{MLP}}_{\text{act}}({\mathcal{E}}_{\text{type}}({\text{type}}_t),{\mathcal{E}}_{\text{item}}({\text{item}}_t),{\mathcal{E}}_{\text{surface}}({\text{surface}}_t),{\mathcal{E}}_{\text{time}}({\tau }_t),{\mathcal{E}}_{\text{meta}}({\text{meta}}_t))\in {\mathbb{R}}^d$$

   形成：

   $${\mathbf{X}}_{\text{seq}}=[{\overrightarrow{\mathbf{x}}}_1;{\overrightarrow{\mathbf{x}}}_2;\cdots ;{\overrightarrow{\mathbf{x}}}_T]\in {\mathbb{R}}^{T\times d}$$

   我们对 a subset of hidden dimensions 应用 additive timestamp encodings。

   在 Transformer 中，每个 token（这里是一个用户历史动作）会被表示为一个向量。向量的每一个分量就是一个 hidden dimension。在这里， a subset of hidden dimensions 指的是：不把时间戳编码加到整个 $d$$d$ 维向量上，而是只选择其中一部分维度来承载时间信息。

   论文采用这种设计可能有以下原因：

   • 保留原始语义：用户行为 token中已经包含了 item ID、内容嵌入等丰富语义，如果对整个向量加时间编码，可能会干扰这些语义。只对子集维度加时间信息，可以让其余维度专注于内容表示。

   • 参数效率：时间编码只需要覆盖子集维度，减少了参数量和计算量。

   • 解耦时间与内容：让模型在部分维度上专门感知时间，便于学习时间模式（如周期性、衰减等）。

2. Query Tokens and Fusion：我们引入 $n_q$$n_{q}$ 个 query tokens $\mathbf{Q}\in {\mathbb{R}}^{n_q\times d}$$\mathbf{Q}\in \mathbb{R}^{n_{q}\times d}$，用于 summarize the user–ad request。根据阶段不同，这些 tokens 可以编码 candidate ad features, request context, user-level features, and learned seed tokens（《Perceiver: General Perception with Iterative Attention》）。我们将 sequence 和 query tokens 拼接起来：

   $${\mathbf{X}}_{\text{input}}=\text{Concat}({\mathbf{X}}_{\text{seq}},\mathbf{Q})\in {\mathbb{R}}^{(T+n_q)\times d}$$

   并将 ${\mathbf{X}}_{\text{input}}$$\mathbf{X}_{\text{input}}$ 馈入 Transformer。

3. Transformer Layers and Pyramidal Schedule：我们应用具有 Multi-head Latent Attention: MLA （《DeepSeek-V2: A Strong, Economical, and Efficient Mixture-of-Experts Language Model》）和 RMS 归一化（《Root Mean Square Layer Normalization》）的 L-layer causal transformer 。令 ${\mathbf{R}}^{(0)}={\mathbf{X}}_{\text{input}}$$\mathbf{R}^{(0)} = \mathbf{X}_{\text{input}}$。对于层 $\ell$$\ell$：

   $$\begin{array}{c}{\mathbf{Z}}^{(\ell )}=\text{RMSNorm}({\mathbf{R}}^{(\ell )}+\text{MLA}\left({\mathbf{R}}^{(\ell )}\right))\\ {\mathbf{X}}^{(\ell )}=\text{RMSNorm}({\mathbf{Z}}^{(\ell )}+\text{FFN}\left({\mathbf{Z}}^{(\ell )}\right))\end{array}$$

   遵循 《OneTrans: Unified Feature Interaction and Sequence Modeling with One Transformer in Industrial Recommender》，我们在时间维度上使用自适应金字塔调度（adaptive pyramidal schedule）。如果 ${\mathbf{X}}^{(\ell )}\in {\mathbb{R}}^{(T_{\ell }+n_q)\times d}$$\mathbf{X}^{(\ell)}\in \mathbb{R}^{(T_{\ell} + n_q)\times d}$，则下一层操作于：

   $${\mathbf{R}}^{(\ell +1)}={\mathbf{X}}^{(\ell )}[:,-T_{\ell +1}:;:]\in {\mathbb{R}}^{T_{\ell +1}\times d}$$

   其中 $T_{\ell +1}\le T_{\ell }$$T_{\ell +1}\leq T_{\ell}$。这逐步修剪 older tokens，减少 attention cost $\mathcal{O}(T_{\ell +1}{T}_{\ell }d)$$\mathcal{O}(T_{\ell +1}T_{\ell}d)$ 和 FFN cost $\mathcal{O}(T_{\ell +1}{d}^2)$$\mathcal{O}(T_{\ell +1}d^2)$。

   我们使用三种模式：

   • Full self-attention （$T_{\ell }=T+n_q$$T_{\ell} = T + n_{q}$）：保留 all sequence and query tokens。

   • Pyramidal attention（$n_q<T_{\ell }<T+n_q$$n_{q}< T_{\ell}< T + n_{q}$）：query tokens 加上 $m=T_{\ell }-n_q$$m = T_{\ell} - n_{q}$ 个 most recent actions。

   • Cross-attention （$T_{\ell }=n_q$$T_{\ell} = n_{q}$）：仅保留 query tokens；在最后一层使用。

   Offline (upstream) models 通常使用更多层，这些层采用 full self-attention（除了 final cross-attention layer）。 Online ranking models 在 final cross-attention layer 之前，在 early layers 使用更激进的 pyramidal trimming。

4. Sequence Summaries：final layer 在 query-token positions 输出 ${\mathbf{Z}}_{\text{raw}}$$\mathbf{Z}_{\text{raw}}$。我们将这些投影为一个或多个 fixed-size sequence summaries ：

   $${\mathbf{Z}}_{\text{seq}}^{(k)}={\text{LoRAMLP}}_k(\text{Flatten}({\mathbf{Z}}_{\text{raw}}))\in {\mathbb{R}}^{d_{\text{seq}}}$$

   其中每个 ${\text{LoRAMLP}}_k$$\text{LoRAMLP}_k$ 是一个 low-rank adapted MLP 。

1.9.3 A.3 Multi-head Latent Attention

1. 为完整起见，我们包含 MLA parameterization。对于 $h$$h$ 个 heads，给定输入 $\mathbf{X}\in {\mathbf{R}}^{h\times d}$$\mathbf{X}\in \mathbf{R}^{h\times d}$：

   $$\begin{array}{c}\mathbf{K},\mathbf{V}\in {\mathbb{R}}^{T\times h\times d_k}=\text{split}\left(\text{RMSNorm}\left(\mathbf{X}{\mathbf{W}}_{\text{down}}^{\text{KV}}\right){\mathbf{W}}_{\text{up}}^{\text{KV}}\right)\\ \mathbf{Q}\in {\mathbb{R}}^{T\times h\times d_k}=\text{RMSNorm}\left(\mathbf{X}{\mathbf{W}}_{\text{down}}^{\text{Q}}\right){\mathbf{W}}_{\text{up}}^{\text{Q}}\\ \text{MLA}(\mathbf{X})\in {\mathbb{R}}^{T\times d}=\text{softmax}\left(\frac{\mathbf{Q}{\mathbf{K}}^{\mathrm{\top }}}{\sqrt{d_k}}\right)\mathbf{V}{\mathbf{W}}_{\text{out}}\end{array}$$

   一个关键观察是：连续的线性投影可以在代数上吸收到单一矩阵中。具体来说：

   • ${\mathbf{W}}_{\text{up}}^{\text{Q}}$$\mathbf{W}_{\text{up}}^\text{Q}$ 和 ${\mathbf{K}}^{\mathrm{\top }}$$\mathbf{K}^{\top}$ 上的 ${\left({\mathbf{W}}_{\text{up}}^{\text{KV}}\right)}^{\mathrm{\top }}$$\left(\mathbf{W}_{\text{up}}^\text{KV}\right)^{\top}$ 可以融合。

   • $Q$$Q$ 上的 ${\mathbf{W}}_{\text{up}}^{\text{KV}}$$\mathbf{W}_{\text{up}}^\text{KV}$ 可以吸收到 ${\mathbf{W}}_{\text{out}}$$\mathbf{W}_{\text{out}}$ 中。

   这种简化揭示 MLA 在数学上等价于 latent space 上的 Multi-Query Attention: MQA （Shazeer，2019），其中 queries 被投影到多个 heads ，而 key-value representations 在 compressed latent space 中保持共享。重写的方程如下：

   $$\begin{array}{c}{\mathbf{Q}}_{\text{latent}}\in {\mathbb{R}}^{T\times h\times d_c}=\text{RMSNorm}\left(\mathbf{X}{\mathbf{W}}_{\text{down}}^{\text{Q}}\right)\\ (\mathbf{K}{\mathbf{V}}_{\text{latent}})\in {\mathbb{R}}^{T\times d_c}=\text{RMSNorm}\left(\mathbf{X}{\mathbf{W}}_{\mathrm{down}}^{\text{KV}}\right)\\ \text{MLA}(\mathbf{X})\in {\mathbb{R}}^{T\times d}=\mathrm{softmax}\left(\frac{{\mathbf{Q}}_{\mathrm{latent}}{\mathbf{W}}^{\text{QK}}(\mathbf{K}{\mathbf{V}}_{\mathrm{latent}}{)}^{\mathrm{\top }}}{\sqrt{d_c}}\right)\cdot (\mathbf{K}{\mathbf{V}}_{\text{latent}}){\mathbf{W}}_{\text{out}}^{\text{V}}\end{array}$$

   .

1.9.4 A.4 Attention Weight Distribution

1. 我们研究了 attention weight distribution $P$$P$ ：

   $$P=\text{softmax}\left(\frac{\mathbf{Q}{\mathbf{K}}^{\mathrm{\top }}}{\sqrt{d_k}}\right)$$

   为了增强 visualization of attention weights，我们在 a single-layer transformer LLaTTE backbone 中同时减少了 the number of query tokens 和 the number of attention heads。我们提取了每个 query token 相对于整个 user sequence 的 attention probabilities，并在来自不同 user requests 的足够多样本上聚合了这些概率。

   我们的分析表明，模型将更大比例的注意力分配给 most recent events。然而，它继续对 longer-term history 分配 non-negligible probabilities，表明模型不会完全忽略 earlier events（Figure 3）。有趣的是，我们还考察了通过 selecting topK event tokens 而不是 most recent k tokens 的 cumulative attention weight，这代表了通过 selecting k tokens 可达到的理论最大 cumulative attention weight。

   

   此外，我们在 daily level 识别出显著的季节模式。如 Figure 5 和 Figure 6 所示，attention weight 峰值出现在 24-hour intervals 的尖锐处。这表明个体用户倾向于在一天中的相似时间表现出重复的 interests 和 behaviors。

   虽然这些发现与我们的直觉一致，但我们认识到对 user behavior 与 behavioral sequences 之间更细粒度的理解仍然是一个开放的探索领域。我们呈现这些初步结果，以鼓励更广泛社区的进一步研究和贡献。