一、Zenith [2026]

《Zenith: Scaling up Ranking Models for Billion-scale Livestreaming Recommendation》

  1. 准确地 capturing feature interactions 在推荐系统中至关重要,近期趋势表明,scaling up 模型容量可能是实现 next-level predictive performance 的关键驱动因素。尽管先前工作已经探索了各种模型架构来捕获多粒度的 feature interactions,但相对较少的注意力被放在高效的 feature handling、以及在不过度增加推理延迟的情况下扩展模型容量上。在本文中,我们通过提出 Zenith 来解决这一问题。

    Zenith 是一种可扩展的且高效的 ranking 架构,能够以最小 runtime overhead 来学习复杂的 feature interactions。Zenith 被设计为使用 Token Fusion 模块和 Token Boost 模块处理少量且高维的 Prime Tokens,由于其 improved token heterogeneity,相比其他 SOTA 的 ranking 方法表现出更优的 scaling laws。其现实世界有效性通过将该架构部署到 TikTok Live 得到证明,TikTok Live 是一个领先的在线直播平台,吸引了全球数十亿用户。我们的 A/B 测试表明,Zenith 在 online CTR AUC and Logloss 上达到 +1.05% / -1.10%,并在 Quality Watch Session / User 上实现 +9.93% 的增益,在 Quality Watch Duration / User 上实现 +8.11% 的增益。

  2. 推荐系统在现代在线平台中扮演着至关重要的角色,帮助用户发现相关内容、产品或服务。feature interaction 已被认为是推荐模型中的关键机制。近年来,深度学习已成为建模此类 interactions 的强大范式。通过学习 hierarchical, non-linear representations of users, items, and other context information,深度神经网络可以捕获复杂的 feature interactions 和高阶的 correlations。

    随着越来越大规模 user behavior datasets 的可用性、以及大型语言模型中 scaling laws 所展示的有效性(《Scaling laws for neural language models》),近期研究也关注 scaling recommendation models。一些工作致力于扩展 sparse feature embeddings(《Persia: An open, hybrid system scaling deep learning-based recommenders up to 100 trillion parameters》、《High-performance, distributed training of large-scale deep learning recommendation models》),而另一些工作则专注于增强 embedding 之上的 dense model components 或 sequence modeling layers(《Understanding scaling laws for recommendation models》、《Wukong: Towards a Scaling Law for Recommendation Models》)。

    尽管取得了这些进展,基于深度学习的推荐系统随着模型规模增加仍面临关键挑战。

    • 首先,许多神经网络架构,例如 transformer,最初是为自然语言处理等任务设计的。虽然在其原生领域高效,但它们并未直接针对推荐场景的 unique characteristics 进行优化——特别是日益庞大且多样的 sparse feature embeddings,这些 embeddings 需要仔细的 token-level handling。Hiformer (《Hiformer: Heterogeneous feature interactions learning with transformers for recommender systems》)已表明,原始注意力机制对于 ranking 模型而言表达力不足,但还需要更多工作来获得进一步洞见。

    • 其次,大多数现有工作没有提供灵活的设计从而用于 scaling up。相反,它们只能 scale up 层数或内部隐藏单元(《Dcn v2: Improved deep & cross network and practical lessons for web-scale learning to rank systems》、《DHEN: A Deep and Hierarchical Ensemble Network for Large-Scale Click-Through Rate Prediction》、《Wukong: Towards a Scaling Law for Recommendation Models》)。这种暴力 scaling 方法通常导致收益递减,并使跨不同 feature sets 和 frameworks 的部署复杂化。

      论文中批评的暴力 scaling 主要是 “增加层数” 或“增加 “hidden units”。这种做法通常预设了一个相对固定的输入结构和特征交互方式。

      • 一旦换一套 feature set:输入 embedding 维度、token 数量、特征分组方式可能都要重新设计;原本调好的层宽、深度、学习率、正则化等超参可能全部失效。

      • 一旦切换不同的框架:从一个框架迁移到另一个框架时,可能需要重写或重新优化大量算子。

      所以,这句话的本质是:

      • 暴力 scaling 让模型规模增长与特征集、框架实现深度耦合,导致每换一套特征或一个框架,都要重新做结构适配、超参调整和工程优化。

      • 而 Zenith 试图通过 Prime Token 和模块化 tokenwise 设计,把这种耦合解开。

    • 第三,现实世界大规模在线推荐系统需要同时处理数百万请求,同时将延迟保持在毫秒级,这使得传统模型难以在不产生过高计算成本的情况下保留复杂架构的收益。

    为应对这些挑战,我们提出 Zenith(Optimized Efficient Neural Interaction with Tokenwise Handling),一种新颖的 ranking 模型架构,在不损害在线性能的情况下丰富模型表达力。Zenith 背后的关键理性是将少量的、高维的 feature tokens 视为基本处理单元(fundamental processing units)。具体来说:

    • 我们的 starting embedding layer 将 input sparse features 投影为 separate embeddings,并将相同 category 内的 feature embeddings(例如,user demographic features、user past interaction sequences)组合成更高维的 Prime Tokens,与原始特征数量相比,token 数量显著减少。

    • 为了处理这些 Prime Tokens,我们设计了两个专用组件:Token Fusion 模块和 Token Boost 模块。

      • Token Fusion 模块通过建模 input token 之间的 pairwise interactions 来镜像 a cross network。

      • 而 Token Boost 模块独立地处理每个 token,保留并 refine 其 individual semantics。正如我们将在本文中展示的,独立处理每个 Prime Token 对于在 interaction layers 之间保持 token heterogeneity 以获得更好的 scaling up 潜力至关重要,同时显著减少计算开销。

    Zenith 相对于其他 SOTA 的 ranking 架构在各种模型规模下的优越性,通过我们在 TikTok Live 推荐平台上的离线和在线评估得到证明,该平台服务全球数十亿用户。

    总结来说,本文的主要贡献是:

    • 我们提出 Zenith,一种新颖的 ranking 模型架构,具有 Prime Token 设计和 tokenwise handling。我们提供了关于 token heterogeneity 在 scaling up ranking models 中重要性的洞见,并展示我们的设计如何细致地增强这一重要属性。

    • 我们分别介绍 Zenith 中 Token Fusion 模块和 Token Boost 模块的两种有效设计。具体来说:

      • 我们为 Token Fusion 提出 Retokenized Self-Attention (RSA) 和 Tokenwise Multi-Head Self-Attention (TMHSA)。

      • 我们为 Token Boost 提出 Tokenwise SwiGLU (TSwiGLU) 和 Tokenwise Sparse Mixture of Experts (TSMoE)。

      这些设计在模型参数和计算方面相对于 SOTA 的 ranking 架构表现出更优的 scaling laws。

    • 我们基于 TikTok Live 推荐平台数十亿真实世界 user interaction data 提供了离线评估和在线 A/B 测试结果。与基线相比:

      • 所提出的新架构在离线 AUC/logloss 上达到 +1.05% / -1.10%。

      • 所提出的新架构在在线 A/B 测试中在 Quality Watch Session / User 上达到 +9.93%,在 Quality Watch Duration / User 上达到 +8.11%。

      这些结果充分展示了其在工业生产环境中的强大实际有效性。

      整体思路类似于 TokenMixer,有一点值得关注: token heterogeneity 在 scaling up ranking models 中很重要。

      Zenith 可以理解为:参数化的 TokenMixer,及 O1=XX⊤XWR∈RT×k,然后再重排。

1.1 相关工作

  1. Feature Interaction in Recommender Systems:推荐系统通常依赖丰富的、multi-domain 的 feature inputs。建模这些特征之间的 interactions 对于准确预测至关重要。

    • 在早期系统中,手工制作的 cross features 通常用于显式捕获此类 interactions(《Practical lessons from predicting clicks on ads at facebook》)。

    • 因子分解机(Factorization Machines: FM)(《Factorization machines》)作为建模 pairwise feature interactions 的经典方法出现,尽管它们缺乏建模高阶关系的能力。

    • 随着深度神经网络(DNN)的出现,研究人员观察到 DNN 可以隐式地建模高阶 feature interactions。这启发了结合显式建模和隐式建模的混合方法。

      • Deep&Wide(《Wide & deep learning for recommender systems》)将线性组件与 DNN 结合。

      • 而 DeepFM(《DeepFM: A factorization-machine based neural network for CTR prediction》)和 DLRM(《Deep Learning Recommendation Model for Personalization and Recommendation Systems》)将 FM 集成到 deep 架构中。

      • xDeepFM (《xdeepfm: Combining explicit and implicit feature interactions for recommender systems》)和 DCN(《Deep & cross network for ad click predictions》、《Dcn v2: Improved deep & cross network and practical lessons for web-scale learning to rank systems》)等模型引入 enhanced cross-networks 来捕获高阶显式的 interactions。

  2. Attention-based Feature Interaction Architectures:随着 attention 机制在多个领域取得成功,attention-based 的模型在 feature interaction modeling 中受到关注。

    • AutoInt(《Autoint: Automatic feature interaction learning via self-attentive neural networks》)采用 multi-head self-attention layers。

    • 而 InterHAt(《Interpretable click-through rate prediction through hierarchical attention》)和 ACN(《Attentive capsule network for click-through rate and conversion rate prediction in online advertising》)等模型通过 task-specific enhancements 来扩展了这一设计。

    通过将 input features 转换为 unified tokens,可以有效地应用 attention layers(《Hiformer: Heterogeneous feature interactions learning with transformers for recommender systems》、《DHEN: A Deep and Hierarchical Ensemble Network for Large-Scale Click-Through Rate Prediction》、《Wukong: Towards a Scaling Law for Recommendation Models》)。然而,注意力机制最初是为自然语言设计的,其中 tokens 相对独立且语义清晰。相比之下,推荐系统中的 feature tokens 通常依赖上下文且语义纠缠(semantically entangled)。Hiformer(《Hiformer: Heterogeneous feature interactions learning with transformers for recommender systems》)通过引入 heterogeneous attention layer 来解决这一差距。

    然而,仍存在若干开放问题,例如减轻更深层中的 token homogeneity,以及实现 tokens 之间的显式信息交换。

  3. Scaling Laws in Ranking Models:来自大型语言模型(LLM)的 findings 表明,增加模型规模可显著提高性能(《Scaling laws for neural language models》)。这一趋势也在大规模 ranking 模型中观察到。

    • Wukong(《Wukong: Towards a Scaling Law for Recommendation Models》)经验性地验证了 scaling laws 也适用于推荐模型。

    • 虽然 expanding embedding sizes 和 increasing hidden layer dimensions 是直接的 scaling 方法,但 DLRM(《Deep Learning Recommendation Model for Personalization and Recommendation Systems》)和 DHEN(《DHEN: A Deep and Hierarchical Ensemble Network for Large-Scale Click-Through Rate Prediction》)等工作表明,在计算约束下堆叠 diverse architectural modules 也可以产生性能增益。

    • 专家混合(MoE)框架(《Modeling task relationships in multi-task learning with multi-gate mixture-of-experts》)最初为 multi-task learning 而提出,已被证明在各个领域有效。MoE 模型通过引入多个 expert subnetworks 来增加容量,其中只有 a subset of experts 在 inference 期间被激活。这种 sparse activation 策略,称为 Sparse MoE(《Glam: Efficient scaling of language models with mixture-of-experts》、《Switch transformers: Scaling to trillion parameter models with simple and efficient sparsity》),允许在将模型扩展到数十亿参数的同时进行高效的训练和推理,使其成为 scaling large ranking models 的有前景技术(这些 large ranking models 需要严格的推理延迟)。

    尽管有这些进展,仍缺乏对不同 scaling 策略有效性的系统分析,特别是在结合 modular stacking 和 MoE 架构方面。虽然 Wukong (《Wukong: Towards a Scaling Law for Recommendation Models》)在固定 FLOPs 或参数预算下探索了 model depth 和 hidden dimension size 的影响,但它主要关注简单 scaling 方法——例如增加层数或宽度——并未考虑更高级的组合,如不同 token interaction 策略和 sparse activations based on MoE。

  4. Generative Recommenders:另一条工作线关注生成式推荐器(Generative Recommenders: GRs)。与传统推荐系统预测 user–item interaction scores 不同,GRs 基于 user behavior sequence 直接生成 future items。尽管近期有进展,GRs 不太可能完全取代传统方法。在实践中,由于 generative modeling 过程,GRs 在训练效率和推理延迟方面面临重大挑战(《A survey on generative recommendation: Data, model, and tasks》)。此外,传统推荐模型可以通过充当 reward models 来补充 GRs 从而指导 generation(《Onerec: Unifying retrieve and rank with generative recommender and iterative preference alignment》)。因此,GRs 代表一个并行研究方向,不在本文的研究范围之内。

1.2 方法

1.2.1 设计概览

  1. 如 Figure 1 所示,我们提出的 ranking 模型架构 Zenith(Optimized Efficient Neural Interaction with Tokenwise Handling)由一个 tokenization layer 和 stacked neural network layers 组成。

    • tokenization layer 同时处理 sparse categorical features 和 dense features,将它们投影为一组紧凑的高维 representations,我们称之为 Prime Tokens。

    • 每个 neural network layer 随后处理这些 Prime Tokens,并包含两个核心组件:Token Fusion (TF) 模块和 Token Boost (TB) 模块。

  2. Token Fusion 模块捕获 feature interactions,其作用类似于传统 feature crossing。然而,与因子分解机(Factorization Machines: FM)或 Cross Networks 等显式方法不同,Token Fusion 网络专为处理 Prime Tokens 而定制。它执行显式的 inter-token crossing 和隐式的 intra-token feature fusion,使模型能够在训练期间选择性地关注最相关的 interactions。

  3. 接下来,Token Boost 模块应用 tokenwise transformations 以增强token heterogeneity 并提高整体模型表达力。如第 1.3.2 节详述,在 scaling up model depth 时,保持 token heterogeneity 至关重要。传统全连接前馈网络(fully connected feed-forward networks: FCFFN)随着层的加深而倾向于同质化 token representations,但我们提出的 Token Fusion 模块通过鼓励每个 token 专注于 distinct information 来缓解这一点,从而在层间保持 heterogeneity。

  4. 在以下小节中:

    • 我们将首先介绍 the prime tokenization of features,然后是 Token Fusion 模块和 Token Boost 模块。

    • 这些模块组件可以用各种架构选择来实例化,我们将为每个组件介绍两种有效设计,共同制定 Zenith 和 Zenith++ 版本的架构。虽然 Zenith++ 在更大模型规模下提供更优的 scalability 和性能,但 Zenith 更易于实现且需要更少的超参数调优,同时也优于现有基线。

    • 我们还将讨论实践中使用的 additional training 和 inference optimizations。

1.2.2 Prime Tokenization of Features

  1. 先前工作(《DHEN: A Deep and Hierarchical Ensemble Network for Large-Scale Click-Through Rate Prediction》、《Wukong: Towards a Scaling Law for Recommendation Models》)已证明 feature tokenization 的有效性。对于我们的直播推荐 setting,我们发现少量更高维的 Prime Tokens 比 using one or more tokens for each input feature 效果更好。因此,在标准的 feature bucketization and embedding lookups之后,feature embeddings 使用多层感知机(MLP)被映射到 a global token space。

    • 语义相似的特征(例如,user demographic features)首先被拼接,然后被映射到单个 prime token。

    • 只有重要的特征,如 user ID 和 sequence features,被映射到单独的 token。

      sequence features以整个序列为单位整体映射成一个 Prime Token。序列内部的所有 event 信息被编码聚合到该 token中,而不是每个 event 单独成为一个 Prime Token。

      注意,可以存在多个 sequences,例如 click sequence、conversion sequence 等等。

    结果,K 个 input features 将映射为 T 个 tokens,其中 T≪K。与传统方法依赖显式 feature interactions 不同,Token Fusion 模块在训练期间自动学习过滤和聚合 relevant token interactions。因此,与通常计算所有 feature pairs 的explicit interactions 的传统模型相比,这种方法显著降低了资源消耗。此外,这使我们能够使用更复杂的 tokenwise 方法来增强对每个 Prime Token 的理解。

  2. 我们的详细 tokenization 策略如下:

    • (1):ID features 被分配单独的 token。ID 类型特征(例如,user ID、item ID)的 embeddings 对大多数 interaction pairs 至关重要,因此值得 explicit token representation。

    • (2):Tokens 应保留完整 feature embeddings。单个 feature embedding 不应被分割到多个 tokens 中。保持 feature embeddings 的完整性对于有效的 token fusion 至关重要。

    • (3):Remaining tokens 应基于语义分组,并保持信息负载平衡。对于non-ID 特征,我们对 embeddings 进行分组,使每个 token 包含相似数量的语义相似的 feature embeddings,确保 tokens 之间信息分布平衡。

1.2.3 Token Fusion

  1. Token Fusion 模块的功能类似于传统 feature interaction 机制,关键区别在于我们设计中的每个 Prime Token 可以聚合来自多个特征的信息。Figure 2a 展示了 Zenith 中使用的 Token Fusion 设计,以及 Zenith++ 中采用的增强版本。

  2. Retokenized Self-Attention (RSA):在 Zenith 中,我们采用 Retokenized Self-Attention 网络,它由一个 self-attention 模块后接一个 retokenization 组件以促进 token interaction(Figure 2a, left)。self-attention 机制通过引入 value 组件和可学习 weight matrix 扩展了传统 FM 结构,使模型能够关注 input 的不同部分。

    由于我们的 Prime Token 设计,每个 token 可能编码多个 features,其中这些 features 需要进一步的 interaction。为解决这一点,我们引入 retokenization 模块,其中 Prime Tokens 交换信息,允许原本嵌入在同一 token 内的 features 相互融合,以便在下一 self-attention 层中进行后续 interactions。

    input Prime Tokens 是一个矩阵 X∈RT×D,其中 T 是 tokens 数量,D 是 token 维度。我们通过下式计算 self-attention interaction:

    O1=XX⊤XWR∈RT×k

    其中:WR∈RD×k 为待学习的权重参数。

    这就是简化版的 self attention:query 投影矩阵和 key 投影矩阵都是单位矩阵、移除了 softmax、没有除以 D。这三者组合起来就是这个简化版本。

    然后我们将 O1 展平并重新 tokenize 为 OTF∈RT^×D,使得 Tk=T^D。这种 retokenization 是一种 computation-free 的操作,它增加每个 token 的 contextual richness,并使得同一 Prime Token 内的 feature crossing 成为可能。

    由于 OTF 输出 T^ 个 tokens,我们使用 MLP 将原始输入 X 加到 OTF 上以构建残差网络,最终输出 XTB:

    XTB=Norm(OTF+MLP(X))∈RT^×D
  3. Tokenwise Multi-Head Self-Attention (TMHSA):对于 Zenith++,我们将 Fused Self-Attention 网络升级为 Tokenwise Multi-Head Attention 用于 token fusion。TMHSA 通过为每个 Prime Token 分配不同的 query、key 和 value 投影矩阵,显著增强模型表达力,从而使模型能够容纳显著更多参数。与传统注意力机制在 token 间共享投影权重不同,tokenwise attention 为每个 token 引入 unique projections,在不显著增加计算成本的情况下实现更丰富交互。

    由于 TMHSA 为 Prime Tokens 提供足够容量以充分交互和交换信息,我们移除了 Zenith++ 中的 retokenization 模块。

    具体来说,将第 i 个 token 表示为 ti,它的 representation 为 t→i∈RD。multi-head attention layer 的输出计算为:

    OTF=concat({QhKh⊤dkVh}h=1H)∈RT×DQh=concat({t→iW(i,h)Q}i=1T)∈RT×dkKh=concat({t→iW(i,h)K}i=1T)∈RT×dkVh=concat({t→iW(i,h)V}i=1T)∈RT×dk

    其中:

    • H 为 attention heads 数量,dk=D/H 为每个 head 的维度。

    • W(i,h)Q,W(i,h)K,W(i,h)V∈RD×dk 是投影矩阵,它们是 token- and head-specific 的。

    经过残差之后,Token Fusion 的输出(也就是 Token Boost 的输入) XTB 为:

    XTB=Norm(OTF+X)∈RT×D

    与传统 multi-head attention 区别:

    • 传统 multi-head attention 也是 token-wise 来计算的,但是不同 token 共享相同的参数。

    • 这里采用 token-wise 不同的参数。

1.2.4 Token Boost

  1. Token Boost 模块在增强模型表达力和增强 token heterogeneity 方面发挥关键作用,正如我们稍后将在第 1.3.2 节中展示的,这对于高效 scaling up 至关重要。Prime Token design 使每个 token 能够捕获丰富的且多样化的信息,有效地充当 a collection of specialized experts,类似于 Mixture-of-Experts 网络中的 experts。为补充这一点,我们的 Token Boost 模块设计以 tokenwise parameterizations 为中心,其中每个 token 都有自己的 token boost 网络。

  2. Tokenwise SwiGLU (TSwiGLU):对于 Token Boost 的 Zenith 版本,我们使用 Tokenwise SwiGLU(Figure 2b left):

    OTB=SwiGLU(XTB)=(Swish(XTBW1)⊗(XTBW2))W3Swish(X)=X⊗sigmoid(X)

    其中:

    • W1,W2∈RD×r,W3∈Rr×D 为待学习的权重参数。

      对于 SwiGLU/FFN,通常都是 r>D ,即:先膨胀再压缩。

      注意,不同的 token 具有自己的 W1,W2,W3 ,因此是 tokenwise parameterizations 的。

    • ⊗ 表示逐元素(Hadamard)乘积。这种逐元素乘积增加了乘法交互(multiplicative interactions)的阶数,类似于 DCN-V2 网络(《Dcn v2: Improved deep & cross network and practical lessons for web-scale learning to rank systems》)中的那些,这促使我们选择 SwiGLU 作为前馈神经网络的骨干。

    由于 Zenith 的 XTB 仅由 T^ 个 tokens 组成,我们通过应用于 X 的轻量级 MLP 重新生成剩余的 T−T^ 个 tokens。Zenith 的 final output 输出为:

    OZenith=Norm(concat(OTB,MLP(X))+X)∈RT×D

    这里有个残差操作。

  3. Tokenwise Sparse Mixture-of-Experts (TSMoE):为了进一步提高模型的 scaling 效率,Zenith++ 将标准前馈神经网络替换为 Tokenwise Sparse Mixture-of-Experts,灵感来自标准 Sparse Mixture-of-Experts(《Glam: Efficient scaling of language models with mixture-of-experts》、《Switch transformers: Scaling to trillion parameter models with simple and efficient sparsity》)。如 Figure 2b right 所示,该模块包含两类专家:

    • shared experts:始终参与计算。

    • sparse experts:根据 token-specific routing decisions 选择性地被激活。

    这种设计在不增加额外计算开销的情况下实现显著更大的模型容量。

    令 Ec 为 shared (common) experts 总数,Es 为 sparse experts 总数,Ea 为每个 token 激活的 sparse experts 数量,Ea≤Es。对于每个 token ti,门控机制确定激活哪些 experts:

    Gate(ti)=W0it→i∈REs

    其中: W0t∈RD×Es 是特定于 token ti 的路由权重矩阵(routing weight matrix)。Gate(ti) 的 top-Ea 元素确定 activated expert indices。

    用于 token ti 的 MoE-enhanced FFN 的输出为:

    TB(ti)=∑e=1EcSwiGLUe(ti)+∑e∈TopK(Gate(ti),Ea)SwiGLUe(ti)

    其中:SwiGLUe 和 SwiGLUe 分别表示第 e 个 shared expert 和第 e 个 activated sparse expert,每个都使用 TSwGLU 函数实现,与 Zenith 相同。

    这里,每个 token 经过 Sparse MoE 后,我们获得 Token Boost 的输出 OTB。最后,模块输出经过残差连接,随后进行 Layer Normalization:

    OZenith=Norm(OTB+X)

    .

1.2.5 Training and Inference Optimizations

  1. Zenith 依赖于 fused-token representations 和 tokenwise computations。虽然这些 tokenwise 操作提高了建模灵活性,但它们也增加了矩阵乘法总数,降低了 modern accelerators 上的吞吐量。引入 SparseMoE layer 增加了两个进一步复杂问题:

    • (i):expert-activation 不平衡,少数 experts 接收大部分流量。

    • (ii):routing computation solely to the selected experts 的开销。

      即,把计算只分派给被选中的专家,这一过程本身带来的额外开销。

    我们通过若干互补策略解决这些问题,详见以下各节。

  2. Efficient Tokenwise Computations:为消除每个 token 触发独立矩阵乘法时累积的 kernel-launch 开销,我们采用 NVIDIA cuBLAS 库(《Introducing Grouped GEMM APIs in cuBLAS and More Performance Updates》)中可用的 GroupedGEMM 原语。GroupedGEMM 将 Ntok 个 tokenwise GEMM 操作打包为 a single batched call,为我们的 tokenwise design 带来显著更高的 GPU 占用率和端到端吞吐量。

  3. Learning-Rate Warm-up:训练早期,Sparse-MoE router 倾向于将大多数 tokens 导向仅一两个 experts,剥夺其他 experts 的梯度信号。我们通过 an extended learning-rate warm-up (LR warmup) 来抵消这种崩溃:训练从 base learning rate 的仅 0.1% 开始,并在前一百万步内线性增加到标称值。由此产生的 low-gradient regime 使 randomly initialized router 有时间探索 diverse routing patterns,之后专家负载(expert loads)变得良好平衡,每个 expert 接收足够训练数据。

  4. Auxiliary Losses:为了进一步鼓励 experts 之间工作负载平衡,我们引入两个辅助损失项。

    • 第一个是负载平衡损失(load balancing loss)(《Switch transformers: Scaling to trillion parameter models with simple and efficient sparsity》),它惩罚 router’s output probabilities 与 the actual number of tokens routed to each expert 之间的不匹配:

      Lload=α×1B×T×Es∑i=1Es(1Eafi)π¯ifi=1T×B∑b=1B∑t=1Tmb,t,i,π¯i=1T×B∑b=1B∑t=1Tπb,t,i

      其中:

      • B 为 batch size,T 为序列长度(每个样本中的 token 数量)。

      • Es 为 sparse experts 总数,Ea 为每个 token 激活的 sparse experts 数量。

      • fi 为实际路由到 expert i 的 tokens 的比例。mb,t,i 为指式函数,如果第 b 个样本的第 t 个 token 选择了 expert i ,则为 1;否则为 0 。

        因为每个 token 激活 Ea 个 experts,所有 ∑i=1Esfi=Ea。fi/Ea 可以看作 expert i 在 “平均每个 token 的激活份额” 中的占比。满足 ∑i=1Es(fi/Ea)=1.0 。

      • π¯i 是分配给 expert i 的平均路由概率。πb,t,i 为路由概率,表示 gating 网络针对第 b 个样本的第 t 个 token 分配给 expert i 的概率。

      • α 为负载均衡损失的权重系数,是一个超参数。

      这个损失函数惩罚的是实际路由比例 fi 与平均路由概率 π¯i 之间的不匹配。如果某个专家 i 被大量 token 选中,fi 会很大;同时如果 router 给它的平均概率 π¯i 也很大,那么乘积项 fiπ¯i/Ea 就会变大,从而增大损失。optimization 过程会促使 router 调整概率,让所有专家的负载更均衡,避免“赢者通吃”。

    • 为了进一步防止专家崩溃(即一个专家主导路由决策),我们采用了第二个项——称为 z-loss(《St-moe: Designing stable and transferable sparse expert models》),以阻止 router 产生过大的 logits:

      Lz=β×1B×T∑b=1B∑t=1T[ln⁡(∑i=1Esezb,t,i)]2

      其中: zb,t,i 表示 router 在位置 (b,t) 处对专家 i 的 pre-softmax 输出(即, logit)。

1.3 评估

  1. 我们评估所提出的 Zenith 架构(包括 Zenith 和 Zenith++ 实现)与其他流行架构在不同模型规模下的表现。为展示我们方法的实际有效性,所有模型都部署在 TikTok Live 推荐平台上。

  2. 数据集。我们利用 TikTok Live 推荐平台 ranking 阶段的 production 数据集进行训练和评估,该数据集包含流式方式的真实世界 user-item interaction 数据。数据集统计如 Table 1 所示。

  3. 评估指标:我们采用多个指标全面评估每个模型的计算成本和预测性能:

    • 模型规模:我们用以下指标量化模型大小和计算开销:

      • #Params:模型中的总参数数量,包括所有层的可训练权重。sparse embedding table 在我们的实验中跨模型共享,不纳入比较。

      • GFLOP:单次推理所需的浮点运算总数(以十亿计)。这提供了计算量负载的更准确度量,尤其当并非所有参数都被激活使用时。

    • 模型性能:我们报告 main CTR target 的以下标准模型性能指标:

      • LogLoss:预测概率与 ground truth 的对数损失。

      • AUC:Area Under the ROC Curve,衡量模型将正样本排在负样本之上的能力。

      • UAUC:用户平均 AUC,对每个用户的 AUC 分数取平均,以反映个性化排序质量。

      所有结果均报告原始值、以及相对于 baseline model 的相对改进。

  4. Baselines & Hyperparameters:我们选择了一些广泛使用的 DLRM 以及近期强基线,包括 DCN-V2(《Dcn v2: Improved deep & cross network and practical lessons for web-scale learning to rank systems》)、DHEN(《DHEN: A Deep and Hierarchical Ensemble Network for Large-Scale Click-Through Rate Prediction》)和 Wukong(《Wukong: Towards a Scaling Law for Recommendation Models》)。我们调优超参数以实现基线的 scaling,如下所示:

    • DCN-V2:我们通过增加层数、以及在 Cross Network 中使用 MLP 来替代单个投影矩阵来 scale up 模型。我们在 Deep Network 之后应用了 sequential modeling with a Deep Network。

    • DHEN:我们使用了 DCN-V2 的 cross network 和 multi-head self-attention 模块的组合。我们通过增加 DHEN 层数以及size of the MLPs attached after each interaction module 来 scale up 模型。

    • Wukong:我们通过增加 Wukong 层数并增加其 FM Block 中 MLP 的隐藏单元数量来 scale up 模型。

    对于 Zenith 和 Zenith++,我们采用 32 Prime Tokens,从原始 feature embeddings 分组而来,包括 3 tokens based on ID features、13 tokens based on sequence features、以及 16 other tokens based on other generalizable features。每个 Prime Token 的维度范围从 256 ~ 1024,层数范围从 2 ~ 8,取决于模型规模。

  5. Training:对于所有模型,我们使用 RMSPropV2 优化器,学习率为 0.01,动量为 0.99999,初始化因子为 0.015625,并配合学习率预热。

1.3.1 离线结果

  1. Figure 3 展示了不同模型规模和计算预算下 relative LogLoss 的比较分析。我们从两个角度报告结果:

    • (a):性能与模型规模的关系。

    • (b):性能与 inference-time FLOPs 的关系。

    基线是一个 22.8M 参数的 DCN-V2 模型。

    • 尽管 DCN 在 scale up 到 100M 参数时表现出适度增益,但进一步增加 DCN 层数或 scale up 其 MLP 不再产生额外改进。

    • 相比之下,Wukong 比 DCN 更有效的 scale up,但仅在 500M 参数或更多规模时才优于它,且性能增益仍然有限。Wukong 采用大型 MLP 将 interaction results 映射回 tokens,这产生高参数成本并导致低效参数利用——将其优势限制在 very large scales。

    • DHEN 将 DCN-v2 的 cross network 与 self-attention 集成在一起,在所有尺度上持续提供比 DCN 和 Wukong 更强的性能,LogLoss 改进约为 0.3% ~ 0.5%。DHEN 也表现出良好的 scalability。然而,其收益仍然不大,且其混合架构由于涉及异质组件(heterogeneous components)而增加了 tuning 的复杂性。

    • 我们提出的 Zenith 模型在不同尺度上持续优于所有基线,相比 DCN 基线实现 0.42% ~ 0.63% 更低的 LogLoss。凭借我们的高效设计,包括使用 Prime Tokens 减少 input token 数量、以及用于轻量级 token fusion 的 retokenization,Zenith 在采用最少 training FLOPs 的同时实现更好性能。当与最佳基线 DHEN 在同等计算水平比较时,Zenith 将 LogLoss 改进 0.15% - 0.2%,这在现实世界场景中代表显著增益。此外,Zenith 更简单且模块化的架构使生产环境中的 operator-level optimizations 和 tuning 更容易。

    • Zenith++ 通过引入 TMHSA 和 TSMOE 进一步增强模型性能。这些组件引入 sparsity 和 per-token computation,以在降低计算成本的同时保持表达力。结果,Zenith++ 在保持整体 FLOPs 受控的同时在性能上超过 Zenith。平均而言,Zenith++ 在激活相似数量参数时比 Zenith 实现 0.08% 更低的 LogLoss。值得注意的是,在 500M 参数或更少规模下,Zenith++ 实际上使用更少 FLOPs。此外,这些曲线表明 Zenith++ 具有更大的进一步 scaling 的潜力。

  2. 如 Table 2 所示,Zenith 和 Zenith++ 在所有模型规模下持续实现最高 AUC 和 UAUC。

    • 在小规模设置中,Zenith 显著优于 DCN-V2、Wukong 和 DHEN。

    • 在中等规模下,Zenith++(总参数 916M 中仅 383M 激活参数)相比 DCN 基线实现 0.78% 的 UAUC 增益,优于所有其他模型。鉴于其强性能和高效计算,我们采用此版本 Zenith++ 进行真实世界在线 A/B 测试。

    • 在大规模下,Zenith++(总参数 1822M 中 920M 激活)交付最佳结果,达到 AUC 增益 0.55% 和 UAUC 增益 0.97%,确立 Zenith++ 为 SOTA 架构。

  3. 总体而言,Zenith 模型表现出更强 scalability 和更高效率。在所有尺度上,Zenith 不仅降低 prediction loss,还提供有利的 compute-performance 权衡,使其成为现实世界大规模推荐系统(如 TikTok Live)的理想架构。

1.3.2 Token Heterogeneity

  1. 我们现在强调我们 tokenwise parameterization 方案在 Token Boost 模块中的关键优势,这使 Zenith 和 Zenith++ 都获得了优越的 scaling laws。

  2. 最初,我们尝试在 Token Boost 模块中应用传统的 non-tokenwise SwiGLU and SMoE,但在 50M 参数规模后遇到显著性能饱和。我们尝试将 Prime Token 维度从 512 增加到 768,将 token 数量从 8 增加到 16,并将层数从 4 增加到 6,所有这些都使总参数数量翻倍,却没有性能增益。这些观察促使我们深入研究架构,理解 Prime Tokens 在模型中如何相互作用。令人惊讶的是,如 Figure 4a 和 Figure 4c 所示,我们发现 Prime Tokens 在几层 feature interaction 后几乎变得同质(homogeneous)。这表明模型无法通过堆叠更多 interaction layers 从而从 feature tokens 中提取 additional information,解释了性能饱和。

    为解决这一点,我们需要确保 Prime Tokens 在每个 interaction layer 后保持异质(heterogeneous),携带 distinctive information 以供进一步提取。我们通过升级传统 SwiGLU 和 SMOE 模块为 tokenwise parameterization 来解决这一点。这提供了所需模型容量,使每个 Prime Token 能够捕获不同信息,导致即使在多层 feature interaction 后仍具有强的 token heterogeneity。如 Figure 4b 和 Figure 4d 所示,使用 tokenwise parameterization 后,Token Boost 模块显著降低了平均绝对相似性(average absolute similarity)——在 Zenith 中从 0.5 降至 0.06,在 Zenith++ 中从 0.68 降至 0.47,使两个变体都能进一步 scale up 而不达到性能瓶颈。

1.3.3 Ablation Study

  1. 我们进行消融研究以评估 Zenith++ 中关键 design choices 的影响。如表 Table 3 总结:

    • TSMOE 和 TMHSA 都对模型性能有实质贡献,而 Learning Rate Warmup 和 Auxiliary Loss 等训练技术提供额外增益。这确认每个组件都发挥积极作用,其中架构设计产生最显著改进。

    • 同时,将 prime tokenization 替换为基于 MLP 的 Auto-grouping 方法仅导致 0.09% 的 AUC 下降,表明即使没有 expert-tuned feature tokenization,Zenith 也具有鲁棒性。

      Prime Tokenization 是 Zenith 中手工设计的特征分组方式。论文前面提到,他们按照规则把原始特征映射成 32 个 Prime Tokens:包括 3 tokens based on ID features、13 tokens based on sequence features、以及 16 other tokens based on other generalizable features。这种设计依赖领域专家经验,需要人工决定哪些特征放一起、哪些单独成 token。

      • MLP-based auto-grouping approach 是指用 MLP 自动学习分组。也就是不再手工指定特征如何分组,而是用一个 MLP 自动把原始特征 embedding 映射/聚合成若干个 tokens。这是一种更自动、更少人工干预的 tokenization 方式。

      • expert-tuned feature tokenization 指人工调优的 feature tokenization,即上面那种由专家根据语义和重要性设计的 Prime Tokenization。

1.3.4 Online A/B Results

  1. 为充分验证所提出架构在现实世界场景中的有效性,我们进行了为期一个月的在线 A/B 测试,比较 DCN-V2 基线和我们的 Zenith++ (383/916M) 模型在 TikTok Live 上的表现,TikTok Live 是一个领先的在线直播平台,吸引了全球数十亿用户。我们呈现在线性能指标—— AUC 和 Logloss,以及直播推荐的两组关键业务指标—— Quality Watch Session / User 和 Quality Watch Duration / User:

    • Quality Watch Session 定义为深度观看会话(例如,大于 1 分钟)或伴随积极用户行为(例如,点赞、评论、关注、分享、礼物等)的观看会话。

    • Quality Watch Duration 定义为用户在其 Quality Watch Sessions 中花费的总时间。

    结果如 Table 4 所示。Zenith 在在线 AUC 和 logloss 上显著优于基线,并在 Quality Watch Session / User 上实现 +9.93% 的增益,在 Quality Watch Duration / User 上实现 +8.11% 增益。这些结果突显了我们新颖排序架构的实质性现实世界影响。

    Online A/B test 效果很好,最大的原因是 DCN-V2 基线比较弱了。

1.4 结论

  1. 在这项工作中,我们提出 Zenith,一种为大规模推荐系统量身定制的 scalable 且高效的神经架构。通过引入 Prime Tokens 概念并设计专用 Token Fusion 模块和 Token Boost 模块,Zenith 有效平衡模型表达力和计算效率,相比现有方法表现出优越的 scaling laws。我们还强调了 token heterogeneity 在 scaling up ranking models 中的重要性,并展示了在架构设计中促进它的实用方法。我们希望我们的工作将成为通过个性化推荐优化用户体验的重要一步。

1.5 附录

1.5.1 A. 复杂度分析

  1. 在本节中,我们提出所提出的 Zenith 和 Zenith++ 模型的正式复杂度分析。

  2. Zenith:令 T 为 token 数量,D 为 token 维度,k 为中间投影维度,r 为 SwiGLU 的隐层维度。

    • self-attention interaction 计算 XX⊤XWR,其中 WR∈RD×k,贡献 Dk 个参数并产生 O(T2D+TDk) 计算。

    • Retokenization 步骤将 O1∈RT×k 重塑为 OTF∈RT^×D(其中 Tk=T^D),没有计算或参数。

    • Token Boost 模块应用 SwiGLU 激活,权重 W1,W2∈RD×r 和 W3∈Rr×D,总计 3T^Dr 个参数和 O(T^Dr) 计算。

    • 轻量级 MLP 处理剩余 T−T^ 个 tokens,增加 D2TT−T^T 个参数和 O((T−T^)D2) 计算。

    • final output 包括残差连接和归一化,成本可忽略。

    总体而言,模型有 Dk+D2+3T^Dr 个参数,计算复杂度为 O(T2D+TDk+T^Dr+(T−T^)D2。由于 D,k,r 通常在相同尺度,且 T^,T≪D,k,r,允许它们被视为常数值,计算复杂度接近 O(D2)。

  3. Zenith++:

    • 在 tokenwise attention 中,T 个 tokens 中的每一个对 H 个 heads 中的每一个 head 都有唯一投影矩阵,导致总参数数量为 3THDdk=3TD2(因为 dk=D/H)。计算成本包括 tokenwise projections (O(TD2)) 和 attention computation (O(T2D)),产生总体复杂度 O(TD2+T2D)。

    • 对于 sparse MoE layer, routing weights 贡献 TDEs 个参数;所有 Ec 个 shared experts 和 top-Ea 个 sparse experts 总共贡献 3Dr(Ec+Es) 个参数。每个 token 的路由和专家计算需要 O(DEs+(Ec+Ea)dr) 次操作,导致总计算 O(TDEs+T(Ec+Ea)Dr)。

    由于 T 可视为常数,Ec,Ea 和 Es 是常数,且 D,r 在相同尺度,参数数量简化为 O(D2),计算复杂度也接近 O(D2)。