十六、DeepMCP[2019]

1. 点击率 click-through rate: CTR预估是预测用户点击某个 item 的概率。它在在线广告系统中扮演着重要的角色。例如，广告排序策略通常取决于 CTR x bid，其中 bid 为广告的点击出价。此外，根据常见的 cost-per-click: CPC 扣费模式，广告主仅在用户点击广告之后才扣费。因此，为了最大限度地提高收入并保持理想的用户体验，准确预估广告的 CTR 至关重要。

   CTR 预估引起了学术界和工业界的广泛关注。例如：

   • 逻辑回归 Logistic Regression: LR 模型考虑了线性的特征重要性，并将预测的 CTR 建模为：$\hat{y}=\sigma (b+{\overrightarrow{\mathbf{w}}}^{\mathrm{\top }}\overrightarrow{\mathbf{x}})$$\hat y = \sigma\left(b+ \mathbf{\vec w}^\top\mathbf{\vec x} \right)$ ，其中 $\sigma (\cdot )$$\sigma(\cdot)$ 为 sigmoid 函数，$\overrightarrow{\mathbf{w}}$$\mathbf{\vec w}$ 为权重系数，$b$$b$ 为 bias，$\overrightarrow{\mathbf{x}}$$\mathbf{\vec x}$ 为特征向量。

   • 分解机 Factorization Machine: FM 模型进一步对 pairwise 特征交互interaction 进行建模。它将预估的 CTR 建模为：$\hat{y}=\sigma (b+{\overrightarrow{\mathbf{w}}}^{\mathrm{\top }}\overrightarrow{\mathbf{x}}+\sum _i\sum _j({\overrightarrow{\mathbf{v}}}_i^{\mathrm{\top }}{\overrightarrow{\mathbf{v}}}_j)\times x_i{x}_j)$$\hat y = \sigma\left(b+\mathbf{\vec w}^\top\mathbf{\vec x} + \sum_{i}\sum_{j} (\mathbf{\vec v}_i^\top \mathbf{\vec v}_j)\times x_ix_j\right)$，其中 ${\overrightarrow{\mathbf{v}}}_i$$\mathbf{\vec v}_i$ 为第 $i$$i$ 个特征的潜在 embedding 向量，$x_i$$x_i$ 为第 $i$$i$ 个特征的取值。

   • 近年来，深度神经网络 Deep Neural Network: DNN 被广泛用于 CTR 预估和 item 推荐，从而自动学习特征 representation 和高阶特征交互。

   • 为了同时利用浅层模型和深层模型，人们还提出了混合模型。例如：

     • Wide & Deep 结合了 LR 和 DNN，从而提高模型的 memorization 和 generalization 能力。

     • DeepFM 结合了 FM 和 DNN ，从而进一步提高了学习特征交互的模型能力。

     • Neural Factorization Machine: NFM 结合了 FM 的线性和 DNN 的非线性。 尽管如此，这些模型仅考虑了 feature-CTR 关系，并且存在数据稀疏问题。论文 《Representation Learning-Assisted Click-Through Rate Prediction》 提出的 DeepMCP 模型额外考虑了 feature-feature 关系，例如如 user-ad 关系、ad-ad 关系，从而学习更多信息丰富的、统计可靠的特征representation ，最终提高 CTR 预估的性能。下图说明了DeepMCP（图 (b)） 和其它方法图 (a)）的主要区别：

   • (a)：经典的 CTR 预估方法建模 feature-CTR 关系。

   • (b)：DeepMCP 进一步对 feautre-feature 关系进行建模，诸如 user-ad 关系（虚实线）、ad-ad 关系（点线）。

   

   注意：FM 模型中的特征交互仍然是建模 feature-CTR 关系。可以将其视为tow_features-CTR 关系，因为它建模了特征交互 ${\overrightarrow{\mathbf{v}}}_i^{\mathrm{\top }}{\overrightarrow{\mathbf{v}}}_j{x}_i{x}_j$$\mathbf{\vec v}_i^\top\mathbf{\vec v}_jx_ix_j$ 和 CTR $\hat{y}$$\hat y$ 的关系，但是并未建模两个特征representation ${\overrightarrow{\mathbf{v}}}_i$$\mathbf{\vec v}_i$ 和 ${\overrightarrow{\mathbf{v}}}_j$$\mathbf{\vec v}_j$ 是否应该彼此相似。其中 ${\overrightarrow{\mathbf{v}}}_i$$\mathbf{\vec v}_i$ 是第 $i$$i$ 个特征的 latent embedding 向量，$x_i$$x_i$ 是第 $i$$i$ 个特征的取值。

   更具体而言，论文提出的 DeepMCP 模型包含三个部分：一个 matching subnet、一个 correlation subnet、一个 prediction subnet ，这也是 DeepMCP 模型名称的由来。这三个部分共享相同的 embedding 矩阵。

   • matching subnet 对 user-ad 的关系（即，广告是否匹配用户的兴趣）进行建模，并旨在学习有用的用户representation 和有用的广告 representation 。

   • correlation subnet 对 ad-ad 的关系（即，哪些广告位于用户点击序列的时间窗口内）进行建模，并旨在学习有用的广告 representation 。

   • prediction subnet 对 feature-CTR 关系进行建模，并旨在预测在给定所有特征的条件下的 CTR 。

   当这些 subnet 在目标label 的监督下联合优化时，学到的特征representation既具有良好的预测能力、又具有良好的表达能力。此外，由于同一个特征以不同的方式出现在不同的 subnet 中，因此学到的 representation 在统计上更加可靠。

   总之，论文的主要贡献是：

   • 论文提出了一种用于 CTR 预估的新模型 DeepMCP。与主要考虑 feature-CTR 关系的经典 CTR 预估模型不同，DeepMCP 进一步考虑了 user-ad 关系和 ad-ad 关系。

   • 论文对两个大规模数据集进行了大量实验，从而比较了 DeepMCP 和其它几个 state-of-the-art 模型的性能。论文还公开了 DeepMCP 的实现代码。

2. 相关工作：

   • CTR 预估：CTR 预估引起了学术界和工业界的广泛关注。

     • 广义线性模型，如逻辑回归 Logistic Regression: LR 和 Follow-The-Regularized-Leader: FTRL 在实践中表现出不错的性能。然而，线性模型缺乏学习复杂特征交互的能力。

     • 分解机 Factorization Machine: FM 以被涉及特征的潜在向量 latent vector 的形式对 pairwise 特征交互建模。

     • Field-aware FM 和 Field-weighted FM 进一步考虑了特征所属 field 的影响，从而提高 FM 的性能。

     近年来，深度神经网络 Deep Neural Network 被广泛用于 CTR 预估和 item 推荐，以自动学习特征 representation 和高阶特征交互。

     • Factorization-machine supported Neural Network: FNN 在应用 DNN 之前预训练 FM。

     • Product-based Neural Network: PNN 在 embedding layer 和全连接层之间引入了 product layer。

     • Wide & Deep 结合了 LR 和 DNN，从而提高模型的 memorization 和 generalization 能力。

     • DeepFM 像 FM 一样对低阶特征交互进行建模，并像 DNN 一样对高阶特征交互进行建模。

     • Neural Factorization Machine: NFM 结合了 FM 的线性和神经网络的非线性。

     尽管如此，这些方法主要是对 feature-CTR 关系进行建模。我们提出的 DeepMCP 模型进一步考虑了 user-ad 和 ad-ad 的关系。

   • Multi-modal / Multi-task Learning：我们的工作也与多模态/多任务学习密切相关，其中引入了多种信息或辅助任务来帮助提高main task 的性能。

     • 《Collaborative knowledge base embedding for recommender systems》 利用知识库 knowledge base 中的异质信息 heterogeneous information（如结构化内容、文本内容、视觉内容）来提高推荐系统的质量。

     • 《Recommendation with multisource heterogeneous information》 除了利用经典的 item 结构信息之外，还利用文本内容和社交 tag 信息来改进推荐。

     • 《Improving entity recommendation with search log and multi-task learning》 引入上下文感知排序 context-aware ranking 作为辅助任务，以便更好地对实体推荐中的 query 语义进行建模。

     • 《Deep cascade multi-task learning for slot filling in online shopping assistant》 提出了一种多任务模型，该模型额外学习了 segment tagging 和 named entity tagging ，从而用于在线购物助手中的槽位 slot 填充。

     在我们的工作中，我们解决了一个不同的问题。我们引入了两个辅助的、但是相关的任务（即共享了 embedding 的 matching subnet和 correlation subnet）来提高 CTR 预估的性能。

16.1 模型

1. 在线广告中点击率预估任务是估计用户点击特定广告的概率。下表展示了一些样本实例，每一行都是 CTR 预估的一个样本。其中第一列是 label（点击是 1、未点击是 0）。每个样本可以用多个 field 来描述，例如用户信息field（用户 ID、城市等）和广告信息 field（创意ID、标题等）。field 的实例化对应了一个特征。

   

   与大多数主要考虑 feature-CTR 关系的现有 CTR 预估模型不同，我们提出的 DeepMCP 模型额外考虑了 user-ad 和 ad-ad 关系。DeepMCP 包含三个部分：一个 matching subnet、一个 correlation subnet、一个 prediction subnet ，如下图 (a) 所示。当这些 subnet 在目标label 的监督下联合优化时，学到的特征representation既具有良好的预测能力、又具有良好的表达能力。

   DeepMCP 的另一个特点是：尽管在训练过程中所有 subnet 都处于活跃状态，但是在测试过程中只有 prediction subnet 处于活跃状态，如下图 (b) 所示。这使得测试阶段变得相当简单和高效。

   

2. 我们将特征分为四组：用户特征（如用户 ID、年龄）、query 特征（如 query、query category ）、广告特征（如创意ID、广告标题）、其它特征（如一天中的小时、星期）。每个 subnet 使用不同的特征集合。具体而言：prediction subnet 使用所有四组特征，matching subnet 使用 user, query, ad 三组特征，correlation subnet 仅使用 ad 特征。所有 subnet 共享相同的 embedding 矩阵。

   注意：Context ad features 和 Negative ad features 是 correlation subnet 中，位于用户点击序列的时间窗口内上下文广告、以及窗口外的负采样广告。它们仅用于 correlation subnet 。

3. DeepMCP 的整体结构如下图所示，所有的subnet 共享相同的 embedding 矩阵。

   

16.1.1 Prediction Subnet

1. prediction subnet 这里是一个典型的 DNN 模型，它对 feature-CTR 关系进行建模（其中显式地或隐式地对特征交互进行建模）。它旨在在目标 label 的监督下，根据所有特征预估点击率。尽管如此，DeepMCP 模型非常灵活，可以使用任何其它CTR 预估模型来代替prediction subnet，如 Wide & Deep、DeepFM 等。

   prediction subnet 的整体结构为：

   • 首先，单个特征 $x_i\in \mathbb{R}$$x_i\in \mathbb R$ （如用户ID）通过一个 embedding 层，然后映射到对应的embedding 向量 ${\overrightarrow{\mathbf{e}}}_i\in {\mathbb{R}}^K$$\mathbf{\vec e}_i\in \mathbb R^K$ ，其中 $K$$K$ 为 embedding 向量维度，${\overrightarrow{\mathbf{e}}}_i$$\mathbf{\vec e}_i$ 为待学习的参数。

     假设特征 $x_i$$x_i$ 的取值集合规模为 $N$$N$ ，则这个特征所有 embedding 的集合构成一个 embedding 矩阵 $\mathbf{E}\in {\mathbb{R}}^{N\times K}$$\mathbf E\in \mathbb R^{N\times K}$ 。

     注意：

     • 这里假设所有特征都是离散的。如果存在连续值的特征，则需要首先对其进行离散化。

     • 对于多类别的离散特征（如广告标题中的 bi-gram，一个广告标题可能包含多个 bi-gram），我们首先将每个 bi-gram 映射到一个 embedding 向量，然后再执行一个 sum pooling 从而得到广告标题的、聚合后的 embedding 向量。

   • 接着，我们将样本的所有特征的 embedding 向量拼接为一个长的向量 $\overrightarrow{\mathbf{m}}$$\mathbf{\vec m}$ 。然后向量 $\overrightarrow{\mathbf{m}}$$\mathbf{\vec m}$ 经过若干层全连接层fully connected:FC 层（带有 ReLU 非线性激活函数），从而学到高阶的非线性特征交互。

   • 最后，最后一层 FC 层的输出 $\overrightarrow{\mathbf{z}}$$\mathbf{\vec z}$ 通过一个 sigmoid 函数从而得到预估的 CTR：

     $$\hat{y}=\frac{1}{1+\exp [-({\overrightarrow{\mathbf{w}}}^{\mathrm{\top }}\overrightarrow{\mathbf{z}}+b)]}$$

     其中 $\overrightarrow{\mathbf{w}},b$$\mathbf{\vec w},b$ 都是待学习的模型参数。

   为缓解过拟合，我们在每个 FC 层之后都应用了 dropout。

2. prediction subnet 的损失函数为训练集的交叉熵：

   $${\mathcal{L}}_p=-\frac{1}{n}\sum _{i=1}^n[y_i\log {\hat{y}}_i+(1-y_i)\log (1-{\hat{y}}_i)]$$

   其中：$n$$n$ 为训练样本的数量； $y_i\in \{0,1\}$$y_i\in \{0,1\}$ 为第 $i$$i$ 个样本是否点击的真实label；${\hat{y}}_i$$\hat y_i$ 为第 $i$$i$ 个样本预估的CTR 。

16.1.2 Matching Subnet

1. matching subnet 对 user-ad 的关系（即，广告是否匹配用户的兴趣）进行建模，并旨在学习有用的用户representation 和有用的广告 representation 。它的灵感来自于网络搜索的语义匹配模型semantic matching model 。

2. 在推荐系统的经典矩阵分解中，rating score 近似为用户ID 潜在向量和item ID 潜在向量的内积。在我们的问题中，我们没有直接 match 用户 ID 和广告ID，而是在更高级别上进行了 match ，并结合了关于用户的所有特征、关于广告的所有特征。

   当用户点击广告时，我们假设所点击的广告至少部分和用户需求相关（考虑到用户提交的 query，如果有的话）。因此，我们希望用户特征（和query 特征）的 representation 和广告特征的 representation 相匹配。

   具体而言，matching subnet 包含两个部分：

   • 用户部分 user part：用户部分的输入是用户特征（如用户ID、年龄）和 query 特征（如 query、query category）。

     像在 prediction subnet 中一样，单个特征 $x_i\in \mathbb{R}$$x_i\in \mathbb R$ 首先经过 embedding 层，然后映射为对应的 embedding 向量 ${\overrightarrow{\mathbf{e}}}_i\in {\mathbb{R}}^K$$\mathbf{\vec e}_i\in \mathbb R^K$ 。然后我们将单个用户 $u$$u$ 的多种特征的 embedding 拼接为长向量 ${\overrightarrow{\mathbf{m}}}_u\in {\mathbb{R}}^{N_u}$$\mathbf{\vec m}_u\in \mathbb R^{N_u}$ ，其中 $N_u$$N_u$ 为长向量的维度。

     然后向量 ${\overrightarrow{\mathbf{m}}}_u$$\mathbf{\vec m}_u$ 经过若干层全连接层fully connected:FC 层（带有 ReLU 非线性激活函数），从而学到高阶的非线性特征交互。对于最后一个 FC 层，我们使用 tanh 非线性激活函数（而不是 ReLU），我们后面解释这么做的原因。

     用户部分的输出是一个 high-level 的用户 representation 向量 ${\overrightarrow{\mathbf{v}}}_u\in {\mathbb{R}}^M$$\mathbf{\vec v}_u\in \mathbb R^M$ ，其中 $M$$M$ 为向量维度。

   • 广告部分 ad part：广告部分的输入是广告特征（如广告ID、广告标题）。

     同样，我们首先将每个广告特征映射到对应的 embedding 向量，然后将单个广告 $a$$a$ 的多种特征的 embedding 拼接为长向量 ${\overrightarrow{\mathbf{m}}}_a\in {\mathbb{R}}^{N_a}$$\mathbf{\vec m}_a\in \mathbb R^{N_a}$ ，其中 $N_a$$N_a$ 为长向量的维度。

     然后向量 ${\overrightarrow{\mathbf{m}}}_a$$\mathbf{\vec m}_a$ 经过若干层全连接层fully connected:FC 层（带有 ReLU 非线性激活函数），从而得到一个 high-level 的广告 representation 向量 ${\overrightarrow{\mathbf{v}}}_a\in {\mathbb{R}}^M$$\mathbf{\vec v}_a\in \mathbb R^M$ 。同样地，对于最后一个 FC 层，我们使用 tanh 非线性激活函数（而不是 ReLU）。

   注意：通常用户部分、广告部分的输入具有不同的特征维度，即 $N_u\ne N_a$$N_u\ne N_a$ 。因为用户特征和广告特征的类别、数量通常都不相等。但是，经过 matching subnet 之后，${\overrightarrow{\mathbf{v}}}_u$$\mathbf{\vec v}_u$ 和 ${\overrightarrow{\mathbf{v}}}_a$$\mathbf{\vec v}_a$ 具有相同的维度 $M$$M$ 。换句话讲，我们将两组不同的特征投影到一个公共的低维空间中。

   然后我们通过下式计算 matching score $s$$s$为：

   $$s({\overrightarrow{\mathbf{v}}}_u,{\overrightarrow{\mathbf{v}}}_a)=\frac{1}{1+\exp (-{\overrightarrow{\mathbf{v}}}_u^{\mathrm{\top }}{\overrightarrow{\mathbf{v}}}_a)}$$

   我们并没有使用 ReLU 作为最后一个 FC 层的激活函数，因为 ReLU 之后的输出将包含很多零，这使得 ${\overrightarrow{\mathbf{v}}}_u^{\mathrm{\top }}{\overrightarrow{\mathbf{v}}}_a\to 0$$\mathbf{\vec v}_u^\top\mathbf{\vec v}_a \rightarrow 0$ 。

   注意：前面 prediction subnet 最后一个 FC 层仍然采用 ReLU，因为其输出为 $\overrightarrow{\mathbf{z}}$$\mathbf{\vec z}$ 是和模型参数 $\overrightarrow{\mathbf{w}}$$\mathbf{\vec w}$ 进行内积。 ${\overrightarrow{\mathbf{w}}}^{\mathrm{\top }}\overrightarrow{\mathbf{z}}$$\mathbf{\vec w} ^\top\mathbf{\vec z}$ 为零的概率远小于 ${\overrightarrow{\mathbf{v}}}_u^{\mathrm{\top }}{\overrightarrow{\mathbf{v}}}_a$$\mathbf{\vec v}_u^\top\mathbf{\vec v}_a$ 。

3. 至少有两种选择来建模 matching score：

   • point-wise 模型：当用户 $u$$u$ 点击广告 $a$$a$ 时，则 $s({\overrightarrow{\mathbf{v}}}_u,{\overrightarrow{\mathbf{v}}}_a)\to 1$$s\left(\mathbf{\vec v}_u,\mathbf{\vec v}_a\right)\rightarrow 1$ ；当用户 $u$$u$ 未点击广告 $a$$a$ 时，则 $s({\overrightarrow{\mathbf{v}}}_u,{\overrightarrow{\mathbf{v}}}_a)\to 0$$s\left(\mathbf{\vec v}_u,\mathbf{\vec v}_a\right)\rightarrow 0$ 。

   • pair-wise 模型：如果用户 $u$$u$ 点击了广告 $a_i$$a_i$ 但是未点击广告 $a_j$$a_j$ ，则 $s({\overrightarrow{\mathbf{v}}}_u,{\overrightarrow{\mathbf{v}}}_{a_i})>s({\overrightarrow{\mathbf{v}}}_u,{\overrightarrow{\mathbf{v}}}_{a_j})+\delta$$s\left(\mathbf{\vec v}_u,\mathbf{\vec v}_{a_i}\right)\gt s\left(\mathbf{\vec v}_u,\mathbf{\vec v}_{a_j}\right) +\delta$ ，其中 $\delta >0$$\delta\gt 0$ 为 margin 超参数。

   这里我们选择 point-wise 模型，因为它可以直接将训练数据集重新用于 prediction subnet 。我们将 matching subnet 的损失函数定义为：

   $${\mathcal{L}}_m=-\frac{1}{n}\sum _{i=1}^n[y(u,a)\log s({\overrightarrow{\mathbf{v}}}_u,{\overrightarrow{\mathbf{v}}}_a)+(1-y(u,a))\log (1-s({\overrightarrow{\mathbf{v}}}_u,{\overrightarrow{\mathbf{v}}}_a))]$$

   其中：$n$$n$ 为样本数量；如果用户 $u$$u$ 点击广告 $a$$a$ 则 $y(u,a)=1$$y(u,a)=1$ ，否则 $y(u,a)=0$$y(u,a) = 0$ 。

4. matching subnet 也是采用是否点击作为label，这和 prediction subnet 完全相同。二者不同的地方在于：

   • matching subnet 是 uv 粒度，而 prediction subnet 是 pv 粒度。

   • matching subnet 通过representation 向量的内积来建模用户和广告的相关性，用户信息和广告信息只有在进行内积的时候才产生融合。而 prediction subnet 直接建模点击率，用户信息和广告信息在 embedding layer 之后就产生融合。

16.1.3 Correlation Subnet

1. correlation subnet 对 ad-ad 的关系（即，哪些广告位于用户点击序列的时间窗口内）进行建模，并旨在学习有用的广告 representation 。在我们的问题中，由于用户的点击广告构成了随时间推移的、具有一定相关性的序列，因此我们使用 skip-gram 模型来学习有用的广告representation 。

   给定单个用户点击广告的广告序列 $\{a_1,a_2,\cdots ,a_L\}$$\{a_1,a_2,\cdots,a_L\}$ ，我们最大化平均对数似然：

   $$ll=\frac{1}{L}\sum _{i=1}^L\sum _{-C\le j\le C}\log p(a_{i+j}\mid a_i)$$

   其中： $L$$L$ 是广告序列长度，$C$$C$ 为上下文窗口大小。

2. 概率 $p(a_{i+j}\mid a_i)$$p(a_{i+j}\mid a_i)$ 可以通过不同的方式进行定义，例如 softmax、层次 softmax、负采样。由于负采样的效率高，我们选择负采样技术将 $p(a_{i+j}\mid a_i)$$p(a_{i+j}\mid a_i)$ 定义为：

   $$p(a_{i+j}\mid a_i)=\sigma \left({\overrightarrow{\mathbf{h}}}_{a_{i+j}}^{\mathrm{\top }}{\overrightarrow{\mathbf{h}}}_{a_i}\right)\prod _{q=1}^Q\sigma (-{\overrightarrow{\mathbf{h}}}_{a_q}^{\mathrm{\top }}{\overrightarrow{\mathbf{h}}}_{a_i})$$

   其中：

   • $Q$$Q$ 为负采样的广告数，$\sigma (\cdot )$$\sigma(\cdot)$ 为 sigmoid 函数。

   • ${\overrightarrow{\mathbf{h}}}_{a_i}$$\mathbf{\vec h}_{a_i}$ 为广告 $a_i$$a_i$ 的 high-level representation，它涉及广告 $a_i$$a_i$ 的所有特征，并经过多个 FC 层。

3. correlation subnet 的损失函数为负的对数似然：

   $${\mathcal{L}}_c=\frac{1}{L}\sum _{i=1}^L\sum _{-C\le j\le C}[-\log \left[\sigma \left({\overrightarrow{\mathbf{h}}}_{a_{i+j}}^{\mathrm{\top }}{\overrightarrow{\mathbf{h}}}_{a_i}\right)\right]-\sum _{q=1}^Q\log \left[\sigma (-{\overrightarrow{\mathbf{h}}}_{a_q}^{\mathrm{\top }}{\overrightarrow{\mathbf{h}}}_{a_i})\right]]$$

   考虑所有用户的 ${\mathcal{L}}_c$$\mathcal L_c$ 则得到 correlation subnet 总的损失。

16.1.4 其它

1. 离线训练过程：DeepMCP 的最终联合损失函数为：

   $$\mathcal{L}={\mathcal{L}}_p+\alpha {\mathcal{L}}_m+\beta {\mathcal{L}}_c$$

   其中 $\alpha ,\beta$$\alpha,\beta$ 为超参数，它们平衡了不同 subnet 的重要性。

   DeepMCP 通过在训练集上最小化联合损失函数来训练。由于我们的目标是最大化 CTR 预估性能，因此训练过程中我们在独立的验证集上评估模型，并记录验证 AUC。最佳模型参数在最高的验证 AUC 处获得。

2. 在线预测过程：DeepMCP 模型仅需要计算预估的点击率pCTR，因此只有prediction subnet 处于活跃状态。这使得 DeepMCP 的在线预测阶段相当简单和高效。

16.2 实验

1. 数据集：我们使用两个大型数据集：

   • Avito 广告数据集：数据集包含来自俄罗斯最大的通用分类网站 avito.ru 的广告日志的随机样本。我们将 2015-04-28 ~ 2015-05-18 的广告日志用于训练、2015-05-19 的广告日志用于验证、2015-05-20 的广告日志用于测试。

     在 CTR 预估中，测试通常是第二天的预测，这里测试集包含 $2.3\times {10}^6$$2.3\times 10^6$ 个样本。用到的特征包括：用户特征（如用户 ID、IP ID 、用户浏览器、用户设备）、query 特征（如query、 query category、query 参数）、广告特征（如广告ID、广告标题、广告cateogry）、其它特征（如 hour of day、day of week ）。

   • Company 广告数据集：数据集包含来自阿里巴巴商业广告系统的广告曝光日志和点击日志的随机样本。我们使用 2018 年八月到九月连续30 天的日志用于训练，下一天的日志用于验证、下下一天的日志用于测试。

     测试集包含 $1.9\times {10}^6$$1.9 \times 10^6$ 个样本。用到的特征也包括用户特征、query 特征、广告特征、其它特征。

2. baseline 方法：我们使用以下 CTR 预估的 baseline 方法：

   • LR：逻辑回归方法。它是线性模型，建模了特征重要性。

   • FM：因子分解机。它同时对一阶特征重要性和二阶特征交互进行建模。

   • DNN：深度神经网络，它包含一个 embedding 层、几个 FC 层、一个输出层。

   • Wide & Deep：它同时结合了 LR（wide 部分）、DNN（deep 部分）。

   • PNN：product-based 神经网络，它在 DNN 的 embedding 层和 FC 层之间引入了一个乘积层production layer 。

   • DeepFM：它结合了 FM（wide 部分）、DNN（deep 部分）。

   • DeepCP：DeepMCP 模型的一种变体，仅包含 correlation subnet 和 prediction subnet 。它等价于在联合损失函数中设置 $\alpha =0$$\alpha = 0$ 。

   • DeepMP：DeepMCP 模型的一种变体，仅包含 matching subnet 和 prediction subnet 。它等价于在联合损失函数中设置 $\beta =0$$\beta = 0$ 。

3. 实验配置：

   • 考虑到每个特征的取值范围很广，因此我们设置每个特征的维度 $K=10$$K=10$ ，从而防止 embedding 矩阵规模太大。

   • 对于基于神经网络的模型，我们设置全连接层的层数为 2、维度分别为 512 和 256 。

   • 我们设置 batch size=28，上下文窗口大小 $C=2$$C=2$ ，负采样广告数量为 $Q=4$$Q=4$ ，dropout rate=0.5 。

   • 所有这些方法都在 tensorflow 中实现，并通过 Adagrad 算法进行优化。

4. 评估指标：测试 AUC （越大越好）、测试 logloss （越小越好）。

5. 实验结果如下表所示，可以看到：

   • FM 性能要比 LR 好得多，这是因为 FM 建模了二阶特征交互，而 LR 仅建模一阶的特征重要性。

   • DNN 性能进一步优于 FM，因为它可以学习高阶非线性特征交互。

   • PNN 优于 DNN，因为它进一步引入了 production layer。

   • Wide & Deep 进一步优于 PNN，因为它结合了 LR 和 DNN，从而提高了模型的记忆memorization 能力和泛化generalization 能力。

   • DeepFM 结合了 FM 和 DNN，它在 Avito 数据集上优于 Wide & Deep，但是在 Company 数据集上性能稍差。

   • DeepCP 和 DeepMP 在两个数据集上都超越了表现最好的 baseline 。

     由于 baseline 方法仅考虑单个CTR 预估任务，因此这些观察结果表明：考虑额外的 representation learning 任务可以帮助更好地执行 CTR 预估。

   • 还可以观察到 DeepMP 的性能比 DeepCP 更好，这表明：matching subnet 要比 correlation subnet 带来更多的好处。

     这是可以理解的，因为 matching subnet 同时考虑了用户和广告，而 correlation subnet 仅考虑了广告。

   • DeepMCP 在这两个数据集上均表现最佳，这些证明了 DeepMCP 的有效性。

   

6. 超参数 $\alpha ,\beta$$\alpha,\beta$ 的影响：下图分别给出了 $\alpha ,\beta$$\alpha,\beta$ 超参数对于DeepMCP 测试 AUC 的影响，其中 Pred 表示 DNN、Pred+Corr 表示DeepCP、Pred+Match 表示 DeepMP 。可以看到：

   • 当超参数 $\alpha$$\alpha$ 或者 $\beta$$\beta$ 开始增加时，测试AUC 开始提升；当 $\alpha$$\alpha$ 或者 $\beta$$\beta$ 继续增加时，测试 AUC 开始下降。

   • 在 Company 数据集上，较大的 $\beta$$\beta$ 可能导致非常差的性能，甚至比单纯的 DNN 更差。

   • 总体而言，matching subnet 比 correlation subnet 带来更大的测试 AUC 提升。

   

   

7. 隐层维度的影响：下图给出了两层隐层的模型中，测试 AUC 和隐层维度的关系。为了方便阅读，我们仅展示了 DNN, Wide & Deep, DeepMCP 的结果。我们使用收缩结构，其中第二层维度为第一层维度的一半。第一层维度选择从 128 增加到 512 。

   可以看到：当隐层维度增加时，测试 AUC 通常会提升；但是当维度进一步增加时，测试 AUC 可能会下降。这可能是因为训练更复杂的模型更加困难。

   

8. 隐层数量的影响：我们对比了不同深度的模型的效果。为了方便阅读，我们仅展示了 DNN, Wide & Deep, DeepMCP 的结果。我们分别使用一层（[256]）、两层（[512, 256]）、三层（[1024, 512, 256]）、四层（[2048, 1024, 512, 256]）。

   可以看到：

   • 当隐层数量从1 层增加到 2 层时，模型性能通常会提高。这是因为更多的隐层具有更好的表达能力。

   • 但是当隐层数量进一步增加时，性能就会下降。这是因为训练更深的神经网络更加困难。

   

十七、DMR[2020]

1. Matching 和 Ranking 是推荐系统中信息检索的两个经典阶段。

   • matching 阶段（又称作候选生成 candidate generation）通过将 user 和 item 进行 matching ，从而从整个item 集合中检索一小部分候选对象candidate。

     基于协同过滤的方法被广泛用于计算 user-to-item 的相关性，并选择最相关的item 。

   • ranking 阶段通过 ranking 模型为不同 matching 方法生成的候选者打分，并将 top-N 打分的 item 呈现给最终用户。

   用户点击是推荐系统中非常重要的评估指标，它是所有后续转化行为的基础。click-through rate: CTR 的预估已经引起了学术界和工业界的广泛关注。

   个性化personalization 是提高CTR预估性能和提升用户体验的关键。已经提出了很多基于深度学习的方法来进行CTR 预估，这些方法可以学习隐式特征交互并提升模型容量capability 。这些方法大多数都关注于设计自动特征交互的网络结构。

   最近，有人提出了几种模型来从点击、购买之类的用户行为数据中提取用户兴趣，这对于用户没有明确显示其兴趣的推荐配置setting而言非常重要。为了表示用户的兴趣，这些模型考虑了用户交互的 item 和目标 item 之间的 item-to-item 相关性。

   但是，这些模型主要聚焦于用户 representation，而忽略了表达 user-to-item 相关性。user-to-item 相关性直接衡量了用户对目标 item 的个性化偏好，并在基于协同过滤的 matching 方法中精心建模。

   基于这些观察，论文 《Deep Match to Rank Model for Personalized Click-Through Rate Prediction》提出了一种新的模型，称作 Deep Match to Rank: DMR 。该模型将协同过滤的思想和 matching 思想相结合，用于 CTR 预估的 ranking 任务，从而提高了 CTR 预估的性能。

   DMR 包含 User-to-Item Network 和 Item-to-Item Network 这两个子网来代表 user-to-item 的相关性。

   • 在 User-to-Item Network ，论文通过embedding 空间中 user embedding 和 item embedding 的内积来表达用户和 item 之间的相关性。其中 user embedding 是从用户行为中抽取而来。

     考虑到最近的行为可以更好地反映用户的时间的兴趣temporal interest ，论文应用注意力机制来自适应地学习每种行为在行为序列中的权重，并考虑行为在序列中的位置position 。

     同时，论文提出一个辅助的match 网络 auxiliary match network 来推动更大larger 的内积从而代表更高的相关性，并帮助更好地拟合 User-to-Item Network 。

     辅助 match 网络可以视为一种 match 方法，其任务是根据用户的历史行为来预测下一个要点击的 item ，然后论文在 DMR 中共同训练 matching 模型和 ranking 模型。据作者所知，DMR 是第一个在 CTR 预估任务中联合训练matching 和 ranking 的模型。

   • 在 Item-to-Item Network，论文首先计算用户交互item 和目标 item 之间的 item-to-item 相似度，其中采用考虑了位置信息position information 的注意力机制。然后论文将item-to-item 相似性相加，从而获得了另一种形式的 user-to-item 相关性。

     注意，一般而言在 matching 阶段，候选者通常是通过多种 matching 方法生成的，以满足用户需求的多样性，并且不同方法之间的 user-to-item 相关性得分是不可比的not comparable 。但是在 DMR 中，可以以统一的方式将相关性强度进行比较。

   论文的主要贡献：

   • 论文指出捕获用户和 item 之间相关性的重要性，这可以使 CTR 预估模型更加个性化和有效。受此启发，论文提出了一种称作 DMR 的新模型，该模型在 mathcing 方法中应用协同过滤的思想，通过 User-to-Item 和 Item-to-Item Network 来表示相关性。

   • 论文设计了辅助 match 网络，可以将其视为 mathcing 模型，从而帮助更好地训练 User-to-Item Network。据作者所知，DMR 是第一个在 CTR 预估模型中联合训练 matching 和 ranking 的模型。

   • 考虑到最近的行为对用户的动态兴趣贡献更大temporal interest ，论文在注意力机制中引入 positional encoding 来自适应地学习每个行为的权重。

   • 论文在公共数据集和工业数据集上进行了广泛的实验，证明了所提出的 DMR 比 state-of-the-art 的模型有着显著提升。

2. 相关工作：

   • 特征交互：最近，基于深度学习的 CTR 预估模型备受关注并取得了显著的效果。与传统的线性模型相比，基于深度学习的方法可以增强模型容量 capability，并且通过非线性变换学习隐式特征交互。通过从高维稀疏特征中学习低维representation ，深度模型对罕见的特征组合有更好的估计estimation 。

     然而，实际应用中高维稀疏特征带来了很大的挑战：深度模型可能会过拟合overfit 。基于此，人们提出了不同的模型，以便更好地对特征交互进行建模，提高 CTR 预估的性能。

     • Wide & Deep 通过联合训练线性模型和非线性深度模型，从而结合了二者的优势。

     • Deep Crossing 应用深度残差网络来学习交叉特征。

     • PNN 在 embedding layer 和全连接层之间引入一个 product layer，从而探索高阶特征交互。

     • AFM 基于对二阶特征交互建模的分解机 factorization-machine: FM，通过注意力机制来学习加权的特征交互。

     • DeepFM 和 NFM 通过将 FM 与深度网络相结合，从而结合了低阶特征交互和高阶特征交互。

     • DCN 引入了 cross network 来学习某种有界阶次bounded-degree 特征交互。

     在 DMR 模型中，user-to-item 相关性的 representation 可以视为用户和 item 之间的一种特征交互。

   • 用户行为特征：和搜索排序search ranking 不同，在推荐系统和许多其他application 中，用户并没有清楚地表明他们的意图。因此，从用户行为中捕获用户兴趣对于 CTR 预估至关重要，而上述模型对此关注较少。

     • 可变长度的用户行为特征通常通过简单的均值池化转变为固定长度的向量，这意味着所有行为都同等重要。

     • DIN 通过加权 sum 池化来表示用户兴趣，其中每个用户行为相对于目标 item 的权重通过注意力机制自适应学习。

     • DIEN 不仅提取用户兴趣，而且建模兴趣的动态演变temporal evolution 。

     • DSIN 利用行为序列中的会话信息来建模兴趣演变。

     在DMR 模型中，受 Transformer 的启发，论文将 positional encoding 引入注意力机制从而捕获用户的动态兴趣temporal interest 。

   • user-to-item 相关性：尽管取得了很大进展，但是这些方法侧重于用户 representation，而忽略了 user-to-item 相关性的表达，而后者直接衡量了用户对目标 item 的偏好强度。在提出的 DMR 中，论文关注表达 user-to-item 的相关性，从而提高个性化 CTR 模型的性能。

     • 基于协同过滤 collaborative filtering: CF 的方法在构建推荐系统的 matching 阶段非常成功。在这些方法中，item-to-item CF 因其在实时个性化方面的可解释性和效率而被广泛应用于工业推荐 setting 。通过预先计算好 item-to-item 的相似度矩阵，系统可以向用户推荐与该用户历史点击item 相似的 item。

       为了计算 item-to-item 相似度，早期的工作侧重于统计量，例如余弦相似度和 Pearson 系数。基于深度学习的方法 NAIS 采用带注意力机制的 item-to-item CF，从而区分用户不同行为的重要性，这与 DIN 有相似的想法。

       item-to-item CF 可以视为获取 user-to-item 相关性的间接方法。

     • 和 item-to-item CF 不同，基于矩阵分解的 CF 方法通过在低维空间中计算 user representation 和 item representation 的内积来直接计算user 和 item 相关性。以类似的基于内积的形式，人们提出了基于深度学习的方法来从用户的历史行为中学习 user representation ，这可以看作是矩阵分解技术的非线性泛化。

       《Deep neural networks for youtube recommendations》 将 matching 视为极端多分类问题，其中点击预估问题变成了根据用户的历史行为准确地分类用户接下来将要点击的 item 。

       《Session-based recommendations with recurrent neural networks》 将 GRU 应用到基于会话的推荐任务。

       TDM 使用 tree-based 方法来超越基于内积的方法。

     在DMR 模型中，一方面论文使用 user representation 和 item representation 之间的内积来获得一种 user-to-item 的相关性；另一方面论文应用注意力机制来表示 item-to-item 的相似性，并进一步基于这种相似性来获得另一种 user-to-item 的相关性。

17.1 模型

1. 这里我们详细介绍 Deep Match to Rank:DMR 模型的设计。

   • 首先我们从两个方面概述了基于深度学习的 CTR 模型的基本结构：特征表示feature representation、多层感知机multiple layer perceptron: MLP 。

   • 然后我们介绍建模 user-to-item 相关性的、带有两个子网的 DMR 的总体结构。

17.1.1 Feature Rpresentation

1. 我们的推荐系统中包含四类特征：

   • 用户画像User Profile：包含用户 ID、消费水平等等。

   • Target Item 特征：包括item ID、category ID 等等。

   • 用户行为 User Behavior：是用户交互的 item 形成的 item 序列。

   • 上下文 Context：包含时间、matching 方法、以及对应的 matching score 等。

   大多数特征都是离散型特征，可以将其转换为高维的 one-hot 向量。在基于深度学习的模型中，one-hot 向量通过 embedding layer 转换为低维稠密特征。

   例如，item ID 的 embedding 矩阵可以表示为：$\mathbf{V}=[{\overrightarrow{\mathbf{v}}}_1,\cdots ,{\overrightarrow{\mathbf{v}}}_K]\in {\mathbb{R}}^{K\times d_v}$$\mathbf V=\left[\mathbf{\vec v}_1,\cdots,\mathbf{\vec v}_K\right]\in \mathbb R^{K\times d_v}$，其中： $K$$K$ 为item 集合的大小，$d_v$$d_v$ 为 embedding 向量维度，${\overrightarrow{\mathbf{v}}}_j\in {\mathbb{R}}^{d_v}$$\mathbf{\vec v}_j\in \mathbb R^{d_v}$ 为第 $j$$j$ 个 item 的 embedding 向量。

   无需在 one-hot 向量和 embedding 矩阵之间进行复杂的矩阵乘法，embedding layer 通过查表 look up table 就可以获取 embedding 向量。

2. 我们将离散特征 embedding 和 normalized 的连续特征拼接起来，其中：用户画像User Profile 的拼接特征为 ${\overrightarrow{\mathbf{x}}}_p$$\mathbf{\vec x}_p$、用户行为User Behavior 的拼接特征为 ${\overrightarrow{\mathbf{x}}}_b$$\mathbf{\vec x}_b$ 、Target Item 的拼接特征为 ${\overrightarrow{\mathbf{x}}}_t$$\mathbf{\vec x}_t$ 、上下文Context的拼接特征为 ${\overrightarrow{\mathbf{x}}}_c$$\mathbf{\vec x}_c$ 。

   注意，用户行为序列包含很多个item，因此用User Behavior 的特征是由这些item 的特征向量列表拼接而成 ${\overrightarrow{\mathbf{x}}}_b=[{\overrightarrow{\mathbf{e}}}_1||\cdots ||{\overrightarrow{\mathbf{e}}}_T]\in {\mathbb{R}}^{(T{d}_e)\times 1}$$\mathbf{\vec x}_b=\left[\mathbf{\vec e}_1||\cdots||\mathbf{\vec e}_T\right]\in \mathbb R^{(Td_e)\times 1}$ ，其中：

   • $T$$T$ 为用户行为序列的长度，由于不同用户的行为序列长度不同，因此 $T$$T$ 是可变的。

   • ${\overrightarrow{\mathbf{e}}}_t\in {\mathbb{R}}^{d_e}$$\mathbf{\vec e}_t\in \mathbb R^{d_e}$ 为第 $t$$t$ 个行为的特征向量，$d_e$$d_e$ 为对应的维度，|| 表示向量拼接。

   User Behavior 特征和 Target Item 特征位于相同的特征空间，并共享相同的 embedding 矩阵以降低内存需求。

3. 注意：${\overrightarrow{\mathbf{e}}}_t$$\mathbf{\vec e}_t$ 是用户第 $t$$t$ 个行为的特征向量，它其实是第 $t$$t$ 个产生行为的item 的 representation。它和 ${\overrightarrow{\mathbf{v}}}_j$$\mathbf{\vec v}_j$ 不同：${\overrightarrow{\mathbf{v}}}_j$$\mathbf{\vec v}_j$ 仅仅是 item ID 的 embedding 向量，而 ${\overrightarrow{\mathbf{e}}}_t$$\mathbf{\vec e}_t$ 可能包括 item ID 和 cate ID 等embedding 向量的拼接。

17.1.2 MLP

1. 所有特征向量拼接起来构成样本的完整representation 之后，将representation 灌入 MLP 。MLP 隐层的激活函数为 PRelu，最终输出层采用 sigmoid 激活函数从而用于二分类任务。

   • MLP 输入的长度需要固定，因此需要将User Behavior 特征向量 ${\overrightarrow{\mathbf{x}}}_b$$\mathbf{\vec x}_b$ 进行池化从而转换为固定长度的特征向量。

   • 交叉熵损失函数通常和 sigmoid 函数一起使用，其对数函数可以抵消 sigmoid 函数中指数的副作用。给定样本 $(\overrightarrow{\mathbf{x}},y)$$(\mathbf{\vec x},y)$ ，其中 $y\in \{0,1\}$$y\in \{0,1\}$ 为标签，$\overrightarrow{\mathbf{x}}=[{\overrightarrow{\mathbf{x}}}_p||{\overrightarrow{\mathbf{x}}}_b||{\overrightarrow{\mathbf{x}}}_t||{\overrightarrow{\mathbf{x}}}_c]$$\mathbf{\vec x}=\left[\mathbf{\vec x}_p ||\mathbf{\vec x}_b||\mathbf{\vec x}_t||\mathbf{\vec x}_c\right]$ 为样本特征，则损失函数为：

     $${\mathcal{L}}_{\text{target}}=-\frac{1}{N}\sum _{(\overrightarrow{\mathbf{x}},y)\in \mathcal{D}}[y\log f(\overrightarrow{\mathbf{x}})+(1-y)\log (1-f(\overrightarrow{\mathbf{x}}))]$$

     其中 $\mathcal{D}$$\mathcal D$ 为训练集，$N$$N$ 为总的样本数量， $f(\overrightarrow{\mathbf{x}})$$f(\mathbf{\vec x})$ 为 MLP 的预测输出的点击概率。

17.1.3 DMR

1. 基于深度学习 CTR 模型的basic 结构很难通过隐式特征交互来捕获用户和 item 的相关性。在 DMR 中，我们提出了两个子网，即 User-to-Item Network 、Item-to-Item Network，从而建模 user-to-item 相关性，进而可以提高个性化 CTR 模型的性能。

   DMR 结构如下图所示：

   • 输入特征向量是嵌入embedded 的离散特征、和正则化normalized 的连续特征的拼接。

   • DMR 使用两个子网（ User-to-Item Network 、Item-to-Item Network）以两种形式来建模 user-to-item 相关性。

   • 两种形式的 user-to-item 相关性、用户的动态兴趣temporal interest的 representation 、以及其它所有特征向量拼接起来，然后馈入到 MLP 中。

   最终损失由 MLP 的 target loss 和辅助的 match network loss 组成。

   

a. User-to-Item Network

1. 遵循基于矩阵分解的 matching 方法中的representation 形式，User-to-Item Network 通过user representation 和 item representation 的内积来建模用户和目标 item 之间的相关性，这可以视作用户和 item 之间的一种特征交互。

2. 为获得user representation，我们求助于 User Behavior 特征。用户不会在推荐场景中明确展现其兴趣，而用户行为则隐式地反映了用户兴趣。

   表达用户兴趣的一种朴素方法是：对用户行为特征使用均值池化。这种方法认为每种行为对于最终用户兴趣做出同等贡献。

   但是，用户的兴趣可能会随着时间而变化。在这种情况下，最近的行为可能会更好地反映用户的时间 temporal 兴趣。根据发生的时刻为每个行为分配权重可以缓解该问题，但是也很难找到最佳权重。

   在 User-to-Item Network 中，我们使用位置编码作为 query 的注意力机制来自适应地学习每个行为的权重，其中用户行为的位置position 是行为序列中按发生时间排序的序列编号。数学描述为：

   $$\begin{array}{c}{a}_t={\overrightarrow{\mathbf{z}}}^{\mathrm{\top }}\tanh ({\mathbf{W}}_p{\overrightarrow{\mathbf{p}}}_t+{\mathbf{W}}_e{\overrightarrow{\mathbf{e}}}_t+\overrightarrow{\mathbf{b}})\\ {\alpha }_t=\frac{\exp (a_t)}{\sum _{i=1}^T\exp (a_i)}\end{array}$$

   其中：

   • ${\overrightarrow{\mathbf{p}}}_t\in {\mathbb{R}}^{d_p}$$\mathbf{\vec p}_t\in \mathbb R^{d_p}$ 为第 $t$$t$ 个位置 embedding。

   • ${\overrightarrow{\mathbf{e}}}_t\in {\mathbb{R}}^{d_e}$$\mathbf{\vec e}_t\in \mathbb R^{d_e}$ 为第 $t$$t$ 个行为的特征向量。

   • ${\mathbf{W}}_p\in {\mathbb{R}}^{d_h\times d_p},{\mathbf{W}}_e\in {\mathbb{R}}^{d_h\times d_e},\overrightarrow{\mathbf{b}}\in {\mathbb{R}}^{d_h},\overrightarrow{\mathbf{z}}\in {\mathbb{R}}^{d_h}$$\mathbf W_p\in \mathbb R^{d_h\times d_p},\mathbf W_e\in \mathbb R^{d_h\times d_e},\mathbf{\vec b}\in \mathbb R^{d_h},\mathbf{\vec z}\in \mathbb R^{d_h}$ 为待学习的参数。

   • ${\alpha }_t$$\alpha_t$ 为第 $t$$t$ 个行为的归一化权重。

   通过加权的 sum 池化，我们将 User Behavior 特征向量 ${\overrightarrow{\mathbf{x}}}_b$$\mathbf{\vec x}_b$ 映射到固定长度的特征向量，然后由全连接层进行转换以匹配 item representation 的维度 $d_v$$d_v$ 。

   最终用户的 representation $\overrightarrow{\mathbf{u}}\in {\mathbb{R}}^{d_v}$$\mathbf{\vec u}\in \mathbb R^{d_v}$ 的公式为：

   $$\overrightarrow{\mathbf{u}}=g\left(\sum _{t=1}^T{\alpha }_t{\overrightarrow{\mathbf{e}}}_t\right)=g\left(\sum _{t=1}^T{\overrightarrow{\mathbf{h}}}_t\right)$$

   其中：

   • $g(\cdot )$$g(\cdot)$ 表示非线性的映射，其输入维度为 $d_e$$d_e$、输出维度为 $d_v$$d_v$ 。

   • ${\overrightarrow{\mathbf{h}}}_t={\alpha }_t{\overrightarrow{\mathbf{e}}}_t$$\mathbf{\vec h}_t=\alpha_t\mathbf{\vec e}_t$ 表示第 $t$$t$ 个行为的加权特征向量。

   这里的 attention 计算的是基于 positional embedding 计算不同位置的、归一化的重要性。这里没有考虑 target item 的重要性，因为计算 user representation 时不会融合 item representation 信息。

3. 这里的attention 网络有三个细节，为简化起见我们忽略了它们：

   • 首先，可以添加更多的隐层从而具有更好的representation。

   • 其次，除了位置编码之外，还可以将更多的、反映用户兴趣强度的上下文特征添加到 attention 网络中，例如行为类型（如点击、购买、收藏）、停留时长等。在这些特征中，位置在我们的应用中影响力最大。

   • 第三，以行为发生时间的倒序对位置进行编码，从而确保最近的行为获得第一个位置。

4. 尽管 RNN 擅长处理序列数据，尤其是在 NLP 任务中，但是它不适合建模用户行为序列。和严格遵循某些规则的文本不同，用户行为序列是不确定的 uncertain，并且可能会受到呈现给用户的内容的影响。如果没有特殊设计的结构，那么 RNN 很难提高预测效果。

   此外，串行计算的 RNN 给在线 serving 系统带来了挑战。

5. 目标 item 的 representation ${\overrightarrow{\mathbf{v}}}^{\prime }\in {\mathbb{R}}^{d_v}$$\mathbf{\vec v}^\prime\in \mathbb R^{d_v}$ 直接从 embedding 矩阵 ${\mathbf{V}}^{\prime }=[{\overrightarrow{\mathbf{v}}}_1^{\prime },{\overrightarrow{\mathbf{v}}}_2^{\prime },\cdots ,{\overrightarrow{\mathbf{v}}}_K^{\prime }]\in {\mathbb{R}}^{K\times d_v}$$\mathbf V^\prime=\left[\mathbf{\vec v}_1^\prime,\mathbf{\vec v}_2^\prime,\cdots,\mathbf{\vec v}_K^\prime\right]\in \mathbb R^{K\times d_v}$ 中查找look up 。其中 ${\mathbf{V}}^{\prime }$$\mathbf V^\prime$ 是针对target item 的一个独立的 embedding 矩阵，它不是和 embedding 矩阵 $\mathbf{V}$$\mathbf V$ 共享。

   为区分这两个 embedding 矩阵，我们称 $\mathbf{V}$$\mathbf V$ 为Target Item 的 input representation、称 ${\mathbf{V}}^{\prime }$$\mathbf V^\prime$ 为Target Item 的 output representation 。尽管这种方式增加了存储空间，但是与 $\mathbf{V}$$\mathbf V$ 和 ${\mathbf{V}}^{\prime }$$\mathbf V^\prime$ 相同的方式相比，模型仅仅是将 embedding 大小增加了一倍，而模型具有更强的表达能力。我们将在实验部分验证该结论。

6. 得到用户representation $\overrightarrow{\mathbf{u}}$$\mathbf{\vec u}$ 和目标 item 的 representation ${\overrightarrow{\mathbf{v}}}^{\prime }$$\mathbf{\vec v}^\prime$ 之后，我们使用向量内积来表示用户和 item 的相关性：

   $$r={\overrightarrow{\mathbf{u}}}^{\mathrm{\top }}{\overrightarrow{\mathbf{v}}}^{\prime }$$

   我们预期更大的 $r$$r$ 代表更强的相关性，从而对点击预测产生积极的影响。

   但是，从反向传播的角度来看，仅通过点击标签的监督来确保这一点并不容易。此外，embedding 矩阵 ${\mathbf{V}}^{\prime }$$\mathbf V^\prime$ 中参数的学习完全依赖于相关单元 relevance unit $r$$r$ 。有鉴于此，我们提出了一个辅助match 网络，该网络从用户行为中引入label，从而监督 User-to-Item Network 。

7. 辅助 match 网络的任务是基于之前的 $T-1$$T-1$ 个行为来预测第 $T$$T$ 个行为，这是一个极端extreme 的多分类任务。

   遵从前文中用户 representation $\overrightarrow{\mathbf{u}}$$\mathbf{\vec u}$ 的形式，我们可以从用户的前 $T-1$$T-1$ 个行为中获取用户 representation ，记作 ${\overrightarrow{\mathbf{u}}}_{T-1}\in {\mathbb{R}}^{d_v}$$\mathbf{\vec u}_{T-1}\in \mathbb R^{d_v}$ 。则用户具有前面 $T-1$$T-1$ 个行为的前提下，对 item $j$$j$ 产生第 $T$$T$ 个行为的概率为：

   $$p_j=\frac{\exp \left({\overrightarrow{\mathbf{u}}}_{T-1}^{\mathrm{\top }}{\overrightarrow{\mathbf{v}}}_j^{\prime }\right)}{\sum _{i=1}^K\exp \left({\overrightarrow{\mathbf{u}}}_{T-1}^{\mathrm{\top }}{\overrightarrow{\mathbf{v}}}_i^{\prime }\right)}$$

   其中 ${\overrightarrow{\mathbf{v}}}_j^{\prime }\in {\mathbb{R}}^{d_v}$$\mathbf{\vec v}_j^\prime\in \mathbb R^{d_v}$ 为第 $j$$j$ 个 item 的 output representation 。因此，针对target item 的 output representation ${\mathbf{V}}^{\prime }\in {\mathbb{R}}^{K\times d_v}$$\mathbf V^\prime \in \mathbb R^{K\times d_v}$ 可以视为 softmax layer 的参数。

   通过使用交叉熵损失函数，则我们得到辅助 match 网络的损失为：

   $${\mathcal{L}}_{aux}=-\frac{1}{N_m}\sum _{i=1}^{N_m}\sum _{j=1}^K{y}_j^i\log \left(p_j^i\right)$$

   其中：

   • $N_m$$N_m$ 为辅助 match 网络的样本数量， $K$$K$ 为总的item 数量。

   • $y_j^i\in \{0,1\}$$y_j^i\in \{0,1\}$ 表示辅助 match 网络的样本 $i$$i$ 的target item 是否为第 $j$$j$ 个 item 。$y_j^i=1$$y_j^i=1$ 当且仅当第 $i$$i$ 个用户的行为序列中，最后一个 item 为 item $j$$j$ 时成立。

   • $p_j^i$$p_j^i$ 表示辅助 match 网络的样本 $i$$i$ 的target item 为第 $j$$j$ 个 item 的预测概率。

   然而上式中的 $p_j$$p_j$ 计算代价很高，这和item 总数 $K$$K$ 成正比。为了有效训练具有百万类别的分类任务，我们采用了负采样技术。我们将带负采样的辅助match 网络损失函数定义为：

   $${\mathcal{L}}_{NS}=-\frac{1}{N_m}\sum _{i=1}^{N_m}[\log \sigma \left({\overrightarrow{\mathbf{u}}}_{T-1}^{\mathrm{\top }}{\overrightarrow{\mathbf{v}}}_o^{\prime }\right)+\sum _{j=1}^k\log \sigma (-{\overrightarrow{\mathbf{u}}}_{T-1}^{\mathrm{\top }}{\overrightarrow{\mathbf{v}}}_j^{\prime })]$$

   其中： $\sigma (\cdot )$$\sigma(\cdot)$ 为 sigmoid 函数；${\overrightarrow{\mathbf{v}}}_o^{\prime }$$\mathbf{\vec v}_o^\prime$ 为正样本，${\overrightarrow{\mathbf{v}}}_j^{\prime }$$\mathbf{\vec v}_j^\prime$ 为负采样的负样本；$k$$k$ 为负采样数量，它远远小于 $K$$K$ 。

   最终的损失函数为：

   $${\mathcal{L}}_{final}={\mathcal{L}}_{target}+\beta {\mathcal{L}}_{NS}$$

   其中 $\beta$$\beta$ 为一个超参数，用于平衡这两部分损失。

8. 通过从User Behavior 中引入标签，辅助match 网络可以推动更大的 $r$$r$ 来表示更强的相关性，并帮助更好地训练 embedding 矩阵 ${\mathbf{V}}^{\prime }$$\mathbf V^\prime$ 和其它参数。

9. 理解 User-to-Item Network 的另一种方法是：在统一模型中共同训练 ranking 模型和 matching 模型，其中 matching 模型是辅助 match 网络。

   在 matching 阶段，候选者是通过多路match 来生成，其中每一路match 之间的分数不可比not comparable ，每个候选者仅具有对应 matching 方法的相关性得分。

   和仅将 matching score 作为特征馈入 MLP 不同，User-to-Item Network 能够在给定任务 Target Item 的情况下获得 user-to-item 相关性得分，并且相关性以统一的方式可比comparable 。

b. Item-to-Item Network

1. 除了直接计算 user-to-item 相关性之外，我们还提出了 Item-to-Item Network 以间接方式来表达相关性。

   首先我们建模用户交互的 item 和 target item 之间的相似性similarity ，然后对这些相似性相加从而得到另一种形式的user-to-item 相关性relevance 。

2. 为了使得相关性的 representation 更具有表达性，我们使用 attention 机制（而不是 User-to-Item Network 中的内积）来建模 item-to-item 相似性。

   给定用户交互的 item、target item、位置编码作为输入，item-to-item 相似性的公式为：

   $${\hat{a}}_t={\widehat{\overrightarrow{\mathbf{z}}}}^{\mathrm{\top }}\tanh ({\hat{\mathbf{W}}}_c{\overrightarrow{\mathbf{e}}}_c+{\hat{\mathbf{W}}}_p{\overrightarrow{\mathbf{p}}}_t+{\hat{\mathbf{W}}}_e{\overrightarrow{\mathbf{e}}}_t+\widehat{\overrightarrow{\mathbf{b}}})$$

   其中：

   • ${\overrightarrow{\mathbf{e}}}_c\in {\mathbb{R}}^{d_e}$${\mathbf{\vec e}}_c\in \mathbb R^{d_e}$ 为 target item 的特征向量， ${\overrightarrow{\mathbf{p}}}_t\in {\mathbb{R}}^{d_p}$${\mathbf{\vec p}}_t\in \mathbb R^{d_p}$ 为第 $t$$t$ 个位置 embedding ，${\overrightarrow{\mathbf{e}}}_t\in {\mathbb{R}}^{d_e}$${\mathbf{\vec e}}_t\in \mathbb R^{d_e}$ 为第 $t$$t$ 个行为的特征向量。

   • ${\hat{\mathbf{W}}}_c\in {\mathbb{R}}^{d_h\times d_e},{\hat{\mathbf{W}}}_p\in {\mathbb{R}}^{d_h\times d_p},{\hat{\mathbf{W}}}_e\in {\mathbb{R}}^{d_h\times d_e},\widehat{\overrightarrow{\mathbf{b}}}\in {\mathbb{R}}^{d_h},\widehat{\overrightarrow{\mathbf{z}}}\in {\mathbb{R}}^{d_h}$$\hat{\mathbf W}_c\in \mathbb R^{d_h\times d_e},\hat{\mathbf W}_p\in \mathbb R^{d_h\times d_p},\hat{\mathbf W}_e\in \mathbb R^{d_h\times d_e},\hat{\mathbf{\vec b}}\in \mathbb R^{d_h},\hat{\mathbf{\vec z}}\in \mathbb R^{d_h}$ 都是待学习的参数。

   用户行为和 target item 之间的 item-to-item 相似性之和构成了另一种类型的 user-to-item 相关性：

   $$\hat{r}=\sum _{t=1}^T{\hat{a}}_t$$

   通过加权的 sum 池化，UserBehavior 特征 ${\overrightarrow{\mathbf{x}}}_b$$\mathbf{\vec x}_b$ 被转换为固定长度的特征向量 $\widehat{\overrightarrow{\mathbf{u}}}$$\hat{\mathbf{\vec u}}$ ，从而构成了与目标相关的动态兴趣表示：

   $${\hat{\alpha }}_t=\frac{\exp \left({\hat{a}}_t\right)}{\sum _{i=1}^T\exp \left({\hat{a}}_i\right)},\widehat{\overrightarrow{\mathbf{u}}}=\sum _{t=1}^T{\hat{\alpha }}_t{\widehat{\overrightarrow{\mathbf{e}}}}_t$$

   其中 ${\hat{\alpha }}_t$$\hat \alpha_t$ 为第 $t$$t$ 个行为的归一化权重。

   注意：计算 $\hat{r}$$\hat r$ 的过程中并未进行归一化。因为归一化之后的注意力系数之和恒为 1.0 。

   和用户representation $\overrightarrow{\mathbf{u}}$$\mathbf{\vec u}$ 不同，目标相关的用户 representation $\widehat{\overrightarrow{\mathbf{u}}}$$\hat{\mathbf{\vec u}}$ 针对不同的target item 有所不同。通过注意力机制的局部激活能力，和目标 item 相关的行为的权重更高，并且主导了目标相关的用户 representation $\widehat{\overrightarrow{\mathbf{u}}}$$\hat{\mathbf{\vec u}}$ 。

3. 两种类型的 user-to-item 相关性 $r,\hat{r}$$r, \hat r$ 、以及用户动态兴趣 $\widehat{\overrightarrow{\mathbf{u}}}$$\hat{\mathbf{\vec u}}$ 将和其它输入特征向量拼接起来从而馈入 MLP。MLP 的最终输入为：$\overrightarrow{\mathbf{c}}=[{\overrightarrow{\mathbf{x}}}_p,{\overrightarrow{\mathbf{x}}}_t,{\overrightarrow{\mathbf{x}}}_c,\widehat{\overrightarrow{\mathbf{u}}},r,\hat{r}]$$\mathbf{\vec c} = \left[\mathbf{\vec x}_p,\mathbf{\vec x}_t,\mathbf{\vec x}_c,\hat{\mathbf{\vec u}},r,\hat r\right]$ 。

注，DMR 模型相当于对模型空间新增了约束：对于正样本，不仅点击率预估为 1.0，还需要 user representation 和 item representation 之间相关性很高。负样本也是类似。

17.2 实验

1. 数据集：

   • Alimama Dataset （公共数据集）：包含从Taobao 连续8 天中随机采样的曝光和点击日志。

     前7 天的日志用于训练，最后1 天的日志用于测试。数据集包含 2600 万条日志，一共有 114 万用户、84 万 item 。

   • 工业数据集：数据集包含从阿里巴巴在线推荐系统收集的曝光和点击日志。

     我们将前 14 天的日志用于训练、第15 天的日志用于测试。数据集包含 11.8 亿条日志，一共有 1090 万用户、4860 万 item 。

2. baseline 方法：

   • LR ：逻辑回归方法。它是一种经典的线性模型，可以看作是浅层神经网络。线性模型通常需要手动特征工程才能表现良好，这里我们添加了 User Behavior 和 Target Item 的叉积 cross-product 。

   • Wide&Deep：它具有一个 wide 部分和一个 deep 部分，因此同时结合了线性模型和非线性深度模型的优势。在我们的实现中，wide 部分和上述 LR 模型完全相同。

   • PNN：它引入了 product 层以及全连接层，从而探索高阶特征交互。

   • DIN：它通过自适应地学习注意力权重从而表示用户对目标 item 的兴趣。

     注意：如果没有两种 user-to-item 相关性、如果没有使用positional encoding，那么我们的 DMR 退化为 DIN 模型。

   • DIEN：DIEN 通过两层 GRU 建模了用户对目标item 的兴趣演化。

3. 实验配置：

   • 在公共数据集上：我们将学习率设为 0.001，batch size = 256，item embedding 维度为 32，用户行为序列的最大长度为 50，MLP 中的隐层维度分别为 512,256,128 。

     此外，辅助 match 网络中的负样本数设为 2000，辅助损失的权重 $\beta$$\beta$ 设为 0.1 。

   • 在工业数据集上：除了将 item embedding 维度设为64，其它超参数和公共数据集相同。

4. 下表给出了实验结果。我们使用 AUC 作为评估指标，所有实验重复5 次并报告平均结果。 Relative Improvement: RI 表示基于 LR 的相对提升。

   可以看到：

   • LR 的表现明显比 Wide&Deep 和其它基于深度学习的模型更差，这证明了深度神经网络中非线性变换和高阶特征交互的有效性。

   • PNN 受益于 product layer，从而相比 Wide&Deep 实现了更好的特征交互从而性能更好。

   • 在用户没有显式表现其兴趣的推荐场景中，捕获用户的兴趣至关重要。

     • 在基于深度学习的模型中，Wide&Deep 和 PNN 表现最差，尤其是在工业数据集上，这证明了从用户行为中抽取用户兴趣的重要性。

     • DIN 代表了用户对目标item 的兴趣，但是忽略了用户行为中的顺序信息。

     • DIEN 的性能优于 DIN，这主要归因于捕获了用户兴趣演变的两层 GRU 结构。

     • 基于用户兴趣representation，DRM 进一步通过 User-to-Item Network 和 Item-to-Item Network 来分别捕获两种形式的 user-to-item 相关性。

       通过相关性的representation，DRM 充分考虑了用户对目标 item 的个性化偏好，并且大幅度击败了所有baseline 方法，包括 LR、Wide&Deep、PNN、DIN、DIEN 。

   

5. 下表给出了公共数据集和工业数据集上具有不同组成部分的 DMR 的比较结果，Relative Improvement: RI 表示基于 DMR 的相对提升。其中：

   • DMR I2I 表示仅有 Item-to-Item Network。

   • DMR U2I 表示仅有 User-to-Item Network。

   • DMR-No-AM 表示没有辅助match 网络。

   • DMR-NO-PE 表示User-to-Item Network 中没有位置编码。

   • DMR-Double 表示 $\mathbf{V}$$\mathbf V$ 和 ${\mathbf{V}}^{\prime }$$\mathbf V^\prime$共享 embedding （即 $\mathbf{V}={\mathbf{V}}^{\prime }$$\mathbf V = \mathbf V^\prime$） ，且使用两倍尺寸的 item embedding 。

   可以看到：

   • user-to-item 相关性的 representation 的有效性：为了获得更具表达能力的 representation，我们应用了不同的操作来建模 user-to-item 相关性。

     User-to-Item Network 使用基于内积的操作来计算相关性，Item-to-Item Network 使用attention 网络来计算相关性。可以看到，这两个子网的组合要比单独使用时表现更好，这说明两种不同类型的 user-to-item 相关性是有效的，并且两种形式的 user-to-item 相关性是互补的，不是冗余的。

   • 辅助match 网络的有效性：和没有辅助match 网络的 DMR 相比，完整DMR 获得了更好的性能。

     辅助match 网络从用户行为中引入标签来监督训练，并在用户representation 和 item representation 之间推入更大的内积从而表示更高的相关性。

   • 额外 embedding 矩阵 ${\mathbf{V}}^{\prime }$$\mathbf V^\prime$ 的有效性：User-to-Item Network 使用额外的 embedding 矩阵 ${\mathbf{V}}^{\prime }$$\mathbf V^\prime$，可以将其视为辅助match 网络的 softmax layer 中的参数。

     我们尝试将 item embedding 的尺寸翻倍，并且共享 embedding 从而得到 DMR-Double，其参数数量和 原始 DMR 相同。可以看到原始 DMR 的性能优于 DMR-Double。这证明了单独的 embedding 矩阵 ${\mathbf{V}}^{\prime }$$\mathbf V^\prime$ 的有效性。

   • 位置编码的有效性：可以看到，在 User-to-Item Network 中没有位置编码的 DMR 要差于完整的 DMR。

     通过位置编码，DMR 会考虑用户行为序列中的顺序信息，并提取用户的动态兴趣。在工业数据集上， User-to-Item Network 没有位置编码的 DMR 甚至要比没有整个 User-to-Item Network 的 DMR （即 DMR I2I ）表现更差，这意味着没有位置编码的 User-to-Item Network 很难拟合。

   

6. user-to-item 相关性的 representation 的有效性：我们在公共数据集和工业数据集上探索了两个 user-to-item 相关性的值，如下图所示。这些值分别在正样本和负样本中取平均。

   不出所料，正样本的 user-to-item 相关性高于负样本，这意味着我们的 user-to-item 相关性模型是合理的。

   

7. 辅助match 网络的有效性：下图显式了 DMR 在公共数据集和工业数据集上的学习曲线 learning curve。可以看到目标损失 ${\mathcal{L}}_{target}$$\mathcal L_{target}$ 和辅助损失 ${\mathcal{L}}_{NS}$$\mathcal L_{NS}$ 同时降低，这意味着 matching 和 ranking 联合训练是有效的。其中 $\beta =0.1$$\beta = 0.1$ 。

   

8. 位置编码的有效性：我们探索用户行为序列中不同位置的注意力权重。下图给出了公共数据集和工业数据集上 Item-to-Item Network 中的平均权重，其中距离当前时间越近的行为具有越小的位置编号。

   尽管注意力权重受到多个因素的影响，但是总体趋势是：如预期所示，最近的行为获得更高的注意力权重，尤其是在工业数据集上。

   

9. 在线 A/B 测试：我们在阿里巴巴的推荐系统中进行在线 A/B 测试。和我们系统中最新版本的 CTR 模型 DIN 相比，DMR 的 CTR 提升了 5.5%，click per user 提升了 12.8%。由于提升如此之大，DMR 已经部署到线上从而提供推荐服务。

十八、MiNet[2020]

1. 点击率 click-through rate: CTR 预估是在线广告系统中的一项关键任务，它旨在预估用户点击目标广告的概率。预估的CTR 会影响广告 ranking 策略和广告收费模型。因此为了维持理想的用户体验并使收入最大化，准确预估广告的 CTR 至关重要。

   CTR 预估引起了学术界和工业界的广泛关注。例如：

   • 因子分解机 Factorization Machine: FM 用于建模 pairwise 特征交互。

   • 深度神经网络 Deep Neural Network 用于 CTR 预估和 item 推荐，从而自动学习 feature representation 和高阶特征交互。

   • Wide & Deep （结合了逻辑回归和 DNN）之类的混合模型还同时利用了浅层模型和深层模型。

   • 此外，深度兴趣网络 Deep Interest Network: DIN 基于历史行为对动态的用户兴趣进行建模。

   • 深度时空网络 eep Spatio-Temporal Network: DSTN 联合利用上下文广告、点击广告、未点击广告进行 CTR 预估。

   可以看到，目前现有工作主要针对单域 CTR 预估 single-domain CTR prediction ，即它们仅将广告数据用于 CTR 预估，并且对诸如特征交互、用户历史行为、上下文信息等方面建模。不过，广告通常会以原生内容natural content进行展示，这为跨域CTR预估cross-domain CTR prediction 提供了机会。

   论文 《MiNet: Mixed Interest Network for Cross-Domain Click-Through Rate Prediction》 解决了这个问题，并利用来自源域 source domain 的辅助数据来提高目标域 target domain 的 CTR 预估性能。论文的研究基于 UC 头条 （一个集成在 UC 浏览器 APP 中的新闻 feed 服务，每天为数亿用户提供服务），其中源域是新闻（news domain）、目标域是广告（ad domain）。

   跨域 CTR 预估的一个主要优势在于：通过跨域的丰富数据可以缓解目标域中的数据稀疏性和冷启动问题，从而提高CTR 预估性能。为了有效利用跨域数据，论文考虑以下三种类型的用户兴趣：

   • 跨域的长期兴趣：每个用户都有自己的画像特征，例如用户 ID、年龄段、性别、城市。这些用户画像特征反映了用户的长期内在兴趣。基于跨域数据（即用户和他/她互动的所有新闻、广告），我们能够学习语义上更丰富、统计上更可靠的用户特征 embedding 。

   • 源域的短期兴趣：对于要预估CTR 的每个目标广告，在源域中都有相应的短期用户行为（如，用户刚刚查看的新闻）。尽管新闻的内容可能和目标广告的内容完全不同，但是它们之间可能存在一定的相关性。例如，用户在查看一些娱乐新闻之后很可能会点击游戏广告。基于这种关系，我们可以将有用的知识从源域迁移transfer 到目标域。

   • 目标域的短期兴趣：对于要预估CTR 的每个目标广告，在目标域中还存在相应的短期用户行为。用户最近点击过的广告可能会对用户在不久的将来点击哪些广告有很大的影响。

   尽管上述想法看起来很有希望，但是它面临着一些挑战：

   • 首先，并非所有点击的新闻对于目标广告的CTR 有指示作用indicative 。

   • 同样地，并非所有点击的广告都能提供关于目标广告 CTR 的有用信息。

   • 第三，模型必须能够将知识从新闻域迁移到广告域。

   • 第四，针对不同的目标广告，三种类型的用户兴趣的相对重要性可能会有所不同。例如：

     • 如果目标广告和最近点击的广告相似，那么目标域的短期兴趣应该更为重要。

     • 如果目标广告和最近点击的新闻、广告都不相关，那么长期兴趣应该更为重要。

   • 最后，目标广告的representation 和三种类型用户兴趣的representation 具有不同的维数（由于特征数量不同）。维数的差异discrepancy 自然地强化或削弱某些 representation 的影响，这是不希望的。

   为解决这些挑战，论文提出了混合兴趣网络 Mixed Interest Network: MiNet。在 MiNet 中：

   • 长期兴趣是通过拼接用户画像特征 embedding ${\overrightarrow{\mathbf{p}}}_u$$\mathbf{\vec p}_u$ 来建模的。用户画像特征 embedding 是基于跨域数据共同学习，从而实现知识迁移的。

   • 源域的短期兴趣是通过向量 ${\overrightarrow{\mathbf{a}}}_s$$\mathbf{\vec a}_s$ 来建模的，它聚合了最近点击的新闻的信息。

   • 目标域的短期兴趣是通过向量 ${\overrightarrow{\mathbf{a}}}_t$$\mathbf{\vec a}_t$ 来建模的，它聚合了最近点击的广告的信息。

   另外，MiNet 包含 item-level 和 interest-level 两个level 的注意力。

   • item-level 注意力同时应用于源域和目标域，它们可以自适应地从最近点击的新闻/广告中提取有用的信息（从而应对挑战 1 和 2 ）。

     我们还引入了一个迁移矩阵transfer matrix ，从而将知识从新闻迁移到广告（从而应对挑战 3）。此外，长期兴趣基于跨域数据来学习，这也可以进行知识迁移（从而应对挑战 3）。

   • interest-level 注意力动态调整针对不同目标广告时，三种类型用户兴趣的重要性（从而应对挑战 4），从而自适应地融合不同的兴趣 representation。

     此外，具有适当激活函数的interest-level 注意力也可以处理维度差异问题（从而应对挑战 5 ）。

   离线和在线实验结果都证明了 MiNet 在 CTR 预估方面的有效性。MiNet 的效果优于几种 state-of-the-art 的CTR 预估方法。作者已经在 UC 头条中部署了 MiNet，A/B 测试结果也表明在线 CTR 也有了很大提升。目前 MiNet 已经服务于 UC 头条的主要广告流量。

   论文的主要贡献：

   • 论文提出在跨域 CTR 预估中联合考虑三种类型的用户兴趣：跨域的长期兴趣、源域的短期兴趣、目标域的短期兴趣。

   • 论文提出了 MiNet 模型来实现上述目标。MiNet 模型包含两个 level 的注意力，其中：

     • item-level 注意力可以自适应地从点击的新闻/点击的广告中提取有用的信息。

     • interest-level 注意力可以自适应地融合不同的兴趣 representation。

   • 论文进行了大量的离线实验来验证 MiNet 以及几种 state-of-the-art 的 CTR 预估模型的性能。论文还进行了消融研究，从而提供模型背后的进一步的洞察。

2. 相关工作：

   • CTR 预估：现有工作主要解决单域single-domain CTR 预估问题，他们对以下方面进行建模：特征交互（如 FM, DeepFM）、feature embedding（如 DeepMP）、用户历史行为（如 DIN,DSTN）、上下文信息（如 DSTN）。

     • 特征交互：

       由于诸如逻辑回归 Logistic Regression: LR 和 Follow-The-Regularized-Leader: FTRL 等广义线性模型缺乏学习复杂特征交互的能力，因此人们提出了因子分解机 Factorization Machine: FM 来解决这个限制。

       Field-aware FM: FFM 和 Field-weighted FM 通过考虑特征所属的 field 的影响来进一步改进 FM。

       近年来，人们提出了深度神经网络DNN 和 Product-based Neural Network: PNN 等神经网络模型来自动学习特征representation 和高阶特征交互。

       Wide & Deep 、DeepFM、Neural Factorization Machine: NFM 等一些模型结合了浅层模型和深层模型来同时捕获低阶特征交互和高阶特征交互。

     • feature embedding：Deep Matching and Prediction: DeepMP 模型结合了两个 subnet 来学习更具有表达能力的 feature embedding 从而用于 CTR 预估。

     • 用户历史行为：Deep Interest Network: DIN 和 Deep Interest Evolution Network: DIEN 基于历史点击行为对用户兴趣建模。

     • 上下文信息：

       《Relational click prediction for sponsored search》 和 《Exploiting contextual factors for click modeling in sponsored search》 考虑各种上下文因子，例如广告交互、广告深度 ad depth、query 多样性等。

       Deep Spatio-Temporal Network: DSTN 联合利用了上下文广告、点击广告、未点击广告进行 CTR 预估。

   • 跨域推荐：跨域推荐旨在通过从源域source domain 迁移知识来提高目标域 target domain 的推荐性能。这些方法大致可以分为三类：协同的collaborative、基于内容的content-based 、混合的hybrid。

     • 协同方法利用跨域的交互数据（如评级rating）。

       《Relational learning via collective matrix factorization》 提出了协同矩阵分解 Collective Matrix Factorization: CMF，它假设一个通用的全局用户因子矩阵 global user factor matrix 并同时分解来自多个域的矩阵。

       《Cross-domain Recommendation Without Sharing User-relevant Data》 提出了用于跨域推荐的神经注意力迁移推荐Neural Attentive Transfer Recommendation: NATR，而无需共享用户相关的数据。

       《Conet: Collaborative cross networks for cross-domain recommendation》提出了协同交叉网络 Collaborative cross Network，它通过交叉连接cross connection 实现跨域的双重知识迁移dual knowledge transfer 。

     • 基于内容的方法利用了用户或 item 的属性。

       《A multi-view deep learning approach for cross domain user modeling in recommendation systems》 将用户画像和 item 属性转换为稠密向量，并且在潜在空间中 match 它们。

       《Collaborative knowledge base embedding for recommender systems》 利用 item 的文本知识、结构知识、视觉知识作为辅助信息来帮助学习 item embedding 。

     • 混合方法结合了交互数据和属性数据。

       《CCCFNet: a content-boosted collaborative filtering neural network for cross domain recommender systems》 在一个统一的框架中结合了协同过滤和基于内容的过滤。

   不同的是，在本文中，作者解决了跨域 CTR 预估问题。论文对三种类型的用户兴趣进行建模，并在神经网络框架中自适应地融合它们。

18.1 模型

1. 在线广告中的CTR 预估任务是建立一个预估模型来预测用户点击特定广告的可能性。每个样本可以由多个field 描述，如用户信息（用户ID、城市、年龄等）、广告信息（素材ID、Campaign ID 、广告标题等）。每个field 的实例代表一个特征，如用户 ID 字段可能包含诸如 2135147 或 3467291 。

   下表为 CTR 预估任务样本的示例，其中 Label 表示用户是否点击这个广告。

   

2. 我们定义跨域CTR 预估问题为：利用一个源域（或多个源域）中的数据来提高目标域中 CTR 预估性能。

   在新闻 feeds 流广告中（如下图所示的 UC 头条 ），源域就是原生natural的新闻feeds 流、目标域是广告。这种情况下，源域和目标域共享同一组用户，但是没有重叠的 item 。

   

3. 为了有效利用跨域数据，我们提出了混合兴趣网络Mixed Interest Network: MiNet ，如下图所示。该模型对三种类型的用户兴趣进行了建模：

   • 跨域的长期兴趣是通过拼接用户画像特征 embedding ${\overrightarrow{\mathbf{p}}}_u$$\mathbf{\vec p}_u$ 来建模的。用户画像特征 embedding 是基于跨域数据共同学习，从而实现知识迁移的。

   • 源域的短期兴趣是通过向量 ${\overrightarrow{\mathbf{a}}}_s$$\mathbf{\vec a}_s$ 来建模的，它聚合了最近点击的新闻的信息。

   • 目标域的短期兴趣是通过向量 ${\overrightarrow{\mathbf{a}}}_t$$\mathbf{\vec a}_t$ 来建模的，它聚合了最近点击的广告的信息。

   在 MiNet 中，我们还应用了两种level 的注意力：item-level 注意力、interest-level 注意力。

   • item-level 注意力的目的是从最近点击的新闻/广告中提取有用的信息（和待预估CTR 的目标广告相关），并抑制噪声。

   • interest-level 注意力的目的是自适应地调整三种类型的用户兴趣（即 ${\overrightarrow{\mathbf{p}}}_u,{\overrightarrow{\mathbf{a}}}_s,{\overrightarrow{\mathbf{a}}}_t$$\mathbf{\vec p}_u,\mathbf{\vec a}_s,\mathbf{\vec a}_t$）的重要性，并为目标广告提供更有信息量的信号。

   接下来我们详细描述各个组件。

   

18.1.1 Feature Embedding

1. 我们首先将特征编码为 one-hot encoding 。对于某个离散型特征，假设其unique 取值数量为 $N$$N$ 。为了实现跨域的知识迁移，特征的 unique 集合选取的是在两个域中的 unique 取值集合的交集，即：该 unique 值在两个域中都出现过。

   对于该特征的第 $i$$i$ 个取值，其 one-hot encoding 记作：

   $${\overrightarrow{\mathbf{v}}}_i=\text{one-hot}(i)\in {\mathbb{R}}^N$$

   其中 ${\overrightarrow{\mathbf{v}}}_i$$\mathbf{\vec v}_i$ 的第 $i$$i$ 项为 1 、其它项全部为零。

   然后我们将稀疏的高维 one-hot encoding 映射到适合神经网络的稠密的低维 embedding 向量。具体而言，我们定义一个 embedding 矩阵 $\mathbf{E}\in {\mathbb{R}}^{N\times D}$$\mathbf E \in \mathbb R^{N\times D }$，其中 $D$$D$ 为 embedding 维度且满足 $D\ll N$$D \ll N$ 。注意，$\mathbf{E}$$\mathbf E$ 是待学习的。

   那么该特征的第 $i$$i$ 个取值可以投影到对应的 embedding 向量 ${\overrightarrow{\mathbf{e}}}_i=\mathbf{E}{\overrightarrow{\mathbf{v}}}_i\in {\mathbb{R}}^D$$\mathbf{\vec e}_i=\mathbf E \mathbf{\vec v}_i\in \mathbb R^{D}$ 。${\overrightarrow{\mathbf{e}}}_i$$\mathbf{\vec e}_i$ 实际上就是$\mathbf{E}$$\mathbf E$ 的第 $i$$i$ 行，这通常采用查表法来进行（而不是矩阵乘法）。

18.1.2 跨域的长期兴趣

1. 对于每个广告样本，我们将其特征拆分为用户特征、广告特征。

   • 我们获取所有广告特征，并拼接对应的 embedding 向量，从而获取目标域中的广告的 representation 向量 ${\overrightarrow{\mathbf{r}}}_t\in {\mathbb{R}}^{D_t}$$\mathbf{\vec r}_t\in \mathbb R^{D_t}$ 。

   • 同样地，我们可以在源域中获得新闻 representation 向量 ${\overrightarrow{\mathbf{r}}}_s\in {\mathbb{R}}^{D_s}$$\mathbf{\vec r}_s\in \mathbb R^{D_s}$ 。

   • 对于用户，我们通过相应的用户特征 embedding 向量进行拼接，从而获得长期兴趣 representation 向量 ${\overrightarrow{\mathbf{p}}}_u\in {\mathbb{R}}^{D_u}$$\mathbf{\vec p}_u\in \mathbb R^{D_u}$ 。

     例如，如果用户 $u$$u$ 有特征 UID = u123, City = BJ, Gender = male, OS = ios，则我们有：

     $${\overrightarrow{\mathbf{p}}}_u=[{\overrightarrow{\mathbf{e}}}_{\text{u123}}||{\overrightarrow{\mathbf{e}}}_{\text{BJ}}||{\overrightarrow{\mathbf{e}}}_{\text{male}}||{\overrightarrow{\mathbf{e}}}_{\text{ios}}]$$

     其中 || 表示向量拼接。

     长期兴趣representation 向量 ${\overrightarrow{\mathbf{p}}}_u$$\mathbf{\vec p}_u$ 在各个域之间共享，并使用来自两个域的数据来共同学习。

   这里 $D_t,D_s,D_u$$D_t, D_s, D_u$ 分别代表广告representation 向量维度、新闻representation 向量维度、用户 representation 向量维度。

18.1.3 源域目标的短期兴趣

1. 给定一个用户，对于目标域中的每个目标广告，用户通常会在源域中查看新闻。尽管新闻的内容可能和目标广告的内容完全不同，但是它们之间可能存在一定的相关性。例如，用户在查看一些娱乐新闻之后很可能点击游戏广告。基于这种关系，我们可以将有用的知识从源域迁移到目标域。

2. 令最近点击的新闻的 representation 向量的集合为 ${\left\{{\overrightarrow{\mathbf{r}}}_{s,i}\right\}}_i$$\left\{\mathbf{\vec r}_{s,i}\right\}_i$。由于点击新闻的数量可能会有所不同，因此我们需要聚合这些新闻。

   具体而言，聚合的 representation ${\overrightarrow{\mathbf{a}}}_s$$\mathbf{\vec a}_s$为：

   $${\overrightarrow{\mathbf{a}}}_s=\sum _i{\alpha }_i{\overrightarrow{\mathbf{r}}}_{s,i}$$

   其中 ${\alpha }_i$$\alpha_i$ 为分配给 ${\overrightarrow{\mathbf{r}}}_{s,i}$$\mathbf{\vec r}_{s,i}$ 的权重，从而表示它在聚合期间的重要性。

   聚合的 representation ${\overrightarrow{\mathbf{a}}}_s$$\mathbf{\vec a}_s$ 反映了源域中用户的短期兴趣。

3. 剩下的问题是如何计算权重 ${\alpha }_i$$\alpha_i$ 。

   • 一种简单的方法是选择 ${\alpha }_i=\frac{1}{|{\left\{{\overrightarrow{\mathbf{r}}}_{s,i}\right\}}_i|}$$\alpha_i=\frac{1}{|\left\{\mathbf{\vec r}_{s,i}\right\}_i|}$ ，即每条被点击的新闻都具有相等的重要性。这显然不是明智的选择，因为某些新闻对于目标广告没有帮助。

   • 另一种方式是基于注意力机制，${\alpha }_i$$\alpha_i$ 的计算为：

     $${\tilde{\alpha }}_i={\overrightarrow{\mathbf{h}}}_s^{\mathrm{\top }}\text{relu}\left({\mathbf{W}}_s{\overrightarrow{\mathbf{r}}}_{s,i}\right),{\alpha }_i=\frac{\exp \left({\tilde{\alpha }}_i\right)}{\sum _{i^{\prime }}\exp \left({\tilde{\alpha }}_{i^{\prime }}\right)}$$

     其中 ${\mathbf{W}}_s,{\overrightarrow{\mathbf{h}}}_s$$\mathbf W_s,\mathbf{\vec h}_s$ 为模型参数。

     上式仅单独考虑每条被点击的新闻 ${\overrightarrow{\mathbf{r}}}_{s,i}$$\mathbf{\vec r}_{s,i}$，它没有捕获新闻和目标广告之间的关系。

     此外，上式也未考虑目标用户。例如，无论目标广告是关于咖啡还是衣服，无论目标用户是 $u_a$$u_a$ 还是 $u_b$$u_b$ ，点击新闻的重要性都保持不变。

   • 我们提出 item-level 注意力，${\alpha }_i$$\alpha_i$ 的计算为：

     $${\tilde{\alpha }}_i={\overrightarrow{\mathbf{h}}}_s^{\mathrm{\top }}\text{relu}\left({\mathbf{W}}_s[{\overrightarrow{\mathbf{r}}}_{s,i}\parallel {\overrightarrow{\mathbf{q}}}_t||{\overrightarrow{\mathbf{p}}}_u||(\mathbf{M}{\overrightarrow{\mathbf{r}}}_{s,i}\odot {\overrightarrow{\mathbf{q}}}_t)]\right)$$

     其中： ${\mathbf{W}}_s\in {\mathbb{R}}^{D_h\times (D_s+2D_t+D_u)},{\overrightarrow{\mathbf{h}}}_s\in {\mathbb{R}}^{D_h},\mathbf{M}\in {\mathbb{R}}^{D_t\times D_s}$$\mathbf W_s\in \mathbb R^{D_h\times (D_s+2D_t+D_u)},\mathbf{\vec h}_s\in \mathbb R^{D_h},\mathbf M\in \mathbb R^{D_t\times D_s}$ 为待学习的参数；$D_h$$D_h$ 为超参数，指定 attention 隐向量维度； $\odot$$\odot$ 为逐元素乘积。

     上式考虑了以下方面：

     • 源域中点击的新闻 ${\overrightarrow{\mathbf{r}}}_{s,i}\in {\mathbb{R}}^{D_s}$$\mathbf{\vec r}_{s,i}\in \mathbb R^{D_s}$ 。

     • 目标域中的目标广告 ${\overrightarrow{\mathbf{q}}}_t\in {\mathbb{R}}^{D_t}$$\mathbf{\vec q}_t\in \mathbb R^{D_t}$ 。

     • 目标用户 ${\overrightarrow{\mathbf{p}}}_u\in {\mathbb{R}}^{D_u}$$\mathbf{\vec p}_u\in \mathbb R^{D_u}$ 。

     • 点击新闻和目标广告之间的迁移交互 transferred interaction $\mathbf{M}{\overrightarrow{\mathbf{r}}}_{s,i}\odot {\overrightarrow{\mathbf{q}}}_t\in {\mathbb{R}}^{D_t}$$\mathbf M\mathbf{\vec r}_{s,i}\odot \mathbf{\vec q}_t\in \mathbb R^{D_t}$ 。

       其中 $\mathbf{M}$$\mathbf M$ 为迁移矩阵 transfer matrix，它将源域的 ${\overrightarrow{\mathbf{r}}}_{s,i}\in {\mathbb{R}}^{D_s}$$\mathbf{\vec r}_{s,i}\in \mathbb R^{D_s}$ 迁移到目标域 $\mathbf{M}{\overrightarrow{\mathbf{r}}}_{s,i}\in {\mathbb{R}}^{D_t}$$\mathbf M\mathbf{\vec r}_{s,i}\in \mathbb R^{D_t}$ 使得 $\mathbf{M}{\overrightarrow{\mathbf{r}}}_{s,i}$$\mathbf M\mathbf{\vec r}_{s,i}$ 可以和目标广告 ${\overrightarrow{\mathbf{q}}}_t$$\mathbf{\vec q}_t$ 进行比较。

     通过这种方式，计算出的 ${\tilde{\alpha }}_i$$\tilde\alpha_i$ 以及 ${\alpha }_i$$\alpha_i$ 不仅是需要待分配权重的点击新闻的函数，而且也是目标广告感知的aware、以及目标用户感知的 aware 。另外，它还考虑了点击新闻和跨域目标广告之间的交互interaction 。

     如果采用两层 DNN 来计算 attention，是否可以移除迁移交互项？

4. 复杂度缩减：item-level 注意力中，迁移矩阵 $\mathbf{M}$$\mathbf M$ 的尺寸为 $D_t\times D_s$$D_t\times D_s$。当 $D_t$$D_t$ 和 $D_s$$D_s$ 较大时，$\mathbf{M}$$\mathbf M$ 包含很多要学习的参数。

   为降低计算复杂度，我们将 $\mathbf{M}$$\mathbf M$ 分解为：$\mathbf{M}={\mathbf{M}}_1\times {\mathbf{M}}_2$$\mathbf M = \mathbf M_1\times \mathbf M_2$ 。其中： ${\mathbf{M}}_1\in {\mathbb{D}}^{D_t\times C},{\mathbf{M}}_2\in {\mathbb{R}}^{C\times D_s}$$\mathbf M_1\in \mathbb D^{D_t\times C},\mathbf M_2\in \mathbb R^{C\times D_s}$ ，$C$$C$ 是一个中间维度，可以设为一个较小的值。这样，总的参数数量从 $D_t\times D_s$$D_t\times D_s$ 降低到 $(D_t+D_s)\times C$$(D_t+D_s) \times C$ 。