二十三、MCPRN[2019]

1. 在现实世界中，随着相应 context 的演变，用户需求会不断变化。这种 context-sensitive demand 的性质激发了人们最近对于 session-based recommender system: SBRS 的兴趣。session-based 推荐系统解决了静态推荐系统的空白， 其中静态推荐系统仅推荐 homogeneous item 而不考虑跨 session 的 demand dynamic 。因此，SBRS 通过建模 session 中 item 之间的依赖关系，从而针对 session（作为 context ）向用户推荐该用户可能感兴趣的 next item 。

   大多数现有的 SBRS 通过形成forming 具有单一意图purpose 或目标goal 的 session 来作出推荐（例如，在购物篮分析 basket analysis 中购买食物和饮料之类的商品）。这通常违反了 session 可能会涉及多种类型的 item 的现实，其中每种类型对应于一个意图。以下图中第一行所示的 session 为例：

   • Janet 首先将培根放入购物车中作为早餐。
   • 然后她被一朵可爱的玫瑰饰品所吸引并将其添加到购物车中。
   • 她还为早餐选择了鸡蛋和面包，还选择了一个花瓶来装玫瑰。
   • 最后，她拿起一瓶牛奶结束了此次购物。

   对于这个例子，现有的 SBRS 将采用单通道single-channel建模方法，将 session 中购买的商品隐式关联为同质的 item 序列。如下图中的第二行所示。显然，当 session 中的 item 有多种意图时，这种方法无法区分 purpose-specific 的 item 依赖（如早餐 item 和饰品 item ）。

   这里 “通道” 指的就是意图。

   

   上面的例子揭示了两种代表性类型的、 state-of-the-art 的 SBRS 之间的显著 gap ，即基于单通道 RNN 的 SBRS 和基于单通道注意力的 SBRS 。RNN-based 模型假设 session 中任何连续successive 的 item 之间都具有严格的顺序依赖关系sequential dependency，因此：

   • gap 1：很容易生成错误的依赖关系，因为在多意图multi-purpose 的 session 中并非所有 item 都存在顺序依赖。

   • gap 2：RNN-based 的 SBRS 倾向于推荐最近的意图所对应的 item ，其中最近的意图是通过最近的 item 所指示的。

     这是因为：由于记忆 memory 随着 time step 而衰减 decay，那些远离 target item 的 contextual item 将被 target item 附近的 item 所淹没。

   • gap 3：attention-based SBRS 倾向于推荐 item 从而满足主要意图，对其它意图不利。

     为了减少无关 item 的干扰，人们将注意力机制纳入浅层网络、RNN 、以及 memory network 从而构建 SBRS 。注意力模型倾向于在极少数重要 item 上分配突出的权重，这使得 session 的意图由这几个 item 所主导。

   论文 《Modeling Multi-Purpose Sessions for Next-Item Recommendations via Mixture-Channel Purpose Routing Networks》 通过提出混合通道意图路由网络 mixture-channel purpose routing network: MCPRN 来解决上述三个 gap 。

   • 首先，MCPRN 使用意图路由网络 purpose routing network: PRN 自动地检测 session 中可能的多个意图。

   • 然后，MCPRN 使用混合通道循环网络 mixture-channel recurrent network: MCRN 建模 session 。其中，每个通道（即意图特定的循环网络 purpose-specific recurrent network: PSRN）建立在意图特定的循环单元purpose-specific recurrent unit: PSRU之上，并为特定意图构建 purpose-specific embedding 从而建模 item 之间的依赖项。

     PSRU 是一种 GRU 变体，它考虑了 item 属于当前意图的权重。 而 PSRN 由 PSRU 构成。

   • 最后，通过集成所有通道来构建多意图 context embedding （即，session embedding ），从而对候选 item 进行排序，从而得到多样化的、purpose-sensitive 的推荐。

   多亏了 PRN 和 MCRN ，session 中的不同意图可以被检测到，然后这些不同意图的 item 依赖关系分别在不同的同道中被建模。结果，item 依赖关系是针对特定意图的，而不是针对一个整体而粗糙的意图的，这使得MCPRN 能够更集中地捕获意图驱动 purpose-driven 的用户行为。因此，MCPRN 以更有效、更鲁棒的机制来利用当前的单意图 SBRS 来表达多意图 session 。通过在 session 中保留和建模多个意图，MCPRN 可以推荐满足不同意图的多样化的 item ，而现有方法倾向于仅为单个意图推荐 item 。

   这项工作的主要贡献如下：

   • 论文提出了多意图建模，以更合理的方式捕获 sesion 中的用户行为从而适应实际情况。因此，论文提出了混合通道意图路由网络 MCPRN 来实现这一点。
   • 在 MCPRN 中，意图路由网络 PRN 旨在推断每个 item 的意图并将它们路由到特定的通道。此外，特定意图循环单元 PSRU 是关键组件，它作为混合通道循环网络 MCRN 关于每个通道的基本单元。

2. 相关工作：人们已经开发了各种 SBRS，包括：基于规则/模式的推荐系统（《Effective next-items recommendation via personalized sequential pattern mining》）、基于邻域的推荐系统（《When recurrent neural networks meet the neighborhood for session-based recommendation》）、基于马尔科夫链的推荐系统（《Personalized ranking metric embedding for next new poi recommendation》）、以及基于分解机的推荐系统（《Factorizing personalized markov chains for next-basket recommendation》）。我们简要回顾了两个具有代表性的 state-of-the-art 的 SBRS：RNN-based 的 SBRS、attention-based 的 SBRS ，因为它们与我们的工作最相关。

   • RNN-based SBRS：由于RNN 在处理序列数据方面的优势，RNN 是捕获 SBRS 中复杂的 intra-session 依赖性的直观选择。

     • GRU4Rec 是第一个 RNN-based 的 SBRS，它采用 GRU 来捕获 session 中的长期依赖关系。
     • 后来，GRU4Rec 的改进版本（《Recurrent neural networks with top-k gains for session-based recommendations》）通过引入针对 RNN 量身定制的、创新性的 ranking loss function ，从而显著提高模型性能。

     由于采用了严格的次序假设 order assumption，RNN 很容易产生错误的依赖关系。次序假设，即：假设 session 中的任何相邻 item 都是高度的顺序相关sequentially dependent 的。然而，在大多数实际情况下，这可能并非如此。

     此外，RNN 通常会偏向于最近的 item，因为随着记忆衰退 memory decay ，模型会在 session 中丢失很多 previous item 的信息。

   • attention-based SBRS：通过在 session 上下文中强调那些相关的和重要的 item ，注意力机制已被用于构建更鲁棒的 SBRS 。

     • 《Neural attentive session-based recommendation》 提出了神经注意力推荐机 Neural Attentive Recommendation Machine: NARM ，它采用具有注意力机制的混合编码器，通过区分更重要和更不重要的 item ，从而在当前 session 中建模用户的序列行为和用户的主要意图。
     • 《Attention-based transactional context embedding for next item recommendation》 设计了一种 attention-based transaction embedding model: ATEM ，从而在没有次序假设的情况下在 session 上下文中构建 attentive context embedding 。
     • 此外，在 《Sequential recommendation with user memory networks》 中，注意力机制被用于 memory-augmented 神经网络中，用于选择性地读出 external memory matrix 从而进行 next item 推荐。

     然而，注意力机制试图在少数重要的 item 上分配更大的权重，同时淡化其它 item ，导致偏向于由这些少数 item 所指示的主要意图。因此，attention-based SBRS 通常仅满足主要意图，而忽略了 session 中的其它意图。

   综上所述，所有上述 SBRS 都是基于单通道的，它们对于单意图 session 是有效的。其中，单意图指的是：session 中的所有 item 都是相互依赖的。然而，这些方法无法很好地处理具有多种不同类型的 item （这些 item 反应不同意图）的 session 。受到混合模型在处理多种关系方面的巨大潜力的启发，我们为多意图 session 设计了一个混合通道模型。

23.1 模型

1. 给定一个 session 集合 $\mathcal{S}=\{s_1,\cdots ,s_{|\mathcal{S}|}\}$$\mathcal S=\{s_1,\cdots,s_{|\mathcal S|}\}$ ，其中每个 session $s=\{v_1,\cdots ,v_{|s|}\}$$s = \{v_{1},\cdots,v_{{|s|}}\}$ 由一个匿名用户在一个交易事件 transaction event 中顺序交互（如点击、购买）的 item 序列组成。这里 $|\mathcal{S}|$$|\mathcal S|$ 为总的 session 数量，$s$$s$ 中的下标表示 item 出现的顺序（或时间戳）。

   所有 session 中出现的所有 item 构成了 universal 的 item 集合 $\mathcal{V}$$\mathcal V$ 。对于 target item $v_t\in s$$v_{t}\in s$，所有发生在 $v_t$$v_t$ 之前的、位于 $s$$s$ 中的 item 共同构成了 $v_t$$v_t$ 在 $s$$s$ 上的 session context（简称 context ），记做 ${\mathcal{C}}_{v_t}=\{v_1,\cdots ,v_{t-1}\}$$\mathcal C_{v_t} = \{v_1,\cdots,v_{t-1}\}$ 。${\mathcal{C}}_{v_t}$$\mathcal C_{v_t}$ 中的每个 item 都称作 contextual item 。

   给定具有前面 $t-1$$t-1$ 个 item 的 context $\mathcal{C}$$\mathcal C$ ，我们需要构建一个 SBRS 来推荐第 $t$$t$ 个 item。因此，MCPRN 被训练为一个概率分类器模型，该模型学习预测条件概率分布 $P(v_t\mid \mathcal{C})$$P(v_t\mid \mathcal C)$ 。一旦学到了模型的所有参数，MCPRN 就能够根据给定 context 时的条件概率对所有候选 item 来排序从而推荐 next item 。

2. MCPRN 的架构如下图 (a) 所示。MCPRN 主要由两个模块组成：意图路由器 Purpose Router、混合通道循环网络 Mixture-Channel Recurrent Network: MCRN 。

   • Purpose Router：意图路由器用于将每个 item 路由到特定意图的通道。具体而言，我们采用软路由soft routing策略，将每个 item embedding 以不同的意图权重分配给所有通道，即所谓的混合通道网络 mixture channel network。软路由策略可以进行任何基于梯度的优化从而简化学习。

     与软路由对应的是硬路由 hard routing，即每个 item embedding 仅分配给某一个通道。

   • MCRN：在 MCRN 中，每个通道都配备了一个基于意图特定循环单元 PSRU 的意图特定循环网络 PSRN，用于为特定意图建模 item 之间的依赖关系。

   不同通道的 final hidden state ${\overrightarrow{\mathbf{h}}}_{t-1}$$\mathbf{\vec h}_{t-1}$ 被选择性地集成从而作为 multi-purpose context embedding ${\overrightarrow{\mathbf{v}}}_{\mathcal{C}}$$\mathbf{\vec v}_{\mathcal C}$ 。以 ${\overrightarrow{\mathbf{v}}}_{\mathcal{C}}$$\mathbf{\vec v}_{\mathcal C}$ 作为条件的 target item embedding ${\overrightarrow{\mathbf{v}}}_t$$\mathbf{\vec v}_t$ 用于计算所选择的 item 作为 next item 的概率。接下来，我们将介绍这些组件的更多技术细节。

   这里的 ”选择性地“ 指的是：根据 ${\overrightarrow{\mathbf{v}}}_t$$\mathbf{\vec v}_t$ 的软路由来进行加权。因为我们只需要选择 target item 所在的通道。

   

23.1.1 Purpose Router

1. 给定 session context 中的所有 item，意图路由网络 purpose routing network: PRN 在意图路由器 Purpose Router 中使用，从而在没有任何人类先验知识的情况下抽取 selecting item $v_i$$v_i$ 的意图。

   • 首先，我们将每个 item $v$$v$ 映射成一个 $K$$K$ 维 embedding 向量 $\overrightarrow{\mathbf{v}}\in {\mathbb{R}}^K$$\mathbf{\vec v}\in \mathbb R^K$ ，所有 item 的 embedding 向量构成一个 embedding 矩阵 ${\mathbf{W}}_e\in {\mathbb{R}}^{K\times |\mathcal{V}|}$$\mathbf W_e\in \mathbb R^{K\times |\mathcal V|}$，其中 embedding 矩阵的第 $i$$i$ 列 ${\overrightarrow{\mathbf{v}}}_i={\mathbf{W}}_e[:,i]\in {\mathbb{R}}^K$$\mathbf{\vec v}_i=\mathbf W_e[:,i]\in \mathbb R^K$ 是第 $i$$i$ 个 item $v_i$$v_i$ 的 embedding 向量。

   • 然后，我们将 item $v_i$$v_i$ 的 emebdding ${\overrightarrow{\mathbf{v}}}_i$$\mathbf {\vec v}_i$ 输入到 PRN 中，从而确定 selecting $v_i$$v_i$ 的意图。

     ${\mathbf{W}}_p\in {\mathbb{R}}^{K\times m}$$\mathbf W_p\in \mathbb R^{K\times m}$ 表示所有意图的意图过滤参数 purpose filtering parameter的矩阵 ，其中 $m$$m$ 为意图数量（即，通道数），${\mathbf{W}}_p$$\mathbf W_p$ 的第 $j$$j$ 列 ${\overrightarrow{\mathbf{p}}}_j={\mathbf{W}}_p[:,j]\in {\mathbb{R}}^K$$\mathbf{\vec p}_j=\mathbf W_p[:,j]\in \mathbb R^K$ 表示第 $j$$j$ 个意图 $p_j$$p_j$ 的过滤参数。$m$$m$ 为超参数，可以通过交叉验证来确定。

     item $v_i$$v_i$ 相对于第 $j$$j$ 个意图 $p_j$$p_j$ 的集中度得分 concentration score $a_{i,j}$$a_{i,j}$ 计算如下：

     $$a_{i,j}={\overrightarrow{\mathbf{v}}}_i^{\mathrm{\top }}{\overrightarrow{\mathbf{p}}}_j\in \mathbb{R},j\in \{1,2,\cdots ,m\}$$

     此外，可以根据以下 softmax 函数获得关于 $p_j$$p_j$ 的归一化集中度权重normalized concentration weight：

     $$g_{i,j}=\frac{\exp (a_{i,j}/\tau )}{\sum _{j^{\prime }=1}^m\exp (a_{i,j^{\prime }}/\tau )}$$

     其中 $\tau$$\tau$ 为需要调优的温度超参数。

     • 对于很高的温度（$\tau \to \mathrm{\infty }$$\tau\rightarrow \infty$） ，所有的意图具有几乎相等的概率。
     • 对于很低的温度 （$\tau \to 0^{+}$$\tau\rightarrow 0^+$），归一化集中度权重倾向于集中于单个权重（几乎是硬路由 hard routing）。

     在实验中，我们使用 $\tau =0.1$$\tau=0.1$ 可以产生最佳性能。

     意图数量 $m$$m$ 和温度 $\tau$$\tau$ 都是非常重要的超参数，它们对 MCPRN 的效果产生关键性的影响。

23.1.2 Mixture-Channel Recurrent Network

1. 然后， item embedding 及其意图集中度权重被输入到 MCRN 的每个通道中，如下图 (a) 中的紫色（item embedding ）和绿色（意图集中度权重）箭头所示。

   • 每个通道都由一个 PSRN 来建模，PSRN 是由 $t-1$$t-1$ 个 PSRU 单元组成从而建模 $t-1$$t-1$ 个 item 的序列上的 purpose-specific 序列依赖性 sequential dependency。
   • 每个通道的工作机制类似于普通的 RNN，而在 PSRN 中这些 cell 配备了我们设计的 PSRU 。一个通道中的 PSRU cell 都是相同的（包括结构和参数），而不同通道中的 cell 具有相同的结构但是不同的参数。

   接下来我们将详细介绍 PSRU 。

   

2. Purpose-Specific Recurrent Unit: PSRU：像 LSTM 或 GRU 这样的 RUU cell 不考虑序列中 item 的 degree of membership 。在 MCRN 中，每个通道包含 session 中的所有 item，但是这些 item 的意图集中度权重（即，degree of membership），在给定意图上是不同的。因此，在给定集中度权重的情况下，LSTM 和 GRU 还没有准备好在通道中建模这种 purpose-specific 依赖性。

   因此，我们设计了 PSRU 作为每个 PSRN 的 cell 。与 GRU 或其变体通常仅使用当前输入和 last hidden state 而不使用任何额外信息additional information来计算 gate value 不同，PSRU 引入了一个 concentration gate，从而根据特定意图来选择性地将 item 信息集成到转移 transition 中。

   上图 (b) 给出了 PSRU cell 的结构。与传统的 GRU cell 相比，增加了一个额外的 gate ，即 concentration gate（见蓝色虚线方块），从而根据意图集中度权重 $g_{i,j}$$g_{i,j}$ 来决定当前状态在多大程度上应该参与到 purpose-specific transition 。通道 $c_j$$c_j$ 的第 $i$$i$ 个 time step 的PSRU cell 取 last hidden state ${\overrightarrow{\mathbf{h}}}_{i-1}$$\mathbf{\vec h}_{i-1}$ 、当前 item 的 embedding ${\overrightarrow{\mathbf{v}}}_i$$\mathbf{\vec v}_i$、以及集中度权重 $g_{i,j}$$g_{i,j}$ 作为输入，并输出当前 time step 的候选 hidden state ${\widetilde{\overrightarrow{\mathbf{h}}}}_i$$\tilde{\mathbf{\vec h}}_i$ 。

   $g_{i,j}\ge 0$$g_{i,j}\ge 0$ 控制了 item embedding ${\overrightarrow{\mathbf{v}}}_i$$\mathbf{\vec v}_i$ 多达程度上属于当前通道，那么一个核心设计是：如果 $g_{i,j}=0$$g_{i,j} =0$ ，那么 ${\overrightarrow{\mathbf{v}}}_i$$\mathbf{\vec v}_i$ 对应的 time step 不会被更新；$g_{i,j}$$g_{i,j}$ 越大，则该 time step 更新越大。因此，单纯地将 $g_{i,j}\times {\overrightarrow{\mathbf{v}}}_i$$g_{i,j}\times \mathbf{\vec v}_i$ 作为输入，无法满足这个设计需求（因为即使 input 为零，RNN 也会更新状态）。

   这就是为什么需要引入额外的 concentration gate 的原因，同时这也是为什么 $g_{i,j}$$g_{i,j}$ 作用在 updae gate 上的原因。

   更具体而言，候选 hidden state ${\widetilde{\overrightarrow{\mathbf{h}}}}_i$$\tilde{\mathbf{\vec h}}_i$ 的计算如下，其中 ${\overrightarrow{\mathbf{r}}}_i$$\mathbf{\vec r}_i$ 为 reset gate 向量、${\overrightarrow{\mathbf{z}}}_i$$\mathbf{\vec z}_i$ 为 update gate 向量：

   $$\begin{array}{c}{\overrightarrow{\mathbf{r}}}_i={\sigma }_s\left({\mathbf{W}}_r[{\overrightarrow{\mathbf{h}}}_{i-1}||{\overrightarrow{\mathbf{v}}}_i]\right),{\overrightarrow{\mathbf{z}}}_i={\sigma }_s\left({\mathbf{W}}_z[{\overrightarrow{\mathbf{h}}}_{i-1}||{\overrightarrow{\mathbf{v}}}_i]\right)\\ {\widetilde{\overrightarrow{\mathbf{h}}}}_i={\sigma }_t\left({\mathbf{W}}_h[({\overrightarrow{\mathbf{r}}}_i\odot {\overrightarrow{\mathbf{h}}}_{i-1})||{\overrightarrow{\mathbf{v}}}_i]\right)\end{array}$$

   其中：

   • ${\sigma }_s$$\sigma_s$ 为 sigmoid 激活函数，${\sigma }_t$$\sigma_t$ 为 tanh 激活函数。$\odot$$\odot$ 为逐元素乘积。$||$$||$ 为向量拼接。
   • ${\mathbf{W}}_r,{\mathbf{W}}_z,{\mathbf{W}}_h$$\mathbf W_r,\mathbf W_z,\mathbf W_h$ 为待学习的权重矩阵。

   此外，我们得到 concentration gate 向量 ${\overrightarrow{\mathbf{u}}}_i$$\mathbf{\vec u}_i$ 如下：

   $${\overrightarrow{\mathbf{u}}}_i={\sigma }_c(g_{i,j},{\overrightarrow{\mathbf{z}}}_i;ϵ)={\delta }_c(g_{i,j}\ge ϵ)\times g_{i,j}\times {\overrightarrow{\mathbf{z}}}_i$$

   其中：

   • ${\delta }_c(\cdot )$$\delta_c(\cdot)$ 为 Delta 函数，其中 $g_{i,j}\ge ϵ$$g_{i,j}\ge \epsilon$ 时 ${\delta }_c=1$$\delta_c=1$ 否则 ${\delta }_c=0$$\delta_c = 0$ 。
   • $ϵ$$\epsilon$ 为阈值超参数，用于在 session 中建模 transition 时消除噪音noisy的 item 。即，${\overrightarrow{\mathbf{u}}}_i$$\mathbf{\vec u}_i$ 会绕过集中度权重低于 $ϵ$$\epsilon$ 的 item 。我们在实验中根据经验设置 $ϵ=0.01$$\epsilon = 0.01$ 。

   这里计算 ${\overrightarrow{\mathbf{u}}}_i$$\mathbf{\vec u}_i$ 时出现了 $g_{i,j}$$g_{i,j}$ 。事实上 $j$$j$ 代表通道，因此更准确的描述是：

   $${\overrightarrow{\mathbf{u}}}_i^{(j)}={\delta }_c(g_{i,j}\ge ϵ)\times g_{i,j}\times {\overrightarrow{\mathbf{z}}}_i$$

   因为我们是针对第 $j$$j$ 个通道来计算 ${\overrightarrow{\mathbf{u}}}_i$$\mathbf{\vec u}_i$ 。

   因此，当前 step 的 hidden state ${\overrightarrow{\mathbf{h}}}_i$$\mathbf{\vec h}_i$ 可以由 ${\overrightarrow{\mathbf{u}}}_i$$\mathbf{\vec u}_i$ 根据 previous state ${\overrightarrow{\mathbf{h}}}_{i-1}$$\mathbf{\vec h}_{i-1}$ 和当前候选状态 ${\widetilde{\overrightarrow{\mathbf{h}}}}_i$$\tilde{\mathbf{\vec h}}_i$ 来确定：

   $${\overrightarrow{\mathbf{h}}}_i=(1-{\overrightarrow{\mathbf{u}}}_i)\odot {\overrightarrow{\mathbf{h}}}_{i-1}+{\overrightarrow{\mathbf{u}}}_i\odot {\widetilde{\overrightarrow{\mathbf{h}}}}_i$$

   这里 ${\overrightarrow{\mathbf{u}}}_i$$\mathbf{\vec u}_i$ 代替了 update gate 的作用，并且它是 update gate 乘以 $g_{i,j}$$g_{i,j}$ 得到（经过阈值过滤）。

   例如，如果 item $v_i$$v_i$ 主要集中于单个意图 $p_1$$p_1$ ，即：$g_{i,1}\simeq 1,g_{i,j}\simeq 0,j\ne 1$$g_{i,1}\simeq 1, g_{i,j}\simeq 0, j\ne 1$ 。由于 $g_{i,j}<ϵ,j\ne 1$$g_{i,j}\lt \epsilon, j\ne 1$，因此对于除了通道 1 以外的所有其它通道的 transition ，item $v_i$$v_i$ 将被忽略，即：${\overrightarrow{\mathbf{h}}}_i={\overrightarrow{\mathbf{h}}}_{i-1}$$\mathbf{\vec h}_i = \mathbf{\vec h}_{i-1}$。

21.1.3 概率选择

1. 一旦 session context $\mathcal{C}$$\mathcal C$ 被输入到 MCPRN 中，所有 $m$$m$ 个通道的 final hidden state ${\overrightarrow{\mathbf{h}}}_{t-1}^{(j)}$$\mathbf{\vec h}_{t-1}^{(j)}$ 被集成在一起，从而构建一个多意图 context embedding ${\overrightarrow{\mathbf{v}}}_{\mathcal{C}}$$\mathbf{\vec v}_{\mathcal C}$：

   $${\overrightarrow{\mathbf{v}}}_{\mathcal{C}}=\sum _{j=1}^m{\hat{g}}_{t,j}\times {\overrightarrow{\mathbf{h}}}_{t-1}^{(j)}$$

   其中：${\hat{g}}_{t,j}$$\hat g_{t,j}$ 为 target item ${\hat{v}}_t$$\hat v_t$ 相对于意图 $p_j$$p_j$ 的集中度权重。${\hat{g}}_{t,j}$$\hat g_{t,j}$ 加权了目标意图 target purpose 从而构建 context embedding ${\overrightarrow{\mathbf{v}}}_{\mathcal{C}}$$\mathbf{\vec v}_{\mathcal C}$ 。

   注意，这里集中度权重用的是 target item 的，而不是 last item $g_{t-1,j}$$g_{t-1,j}$ 。因为我们最终希望选择 target item 所在的通道。

   由于每个 $v\in \mathcal{V}$$v\in \mathcal V$ 都可以作为候选的 target item，因此我们需要对每个 $v\in \mathcal{V}$$v\in \mathcal V$ 计算一个 ${\overrightarrow{\mathbf{v}}}_{\mathcal{C}}$$\mathbf{\vec v}_{\mathcal C}$，算法复杂度较高。

2. 然后，我们将context embedding ${\overrightarrow{\mathbf{v}}}_{\mathcal{C}}$$\mathbf{\vec v}_{\mathcal C}$ 与候选 item 的 embedding 一起馈入输出层从而进行 target item 预测。具体而言，我们使用内积计算 target tiem ${\hat{v}}_t$$\hat v_t$ 相对于给定 context $\mathcal{C}$$\mathcal C$ 的相关性得分relevance score，从而捕获它们之间的交互：

   $${\delta }_t(\mathcal{C})={\widehat{\overrightarrow{\mathbf{v}}}}_t^{\mathrm{\top }}{\overrightarrow{\mathbf{v}}}_{\mathcal{C}}$$

   target item ${\hat{v}}_t$$\hat v_t$ 不仅参与了 ${\widehat{\overrightarrow{\mathbf{v}}}}_t$$\hat{\mathbf{\vec v}}_t$，也参与了 ${\overrightarrow{\mathbf{v}}}_{\mathcal{C}}$$\mathbf{\vec v}_{\mathcal C}$ 。

   最后，根据相关性得分 ${\delta }_t(\mathcal{C})$$\delta_t(\mathcal C)$ 获得 item ${\hat{v}}_t$$\hat v_t$ 作为 ground truth 的条件概率 $q({\hat{v}}_t\mid \mathcal{C};\mathrm{\Theta })$$q\left(\hat v_t\mid \mathcal C;\Theta\right)$：

   $$q({\hat{v}}_t\mid \mathcal{C};\mathrm{\Theta })=\frac{1}{1+\exp (-{\delta }_t(\mathcal{C}))}$$

   其中：$\mathrm{\Theta }$$\Theta$ 为所有 session 上需要学习的模型参数集合。

21.1.4 优化和训练

1. 我们通过对交叉熵损失使用 mini-batch 梯度下降来训练我们的模型。给定条件概率 $q$$q$，损失函数为：

   $$\mathcal{L}(s^{+},{\mathcal{N}}^{-})=-[\log q_{s^{+}}+\sum _{v\in {\mathcal{N}}^{-}}\log (1-q_v)]$$

   其中：

   • $s^{+}$$s^+$ 为给定 session context $\mathcal{C}$$\mathcal C$ 的 positive sample ，即真正的 next item $v_t$$v_t$ 。
   • ${\mathcal{N}}^{-}$$\mathcal N^-$ 为从 item 集合 $\mathcal{V}-\{v_t\}$$\mathcal V - \{v_t\}$ 中随机采样 $n$$n$ 个 item 作为 negative sample set 。
   • positive sample 的损失为 $\log q$$\log q$，negative sample 的损失为 $\log (1-q)$$\log (1-q)$ ，它们一起构成了 contrastive pair $(s^{+},{\mathcal{N}}^{-})$$\left(s^+,\mathcal N^-\right)$ 的损失。

   模型参数 $\mathrm{\Theta }$$\Theta$ 通过最小化 $\mathcal{L}(s^{+},{\mathcal{N}}^{-})$$\mathcal L\left(s^+,\mathcal N^-\right)$ 来学到的。具体而言，negative sampling 用于有效的训练。

   负采样策略对于模型效果影响很大，论文这里并未讲述如何负采样。

2. 我们的模型是使用 TensorFlow 实现的。由于篇幅有限，以下算法仅列出了 mini-batch 学习过程的简要方案，其中 ${\mathrm{\Gamma }}_{\text{Adam}}$$\Gamma_\text{Adam}$ 表示 Adam-based 梯度下降优化器，batch size 设置为 50 。

   MCPRN 训练过程：

   • 输入：

     • session 集合 $\mathcal{S}=\{s_1,\cdots ,s_{|\mathcal{S}|}\}$$\mathcal S=\{s_1,\cdots,s_{|\mathcal S|}\}$
     • 优化器 ${\mathrm{\Gamma }}_{\text{Adam}}$$\Gamma_\text{Adam}$
     • 损失函数 $\sum _{(s^{+},{\mathcal{N}}^{-})}\mathcal{L}(s^{+},{\mathcal{N}}^{-})$$\sum_{\left(s^+,\mathcal N^-\right)} \mathcal L\left(s^+,\mathcal N^-\right)$

   • 输出：学好的模型参数 $\mathrm{\Theta }$$\Theta$

   • 算法步骤：

     • 从所有 (context, target item) pair 获取 mini-batch $\mathcal{B}$$\mathcal B$ 。

     • 为每个 target item $v_t\in \mathcal{B}$$v_t\in \mathcal B$ 采样 $n$$n$ 个 negative item ${\mathcal{N}}_{v_t}^{-}$$\mathcal N^-_{v_t}$ 。

     • 计算 mini-batch 损失：

       $${\mathcal{L}}_{\mathcal{B}}=\frac{1}{|\mathcal{B}|}\sum _{(s^{+},{\mathcal{N}}^{-})}\mathcal{L}(s^{+},{\mathcal{N}}^{-})$$

     • 更新参数：$\mathrm{\Theta }\leftarrow \mathrm{\Theta }-{\mathrm{\Gamma }}_{\text{Adam}}({\mathrm{\nabla }}_{\mathrm{\Theta }}{\mathcal{L}}_{\mathcal{B}})$$\Theta\leftarrow \Theta - \Gamma_{\text{Adam}}(\nabla_\Theta \mathcal L_\mathcal B)$ 。

23.2 实验

1. 数据集：我们使用了真实世界的三个交易数据集：

   • Yoochoose-buy：由 RecSys Challenge 2015 发布，记录了 Yoochoose.com 上每个 session 购买的 item 。
   • Tmall：由 IJCAI-15 competition 发布，记录了天猫在线购物平台中每个 transaction 购买的 item 。
   • Tafeng：在 Kaggle 上发布，记录了一家中国杂货店的交易数据。

   首先，通过将一个 transaction 中的所有item 放在一起来形成一个会话，我们从每个原始数据集中抽取一组 session 集合。我们删除少于三个 item 的 session，因为至少需要两个 item 作为 context 从而形成多意图 session context、以及另外一个 item 作为 target item 。

   其次，我们通过随机选择过去 30 天的 20%, 30%, 40% 的 session 进行测试，从而对 session 集合执行三种 training-test 拆分。我们的方法在所有三种拆分上都取得了相似的性能，并且稳定地优于所有 baseline，因此这里仅展示了 30% 拆分的结果。

   有的实验是将最后一天或最后一周的 session 作为测试集，那么随机选择的测试集和最近时间选择的测试集，二者评估结论是一致的吗？

   最后，为了构建格式为 $(\mathcal{C},v_t)$$(\mathcal C,v_t)$ 的 training-test 实例，对于一个 session $s$$s$ ，我们每次从 $s$$s$ 中的第三个到最后一个 item 之间选择一个 item 作为 target item $v_t$$v_t$ ，并且 $v_t$$v_t$ 之前的所有这些 item 构成对应的 conetxt $\mathcal{C}$$\mathcal C$ 。因此，对于包含 $|s|$$|s|$ 个 item 的 session，我们一共创建了 $|s|-2$$|s|-2$ 个实例。

   数据集的统计结果如下表所示。

   

2. 评估指标：Mean Reciprocal Rank: MRR、normalized Discounted Cumulative Gain: NDCG 、Recall 。

   此外我们还设计了一个新颖的多样性指标来评估推荐结果的多样性diversity 。

3. baseline 方法：

   • iGRU4Rec-BPR：典型的 RNN-based SBRS 的改进版本，它使用 GRU-based RNN 来建模 session，并且以 Bayesian Personalized Ranking: BPR 作为损失函数（《Recurrent neural networks with top-k gains for session-based recommendations》）。
   • iGRU4Rec-CE：与 iGRU4Rec-BPR 类似，只是它使用交叉熵损失函数替代了 BPR 损失函数。
   • NARM：一个具有注意力机制的混合编码器，它在 session 中捕获用户的序列行为和主要意图。
   • MANN：一个 memory-augmented 的神经网络，它采用注意力模型来读取显式存储在外部 memory 矩阵中的历史信息。
   • Caser：一种卷积的序列 embedding 模型，它将一个序列的 item 嵌入到一个 image 中，然后使用卷积滤波器将序列模式 sequential pattern 学习为局部特征。
   • ATEM：一个浅而宽的网络，结合了注意力机制来学习 session context 的 attentive embedding 。

   为了证明混合通道在多意图建模中的有效性，我们实现了我们方法的两个版本： MCPRN 的完整模型、 MCPRN 的单通道版本 MCPRN-S 。

   单通道版本只需要将 $m=1$$m=1$ 即可实现。

4. 实验设置：

   • 我们使用相应论文中的参数配置来初始化所有的 baseline 模型，然后在我们的数据集上调优它们从而获得最佳性能以进行公平地比较。
   • PSRU 中的 item embedding 和 hidden state 尺寸均设置为 128 。通过验证集调优从而将通道数 $m$$m$ 设置为 3。Adam 的初始学习率设置为 0.001 。

5. MCPRN 与 baselien 在准确性指标上的性能比较：我们在推荐准确性指标上比较了 MCPRN 和 baseline 方法。下表给出了 MRR 和 nDCG 指标。

   • 前两种方法建立在 GRU-based 的 RNN 之上，由于过于严格的 sequentially dependent-based 假设、以及对于最近意图的 bias，因此很容易生成错误的依赖。因此，它们在多意图 session 数据上表现不佳。

   • NARM 和 MANN 通过将注意力机制分别纳入 RNN-based SBRS 和 memory network-based SBRS 来突出相关信息并抑制噪声，从而获得更好的性能。 但是，由于注意力加权机制，在 session 中它们很容易偏向于主要意图。

   • Caser 也表现不佳，因为 CNN 中的池化操作很难捕获远程依赖关系。

   • 与其它 attention-based SBRS 一样，ATEM 通常偏向于主要意图。

   • 通过使用每个通道独立地建模每个意图，我们的 MCPRN 不仅平等地对待每个意图，而且还保持每个意图内的序列依赖关系。因此，MCPRN 在所有数据集上都取得了最佳性能。

     具体而言，在Yoochoose-buy 和 Tafeng 两个数据集上，MCPRN 在 MRR@5, MRR@20, nDCG@5 指标上比现有最佳方法提高了 20% 以上。

   

   由于空间有限，下图给出了在两个数据集上的召回性能。可以看到，MCPRN 以显著的优势领先于 baseline 。

   

6. 混合通道与单通道的比较：为了证明混合通道结构的效果，我们将 MCPRN 与 MCPRN-S 进行比较，结果如上图和上表所示。可以很清楚地看到：MCPRN 比 MCPRN-S 实现了更高的准确性。MCPRN 的 MRR@5, nDCG@5, Recall@5 至少比 MCPRN-S 高 20% ，这证明了混合通道架构的优越性。

7. 推荐多样性：人们在推荐系统中引入多样性评估，从而弥补准确性评估的缺陷。直观而言，推荐的 item 的类别分布越分散，则意味着模型可以产生更大的多样性。因此，根据信息论，推荐的类别分布可以通过熵来衡量多样性，即：

   $$\text{Diversity@k}=-\sum _{i=1}^k{\text{Pr}}_i{\log }_2{\text{Pr}}_i$$

   其中：

   • $k$$k$ 为推荐列表长度（即，top-k 个 item ）。

   • ${\text{Pr}}_i$$\text{Pr}_i$ 是 item $v_i$$v_i$ 所属类别在推荐列表中出现的概率，基于频率估计得到。

     假设推荐列表中，每个 item 对应的类别为 ”{服装，数码，服装，服装，母婴}“，那么 ${\text{Pr}}_i$$\text{Pr}_i$ 依次等于 {0.6, 0,2, 0.6, 0.6, 0.2} 。因为服装出现的概率为 0.6 。

   下图展示了 MCPRN 与 baseline 的多样性指标的对比。可以看到：MCPRN 实现了比 baseline 方法更高的多样性。特别是在 Tafeng 数据集上，MCPRN 实现了高达 13.01% 的 Diveristy@5 提升、11.61% 的 Diveristy@10 提升 。

   原因是 baseline 方法通常推荐仅满足最近意图（如，RNN-based SBRS）或主要意图（如，attention-based SBRS ）的 item，因为它们是基于单通道的设计。相比之下，MCPRN 通过以并行方式建模多个意图，很容易使得推荐列表多样化。

   多样性评估不适用于 Yoochoose-buy，因为该数据集的类别信息不可用。

   

8. 意图集中度可视化Purpose Concentration Visualization：为了深入理解 session 中用于不同意图的 item 如何被检测、并相应地被路由到 MCPRN 中的不同通道，我们从 Yoochoose-buy 数据集的测试集中随机抽取两个 session，并在下图中可视化了它们的集中度权重。

   可以看到：

   • 一个 session 中的 item 通常用于多个意图，因此被放入不同的通道，如：不同的 item 在所有这三个通道上都有不同的分布。

   • 真正的 target item $v_t$$v_t$ 可能具有与 session 中最近的意图、或主要意图所不同的意图。

     例如，第二个 session 所示。

   

二十四、RepeatNet[2019]

1. 传统的推荐方法基于 last interaction 来处理 session-based 推荐。

   • 《Using temporal data for making recommendations》 和 《An MDP-based recommender system》 研究如何使用马尔科夫模型抽取序列模式sequential pattern 从而预测 next item 。
   • 《Playlist prediction via metric embedding》 提出 logistic Markov embedding 来学习歌曲的 representation 从而进行 playlist 预测。

   这些模型的一个主要问题是：当试图在所有 item 上包含所有可能的潜在用户选择序列时，状态空间很快变得难以管理。

   RNN 最近被用于 session-based 的推荐，并引起了人们的极大关注。

   • 《Session-based recommendations with recurrent neural networks》 引入了带 GRU 的 RNN，从而用于 session-based 推荐。
   • 《Parallel recurrent neural network architectures for feature-rich session-based recommendations》引入了许多 parallel RNN: p-RNN 架构来基于被点击 item 的 click 和 feature （如，图片、文本）来建模 session 。
   • 《Personalizing session-based recommendations with hierarchical recurrent neural networks》 通过跨 session 信息迁移来个性化 RNN 模型，并设计了一个 Hierarchical RNN 模型。这个 Hierarchical RNN 模型在 user session 中，中继 relay 和演变 evolve RNN 的潜在状态。
   • 《Neural attentive session-based recommendation》 在 session-based 推荐中引入了注意力机制并表现出色。

   尽管将深度学习应用于 session-based 推荐的研究越来越多，但是没有人强调所谓的重复消费repeat consumption ，这是许多推荐场景（如电商、音乐、电视节目等等场景的推荐）中的普遍现象。重复消费的意思是：随着时间的推移，相同的 item 被重复消费。

   重复消费之所以存在，是因为人们有规律性的习惯regular habit。例如，我们经常重复购买相同的东西，我们经常去相同的餐厅吃饭，我们经常听相同的歌曲和歌手。下表展示了相关研究中常用的三个 benchmark 数据集的重复消费率。

   

   重复消费率占比不大，那么是否意味着在这方面的改进没有多大意义？毕竟 RepeatNet 是针对 “少数派” 进行的优化。

   RepeatNet 的效果严重依赖于具体的数据集，只有较高重复消费率的数据集的效果较好。因此使用之前需要先通过数据集来评估重复消费率。

   而这个重复消费率又依赖于 user ID，因此也无法应用到匿名 session 中。

   在论文 《RepeatNet: A Repeat Aware Neural Recommendation Machine for Session-Based Recommendation》 中，作者通过融合一个 repeat-explore 机制到神经网络中从而研究重复消费，并提出了一个叫做 RepeatNet 的、具有 encoder-decoder 的新模型。与使用单个解码器来评估每个 item 的分数的现有工作不同，RepeatNet 使用两个解码器分别在 repeat mode 和 explore mode 下评估每个 item 的推荐概率。

   • 在 repeat mode 下，模型推荐用户历史记录中的 old item 。
   • 在 explore mode 下，模型推荐 new item 。

   具体而言：

   • 首先，模型将每个 session 编码为一个 representation。

   • 然后，模型使用 repeat-explore 机制来学习 repeat mode 和 explore mode 之间的切换概率。

   • 之后，作者提出了一个 repeat recommendation decoder 来学习在 repeat mode 下推荐 old item 的概率，以及提出了一个 explore recommendation decoder 来学习在 explore mode 下推荐 new item 的概率。

     两个 decoder （相比较于传统的单个 decoder）会大幅度增加资源消耗以及 inference time 。

   • 最后，作者将模式切换概率、以及两种模式下的每个 item 的推荐概率以概率性的方式结合起来，最终确定 item 的推荐分。

   mode prediction 和 item 推荐在统一框架内以端到端的方式共同学习。

   论文对三个 benchmark 数据集进行了广泛的实验。结果表明：在 MRR 和 Recall 指标上，RepeatNet 在所有三个数据集上都优于 state-of-the-art baseline 。此外，论文发现：随着数据集大小和重复率的增加，RepeatNet 相对于 baseline 的改进也增加了，这证明了它在处理重复推荐场景方面的优势。

   综上所述，论文的主要贡献是：

   • 论文提出了一种新的、基于深度学习的模型，叫做 RepeatNet 。该模型考虑了重复消费现象。据作者所知，该论文是第一个在使用神经网络的 session-based 推荐背景下考虑重复消费现象的。
   • 论文为 session-based 推荐引入了 repeat-explore 机制，从而自动学习 repeat mode 和 explore mode 之间的切换概率。与使用单个解码器的现有工作不同，论文提出了两个解码器来学习两种模式下每个 item 的推荐概率。
   • 论文对三个 benchmark 数据集进行了广泛的实验和分析。结果表明：RepeatNet 通过显式建模重复消费来提高 session-based 推荐的性能，从而超越了 state-of-the-art 方法。

2. 相关工作：

   • session-based 推荐：

     • 传统的 session-based 推荐方法通常基于马尔科夫链，这些方法在给定 last action 的情况下预测 next action 。

       • 《Using temporal data for making recommendations》 提出了一种基于马尔科夫链的序列推荐器，并研究如何使用概率性的决策树模型来抽取序列模式从而学习 next state 。
       • 《Using sequential and non-sequential patterns in predictive web usage mining tasks》 研究了不同的序列模式sequential pattern用于推荐，并发现连续contiguous的序列模式比通用general的序列模式更适合序列预测任务。
       • 《An MDP-based recommender system》 提出了一个马尔科夫链决策过程 Markov decision process: MDP 从而以 session-based 方式提供推荐。最简单的 MDP 是一阶马尔科夫链，其中 next recommendation 可以简单地通过通过 item 之间的转移概率来计算。
       • 《Effective next items recommendation via personalized sequential pattern mining》 在个性化序列模式挖掘中引入了一种竞争力得分competence score指标，用于 next-item 推荐。
       • 《Playlist prediction via metric embedding》 将 playlist 建模为马尔科夫链，并提出 logistic Markov embedding 来学习歌曲 representation 从而用于 playlist 预测。

       将马尔科夫链应用于 session-based 推荐任务的一个主要问题是：当试图在所有 item 上包含所有可能的潜在用户选择序列时，状态空间很快变得难以管理。

     • RNN 已被证明对序列点击预测很有用。

       • 《Session-based recommendations with recurrent neural networks》 将 RNN 应用于 session-based 推荐，并相对于传统方法取得了显著改进。他们利用session-parallel 的 mini-batch 训练，并使用 ranking-based 损失函数来学习模型。
       • 《Parallel recurrent neural network architectures for feature-rich session-based recommendations》 引入了许多 parallel RNN: p-RNN 架构来基于被点击 item 的 click 和 feature （如，图片、文本）来建模 session 。他们提出了比标准训练更适合的、用于 p-RNN 的替代训练策略。
       • 《Improved recurrent neural networks for session-based recommendations》 提出了两种技术来提高其模型的性能，即：数据增强、以及一种考虑输入数据分布漂移shift 的方法。
       • 《When recurrent neural networks meet the neighborhood for session-based recommendation》 表明，在大多数测试的setup 和数据集中，针对 session 的、基于启发式最近邻的方案优于 GRU4Rec 。
       • 《Personalizing session-based recommendations with hierarchical recurrent neural networks》 提出了一种通过跨 session 信息迁移来对 RNN 模型进行个性化的方法，并设计了一个 Hierarchical RNN 模型，该模型在 user session 之间中继 relay 和演变 evolve RNN 的潜在状态。
       • 《Neural attentive session-based recommendation》 探索了具有注意力机制的混合编码器以建模用户的序列行为和意图，从而捕获用户在当前 session 中的主要意图。

     与上面列出的研究不同，我们强调模型中的重复消费现象。

   • repeat recommendation：

     • 《The dynamics of repeat consumption》 在多个领域研究了用户随着时间的推移重复消费同一个 item 的模式，从同一个门店的重复 check-in 到同一个视频的重复观看。他们发现：消费的新近程度 recency 是重复消费的最强预测器 predictor 。
     • 《Will you “reconsume” the near past? Fast prediction on short-term reconsumption behaviors》 得出了影响人们短期重复消费行为的四个一般特征。然后，他们提出了两种具有线性核和二次核的快速算法，从而预测在给定 context 的情况下，用户是否会在特定时间执行短期重复消费。

     推荐系统的一个重要目标是帮助用户发现 new item 。除此之外，许多现实世界的系统将推荐列表用于不同的目标，即：提醒用户他们过去查看或消费的 item 。

     • 《On the value of reminders within e-commerce recommendations》 通过一个现场实验 live experiment 对此进行了调查，旨在量化在推荐列表中此类提醒的价值。

     • 《Modeling user consumption sequences》 确定了重复消费的两种宏观行为模式：

       • 首先，在给定用户的生命周期lifetime中，很少有 item 能够存活 live 很长时间。

       • 其次，一个 item 的 last consumption 表现出越来越大的 inter-arrival gap ，这与如下概念保持一致：无聊递增导致最终放弃。

         即，用户消费相同 item 的周期越来越长，最终放弃消费该 item （因为越来越无聊，没有新的吸引力）。

     我们的工作与之前关于重复推荐的工作之间的主要区别在于：我们是第一个提出神经推荐模型的人，从而显式强调传统的推荐任务以及 session-based 推荐任务中的重复消费。

24.1 模型

1. 给定一个 action session ${\mathcal{I}}_S=\{i_1,i_2,\cdots ,i_{\tau },\cdots ,i_t\}$$\mathcal I_S = \{i_1,i_2,\cdots,i_\tau,\cdots,i_t\}$，其中 $i_{\tau }$$i_\tau$ 表示一个 item，session-based 推荐尝试预测 next event 是什么，如以下方程所示。不失一般性，本文以点击 action 为例：

   $$P(i_{t+1}\mid {\mathcal{I}}_S)\sim f({\mathcal{I}}_S)$$

   其中：$P(i_{t+1}\mid {\mathcal{I}}_S)$$P(i_{t+1}\mid \mathcal I_S)$ 表示在给定 ${\mathcal{I}}_S$$\mathcal I_S$ 的情况下推荐 $i_{t+1}$$i_{t+1}$ 的概率。传统方法通常将 $f({\mathcal{I}}_S)$$f(\mathcal I_S)$ 直接建模为判别式函数或概率函数。

2. 整体框架：我们提出 RepeatNet 从而从概率性的角度来建模 $P(i_{t+1}\mid {\mathcal{I}}_S)$$P(i_{t+1}\mid \mathcal I_S)$，并且显式考虑重复消费，如以下公式所示：

   $$P(i_{t+1}\mid {\mathcal{I}}_S)=P(r\mid {\mathcal{I}}_S)\times P(i_{t+1}\mid r,{\mathcal{I}}_S)+P(e\mid {\mathcal{I}}_S)\times P(i_{t+1}\mid e,{\mathcal{I}}_S)$$

   其中：

   • $r$$r$ 表示重复模式 repeat mode，$e$$e$ 表示探索模式 explore mode。
   • $P(r\mid {\mathcal{I}}_S)$$P(r\mid \mathcal I_S)$ 表示执行 repeat mode 的概率，$P(e\mid {\mathcal{I}}_S)$$P(e\mid \mathcal I_S)$ 表示执行 explore mode 的概率。
   • $P(i_{t+1}\mid r,{\mathcal{I}}_S)$$P(i_{t+1}\mid r,\mathcal I_S)$ 表示给定 ${\mathcal{I}}_S$$\mathcal I_S$ 的情况下，在 repeat mode 中推荐 $i_{t+1}$$i_{t+1}$ 的概率；$P(i_{t+1}\mid e,{\mathcal{I}}_S)$$P(i_{t+1}\mid e,\mathcal I_S)$ 表示给定 ${\mathcal{I}}_S$$\mathcal I_S$ 的情况下，在explore mode 中推荐 $i_{t+1}$$i_{t+1}$ 的概率。

   如下图所示，RepeatNet 由四个主要组件组成：一个 session encoder、一个 repeat-explore 机制、一个 repeat recommendation decoder、一个 explore recommendation decoder 。

   • session encoder ：它将给定的 session ${\mathcal{I}}_S$$\mathcal I_S$ 编码为潜在 representation $\mathbf{H}=\{{\overrightarrow{\mathbf{h}}}_1,{\overrightarrow{\mathbf{h}}}_2,\cdots ,{\overrightarrow{\mathbf{h}}}_{\tau },\cdots ,{\overrightarrow{\mathbf{h}}}_t\}$$\mathbf H=\left\{\mathbf{\vec h}_1,\mathbf{\vec h}_2,\cdots,\mathbf{\vec h}_\tau,\cdots,\mathbf{\vec h}_t\right\}$ ，其中 ${\overrightarrow{\mathbf{h}}}_{\tau }$$\mathbf{\vec h}_\tau$ 表示在 timestamp $\tau$$\tau$ 处的 session representation 。

     ${\overrightarrow{\mathbf{h}}}_{\tau }$$\mathbf{\vec h}_\tau$ 不是 $i_{\tau }$$i_\tau$ 的 representation，而是截止到 $\tau$$\tau$ 时刻的 session representation 。

   • repeat-explore 机制：它以 $\mathbf{H}$$\mathbf H$ 为输入，预测执行 repeat mode 或 explore mode 的概率，对应于方程中的 $P(r\mid {\mathcal{I}}_S)$$P(r\mid \mathcal I_S)$ 和 $P(e\mid {\mathcal{I}}_S)$$P(e\mid \mathcal I_S)$ 。

     注意：$P(r\mid {\mathcal{I}}_S)+P(e\mid {\mathcal{I}}_S)=1.0$$P(r\mid \mathcal I_S) + P(e\mid \mathcal I_S)=1.0$ ，因此只需要预测其中之一即可。

   • repeat recommendation decoder：它以 $\mathbf{H}$$\mathbf H$ 为输入，预测 ${\mathcal{I}}_S$$\mathcal I_S$ 中被点击 item 的重复推荐概率，对应于方程中的 $P(i_{t+1}\mid r,{\mathcal{I}}_S)$$P(i_{t+1}\mid r,\mathcal I_S)$ 。

   • explore recommendation decoder ：它以 $\mathbf{H}$$\mathbf H$ 为输入，预测 $\mathcal{I}-{\mathcal{I}}_S$$\mathcal I-\mathcal I_S$ 中未被点击 item 的探索推荐概率，对应于方程中的 $P(i_{t+1}\mid e,{\mathcal{I}}_S)$$P(i_{t+1}\mid e,\mathcal I_S)$ ，其中 $\mathcal{I}$$\mathcal I$ 表示所有 item 。

   

3. session encoder：遵从先前的工作，我们使用 GRU 来编码 ${\mathcal{I}}_S$$\mathcal I_S$ ，其中 GRU 定义为：

   $$\begin{array}{c}{\overrightarrow{\mathbf{z}}}_{\tau }=\sigma \left({\mathbf{W}}_z[\text{emb}(i_{\tau })||{\overrightarrow{\mathbf{h}}}_{\tau -1}]\right),{\overrightarrow{\mathbf{r}}}_{\tau }=\sigma \left({\mathbf{W}}_r[\text{emb}(i_{\tau })||{\overrightarrow{\mathbf{h}}}_{\tau -1}]\right)\\ {\widetilde{\overrightarrow{\mathbf{h}}}}_{\tau }=\tanh \left({\mathbf{W}}_h[\text{emb}(i_{\tau })||({\overrightarrow{\mathbf{r}}}_{\tau }\odot {\overrightarrow{\mathbf{h}}}_{\tau -1})]\right)\\ {\overrightarrow{\mathbf{h}}}_{\tau }=(1-{\overrightarrow{\mathbf{z}}}_{\tau })\odot {\overrightarrow{\mathbf{h}}}_{\tau -1}+{\overrightarrow{\mathbf{z}}}_{\tau }\odot {\widetilde{\overrightarrow{\mathbf{h}}}}_{\tau }\end{array}$$

   其中：

   • ${\mathbf{W}}_z,{\mathbf{W}}_r,{\mathbf{W}}_h$$\mathbf W_z,\mathbf W_r,\mathbf W_h$ 为待学习的权重矩阵。
   • $\text{emb}(i_{\tau })$$\text{emb}(i_\tau)$ 为 $i_t$$i_t$ 的 embedding 向量。
   • $\sigma (\cdot )$$\sigma(\cdot)$ 为 sigmoid 函数，$\tanh (\cdot )$$\tanh(\cdot)$ 为 tanh 函数。$||$$||$ 表示向量拼接，$\odot$$\odot$ 表示逐元素乘法。
   • $\overrightarrow{\mathbf{z}}$$\mathbf{\vec z}$ 为 update gate，$\overrightarrow{\mathbf{r}}$$\mathbf{\vec r}$ 为 reset gate 。

   GRU 的初始状态为零，即 ${\overrightarrow{\mathbf{h}}}_0=\overrightarrow{\mathbf{0}}$$\mathbf{\vec h}_0 = \mathbf{\vec 0}$ 。

   经过 session encoder 编码之后，每个 session ${\mathcal{I}}_S$$\mathcal I_S$ 被编码到 $\mathbf{H}=\{{\overrightarrow{\mathbf{h}}}_1,{\overrightarrow{\mathbf{h}}}_2,\cdots ,{\overrightarrow{\mathbf{h}}}_{\tau },\cdots ,{\overrightarrow{\mathbf{h}}}_t\}$$\mathbf H=\left\{\mathbf{\vec h}_1,\mathbf{\vec h}_2,\cdots,\mathbf{\vec h}_\tau,\cdots,\mathbf{\vec h}_t\right\}$ 。

4. repeat-explore 机制：repeat-explore 机制可以视为一个基于 $\mathbf{H}$$\mathbf H$ 来预测推荐模式的二分类器。为此，我们首先将注意力机制应用于 $\mathbf{H}$$\mathbf H$ 从而获得 ${\mathcal{I}}_S$$\mathcal I_S$ 的固定长度的向量 representation 。具体而言：

   • 我们首先使用 last hidden state ${\overrightarrow{\mathbf{h}}}_t$$\mathbf{\vec h}_t$ 与每个 hidden state ${\overrightarrow{\mathbf{h}}}_{\tau }\in \mathbf{H}$$\mathbf{\vec h}_\tau\in \mathbf H$ 进行匹配，从而得到一个重要性分数：

     $$s_{\tau }^{\text{re}}={\overrightarrow{\mathbf{v}}}_{\text{re}}\cdot \tanh ({\mathbf{W}}_{\text{re}}{\overrightarrow{\mathbf{h}}}_t+{\mathbf{U}}_{\text{re}}{\overrightarrow{\mathbf{h}}}_{\tau })$$

     其中：${\overrightarrow{\mathbf{v}}}_{\text{re}},{\mathbf{W}}_{\text{re}},{\mathbf{U}}_{\text{re}}$$\mathbf{\vec v}_\text{re},\mathbf W_\text{re},\mathbf U_\text{re}$ 均为模型参数。

   • 然后我们归一化重要性分数，并获得 ${\mathcal{I}}_S$$\mathcal I_S$ 中每个 hidden state 的加权和从而作为 context vector ：

     $$\begin{array}{c}{\alpha }_{\tau }^{\text{re}}=\frac{\exp \left(s_{\tau }^{\text{re}}\right)}{\sum _{j=1}^t\exp \left(s_j^{\text{re}}\right)}\\ {\overrightarrow{\mathbf{c}}}_{{\mathcal{I}}_S}^{\text{re}}=\sum _{\tau =1}^t{\alpha }_{\tau }^{\text{re}}\times {\overrightarrow{\mathbf{h}}}_{\tau }\end{array}$$

   • 然后我们使用 softmax 回归将 ${\overrightarrow{\mathbf{c}}}_{{\mathcal{I}}_S}^{\text{re}}$$\mathbf{\vec c}_{\mathcal I_S}^\text{re}$ 转换为模式概率分布，分别对应于 $P(r\mid {\mathcal{I}}_S)$$P(r\mid \mathcal I_S)$ 和 $P(e\mid {\mathcal{I}}_S)$$P(e\mid \mathcal I_S)$ ：

     $$[P(r\mid {\mathcal{I}}_S),P(e\mid {\mathcal{I}}_S)]=\text{softmax}\left({\mathbf{W}}_{\text{re}}^c{\overrightarrow{\mathbf{c}}}_{{\mathcal{I}}_S}^{\text{re}}\right)$$

     其中：${\mathbf{W}}_{\text{re}}^c$$\mathbf W^c_\text{re}$ 为权重矩阵。

     这里的 softmax 其实可以退化为 sigmoid，因为这是个二分类问题。

5. repeat recommendation decoder：repeat recommendation decoder 评估 ${\mathcal{I}}_S$$\mathcal I_S$ 中的 item 被重复点击的概率。受到 CopyNet 的启发，我们使用一个修改的注意力模型来实现这一点。item $i_{\tau }\in {\mathcal{I}}_S$$i_\tau\in \mathcal I_S$ 被重复点击的概率为：

   $$\begin{array}{c}{s}_{\tau }^{\text{r}}={\overrightarrow{\mathbf{v}}}_{\text{r}}\cdot \tanh ({\mathbf{W}}_{\text{r}}{\overrightarrow{\mathbf{h}}}_t+{\mathbf{U}}_{\text{r}}{\overrightarrow{\mathbf{h}}}_{\tau })\\ P(i\mid r,{\mathcal{I}}_S)=\{\begin{array}{ll}\frac{\sum _i\exp \left(s_{\tau }^{\text{r}}\right)}{\sum _{j=1}^t\exp \left(s_j^{\text{r}}\right)},& \text{ if }i\in {\mathcal{I}}_S\\ 0,& \text{else}\end{array}\end{array}$$

   其中：

   • ${\overrightarrow{\mathbf{v}}}_r,{\mathbf{W}}_r,{\mathbf{U}}_r$$\mathbf{\vec v}_r, \mathbf W_r, \mathbf U_r$ 为模型参数。
   • $\sum _i\exp \left(s_{\tau }^{\text{r}}\right)$$\sum_i \exp\left(s_{\tau}^\text{r}\right)$ 表示 item $i\in {\mathcal{I}}_S$$i\in \mathcal I_S$ 所有出现的总和，因为同一个 item 可能在 ${\mathcal{I}}_S$$\mathcal I_S$ 的不同位置多次出现。

6. explore recommendation decoder：explore recommendation decoder 评估那些不在 ${\mathcal{I}}_S$$\mathcal I_S$ 中的 new item 被点击的概率。具体而言：

   • 首先，为了更好地捕获用户对 session ${\mathcal{I}}_S$$\mathcal I_S$ 的兴趣，我们采用了 item-level 注意力机制，允许解码器动态选择和线性组合输入序列中的不同部分：

     $$\begin{array}{c}{s}_{\tau }^{\text{e}}={\overrightarrow{\mathbf{v}}}_{\text{e}}\cdot \tanh ({\mathbf{W}}_{\text{e}}{\overrightarrow{\mathbf{h}}}_t+{\mathbf{U}}_{\text{e}}{\overrightarrow{\mathbf{h}}}_{\tau })\\ {\alpha }_{\tau }^{\text{e}}=\frac{\exp \left(s_{\tau }^{\text{e}}\right)}{\sum _{j=1}^t\exp \left(s_j^{\text{e}}\right)}\\ {\overrightarrow{\mathbf{c}}}_{{\mathcal{I}}_S}^{\text{e}}=\sum _{\tau =1}^t{\alpha }_{\tau }^{\text{e}}\times {\overrightarrow{\mathbf{h}}}_{\tau }\end{array}$$

     其中：${\overrightarrow{\mathbf{v}}}_e,{\mathbf{W}}_e,{\mathbf{U}}_e$$\mathbf{\vec v}_e,\mathbf W_e,\mathbf U_e$ 为模型参数。因子 ${\alpha }_{\tau }^e$$\alpha_\tau^e$ 决定了在进行预测时应该强调或忽略输入序列中的哪一部分。

     在计算重要性分数 $s_{\tau }^{\text{re}},s_{\tau }^{\text{r}},s_{\tau }^{\text{e}}$$s_\tau^\text{re},s_\tau^\text{r},s_\tau^\text{e}$ 时，这里都是将 ${\overrightarrow{\mathbf{h}}}_t$$\mathbf{\vec h}_t$ 作为 query，${\overrightarrow{\mathbf{h}}}_{\tau }$$\mathbf{\vec h}_\tau$ 作为 key 。

   • 然后我们将 last hidden state ${\overrightarrow{\mathbf{h}}}_t$$\mathbf{\vec h}_t$ 和 attentive state ${\overrightarrow{\mathbf{c}}}_{{\mathcal{I}}_S}^{\text{e}}$$\mathbf{\vec c}_{\mathcal I_S}^\text{e}$ 组合成一个 hybrid representation ${\overrightarrow{\mathbf{c}}}_{{\mathcal{I}}_S}$$\mathbf{\vec c}_{\mathcal I_S}$ ：

     $${\overrightarrow{\mathbf{c}}}_{{\mathcal{I}}_S}=[{\overrightarrow{\mathbf{h}}}_t||{\overrightarrow{\mathbf{c}}}_{{\mathcal{I}}_S}^{\text{e}}]$$

     其中：$||$$||$ 表示向量拼接。

   • 最后，item $i\in \mathcal{I}-{\mathcal{I}}_S$$i\in \mathcal I - \mathcal I_S$ 被点击的概率为：

     $$\begin{array}{c}{f}_i=\{\begin{array}{ll}-\mathrm{\infty },& \text{ if }i\in {\mathcal{I}}_S\\ {\mathbf{W}}_e^c{\overrightarrow{\mathbf{c}}}_{{\mathcal{I}}_S},& \text{else}\end{array}\\ P(i\mid e,{\mathcal{I}}_S)=\frac{\exp (f_i)}{\sum _{j\in \mathcal{I}}\exp (f_j)}\end{array}$$

     其中：${\mathbf{W}}_e^c$$\mathbf W_e^c$ 为权重矩阵，$-\mathrm{\infty }$$-\infty$ 表示负无穷。因为 $\exp (-\mathrm{\infty })=0$$\exp(-\infty) = 0$，因此我们假设如果 item $i\in {\mathcal{I}}_S$$i\in \mathcal I_S$ ，那么在 explore mode 下它被点击的概率为零。

7. 目标函数：我们的目标是给定 input session 的情况下最大化 ground truth 的预测概率。因此，我们优化负对数似然损失函数：

   $${\mathcal{L}}_{\text{rec}}(\theta )=-\frac{1}{|{\mathbb{I}}_{\mathbb{S}}|}\sum _{{\mathcal{I}}_S\in {\mathbb{I}}_{\mathbb{S}}}\sum _{\tau =1}^{|{\mathcal{I}}_S|}\log P(i_{\tau }\mid {\mathcal{I}}_{S_{\tau -1}})$$

   其中：$\theta$$\theta$ 为 RepeateNet 的参数，${\mathbb{I}}_{\mathbb{S}}$$\mathbb I_\mathbb S$ 为训练集中所有 session 的集合，$P(i_{\tau }\mid {\mathcal{I}}_S)$$P(i_\tau\mid\mathcal I_S)$ 为 ground truth item 的预测概率，${\mathcal{I}}_{S_{\tau -1}}$$\mathcal I_{S_{\tau-1}}$ 表示 ${\mathcal{I}}_S$$\mathcal I_S$ 中截止到 $\tau -1$$\tau-1$ （包含）的前缀部分。

   RepeatNet 包含了一个额外的 repeat-explore 机制从而在 repeat mode 和 explore mode 之间软切换 softly switch 。我们假设：如果 next item 已经在 ${\mathcal{I}}_S$$\mathcal I_S$ 中出现过，那么切换到 repeat mode，否则切换到 explore mode 。因此，我们可以联合训练另一个损失，即 mode prediction 损失，它也是负对数似然损失：

   $${\mathcal{L}}_{\text{mode}}(\theta )=-\frac{1}{|{\mathbb{I}}_{\mathbb{S}}|}\sum _{{\mathcal{I}}_S\in {\mathbb{I}}_{\mathbb{S}}}\sum _{\tau =1}^{|{\mathcal{I}}_S|}[\mathbb{1}(i_{\tau }\in {\mathcal{I}}_{S_{\tau -1}})\times \log P(r\mid {\mathcal{I}}_{S_{\tau -1}})+(1-\mathbb{1}(i_{\tau }\in {\mathcal{I}}_{S_{\tau -1}}))\times \log P(e\mid {\mathcal{I}}_{S_{\tau -1}})]$$

   其中：$\mathbb{1}(i_{\tau }\in {\mathcal{I}}_{S_{\tau -1}})$$\mathbb 1(i_\tau\in \mathcal I_{S_{\tau-1}})$ 是一个指示器函数，当 $i_{\tau }\in {\mathcal{I}}_{S_{\tau -1}}$$i_\tau\in \mathcal I_{S_{\tau-1}}$ 时取值为 1，否则为 0 。

   在联合训练的情况下，最终的损失是两种损失的线下组合：

   $$\mathcal{L}(\theta )={\mathcal{L}}_{\text{rec}}(\theta )+{\mathcal{L}}_{\text{mode}}(\theta )$$

   注意：

   • 这里可以考虑加权，如：${\mathcal{L}}_{\text{rec}}(\theta )+\beta \times {\mathcal{L}}_{\text{mode}}(\theta )$$\mathcal L_\text{rec}(\theta) + \beta\times \mathcal L_\text{mode}(\theta)$ 。

   • 然后，作者在实验中表明，联合训练的效果要比单独训练 ${\mathcal{L}}_{\text{rec}}(\theta )$$\mathcal L_\text{rec}(\theta)$ 更差。有两个原因：

     • 首先，${\mathcal{L}}_{\text{rec}}$$\mathcal L_\text{rec}$ 已经是学习模式预测的优秀监督器了。即，如果 next item 已经完美地预测了，那么 mode prediction 也百分之百正确。
     • 其次，RepeatNet （仅使用 ${\mathcal{L}}_{\text{rec}}$$\mathcal L_\text{rec}$）倾向于重复推荐（为什么？作者没有分析）。添加 ${\mathcal{L}}_{\text{mode}}$$\mathcal L_\text{mode}$ 进一步加剧了这种情况。

     因此，实验部分主要采用 ${\mathcal{L}}_{\text{rec}}$$\mathcal L_\text{rec}$ 来训练。

   • 最后，为了缓解联合训练效果较差的问题，并同时利用模式预测的监督信息，可以考虑一种 warmup 训练策略：在前面 $\rho$$\rho$ 比例的 epoch （比如 50% 的 epoch）优化 ${\mathcal{L}}_{\text{mode}}(\theta )$$\mathcal L_\text{mode}(\theta)$ ，然后在后面的 50% 比例的 epoch 去优化 $\mathcal{L}(\theta )$$\mathcal L(\theta)$ 。

     这是因为预测 next item 是否重复点击的任务，要比预测 next item 是哪个 item 要更简单。那么我们把容易的任务作为 warm up 从而先把模型预热到一个良好的状态，然后再去训练困难的任务。

   RepeatNet 的所有参数及其 item embedding 都是端到端通过反向传播来训练的。

8. 未来方向：

   • 首先，可以结合人们的先验知识来影响 repeat-explore mechanism 。
   • 其次，可以考虑更多的信息（如元数据、文本）和更多因子（如协同过滤）来进一步提高性能。
   • 此外，RepeatNet 的变体可以应用于其它推荐任务，如 content-based 推荐。

读者点评：

1. RepeatNet 本质上是把困难的next item 预测任务拆分成两阶段的子任务：

   • 第一阶段子任务：预测 next item 是否是重复购买。这个任务相对而言要更简单。
   • 第二阶段子任务：分别预测 repeat mode 或 explore mode 下的 next item 。这个任务相对而言更难。

2. 基于类似的原理，我们也可以把 next item 预测任务按照不同的维度拆分为：

   • 第一阶段子任务：预测 next item 是属于哪个 category。
   • 第二阶段子任务：计算给定 next category 的条件下，预测 next item 的概率。

   甚至我们可以拆分为三个阶段：

   • 第一个阶段子任务：预测 next category 是否重复出现。
   • 第二个阶段子任务：基于 repeat mode 和 explore mode，预测next category 的概率。
   • 第三个阶段子任务：计算给定 next category 的条件下，预测 next item 的概率。

   取决于具体的任务，我们还有更多的拆分方式。

3. 这类拆分能提升效果的原因，读者觉得主要是：把困难的任务拆分成相对简单的子任务。

   另外，这种拆分还引入了更多的监督信息。这些额外的监督信息来自于 next item 的属性。例如 RepeatNet 中的额外监督信息来自于属性：next item 是否重复出现。而 category 的例子中，监督信息来自于属性：next item 的 category。

   虽然论文的实验结果表明：这种监督信息的联合训练效果不佳。但是读者认为，这是因为作者没有很好地利用这种监督信息，理论上引入这种监督信息的效果更好。

4. 这种方式是否有效，关键是评估：如果用传统的方法预测，那么 repeat mode 的概率是否接近 ground truth 。

   如果传统的方法（如 BERT4REC ）预测的 next item 中，计算到的 repeat mode 预测概率等于 repeat mode 真实出现的概率，那么说明传统方法已经能很好地捕获 repeat mode，此时无需使用 RepeatNet 这种方法。否则，可以考虑使用 RepeatNet 这种方法。

24.2 实验

1. 数据集：YOOCHOOSE、DIGINETICA、LASTFM 数据集，其中 YOOCHOOSE、DIGINETICA 是电商数据集，LASTFM 是音乐数据集。数据集的拆分与 《Neural attentive session-based recommendation》 相同。

   • YOOCHOOSE 数据集：是 RecSys Challenge 2015 发布的公共数据集。我们遵循《Session-based recommendations with recurrent neural networks》 和《Neural attentive session-based recommendation》 ，并过滤掉长度为 1 的 session 以及出现频次少于 5 次的 item 。他们注意到 1/4 的数据集足以完成任务，增加数据量不会进一步提高性能。
   • DIGINETICA 数据集：是 CIKM Cup 2016 发布的公共数据集。我们再次遵循 《Neural attentive session-based recommendation》 并过滤掉长度为 1 的 session 以及出现频次少于 5 次的 item 。
   • LASTFM：是 Celma 2010 发布并广泛应用于推荐任务。我们将数据集用于音乐艺术家推荐。我们保留 top 40000 名最受欢迎的艺术家，并过滤掉超长的 session （ item 数量超过 50）、以及超短的 session （item 数量低于 2 ）。

   数据集的统计结果如下表所示。

   

2. 评估指标：MRR@20 、MRR@10、Recall@20、Recall@10 。

   • Recall@k：ground truth item 位于 top k 推荐列表的 case ，占所有 test case 的比例。
   • MRR@k：ground truth item 位于推荐列表的排名倒数reciprocal rank的均值。如果排名落后于 $k$$k$ ，则设置排名倒数为零。

3. 实验配置：

   • item embedding size 和 GRU hidden state size 均设为 100 。
   • 使用 dropout ，并且 dropout rate = 0.5 。
   • 使用 Xavier 方法来随机初始化模型参数。
   • 使用 Adam 优化算法，其中学习率 $\alpha =0.001$$\alpha = 0.001$ ，两个动量参数 ${\beta }_1=0.9,{\beta }_2=0.999$$\beta_1=0.9,\beta_2=0.999$ ，以及 $ϵ={10}^{-8}$$\epsilon = 10^{-8}$ 。
   • 我们每隔三个 epoch 将学习率 $\alpha$$\alpha$ 减半。
   • 我们还在训练期间应用范围为 $[-5,5]$$[-5,5]$ 的梯度裁剪。
   • 为了加快训练速度和快速收敛，我们通过 grid search 使用 mini-batch size = 1024 。
   • 我们对每个 epoch 在验证集上评估模型性能。
   • RepeatNet 是用 Chainer 编写的，并在一个 GeForce GTX TitanX GPU 上训练。

   另外，这里没有采用联合训练，而是仅训练 ${\mathcal{L}}_{\text{rec}}$$\mathcal L_\text{rec}$ 。

4. baseline 方法：

   传统的 session-based 推荐方法：

   • POP：推荐训练集中最流行的 item 。它经常被用作推荐系统领域的 baseline 。

   • S-POP:：推荐当前 session 中最流行的 item 。它使用 session 粒度的流行度而不是全局流行度。

   • Item-KNN：推荐与 session 中历史互动 item 相似的 item 。item 相似度定义为：

     $$\text{sim}({\text{item}}_1,{\text{item}}_2)=\frac{\text{co-occurrence session num}}{\sqrt{{\text{item}}_1\text{ occur session num}}\times \sqrt{{\text{item}}_2\text{ occur session num}}}$$

     其中还可以包括正则化项从而避免稀疏 item 的偶然的高度相似性。

   • BPR-MF：是一种常用的矩阵分解方法。我们使用当前 session 中截至目前为止互动的 item 的潜在因子的均值来表达一个 session，将其应用于 session-based 推荐。

   • FPMC：用于 next-basket 推荐的state-of-the-art 混合模型。为了使其适用于 session-based 推荐，我们在计算推荐分时忽略了 user latent representation 。

   • PDP：号称是第一个建模序列重复消费sequential repeat consumption的方法。据我们所知，这是唯一考虑序列重复消费的推荐模型。

   deep learning 的 session-based 推荐方法：先前的研究工作都没有考虑建模序列重复消费。

   • GRU4REC：使用 session-parallel mini-batch 的训练过程，并且还使用 ranking-based 损失函数来学习模型。
   • Improved-GRU4REC：通过两种技术来改进 GRU4REC，即：数据增强、以及一种考虑输入数据分布漂移 shift 的方法。
   • GRU4REC-TOPK：通过 top-k based ranking loss 进一步改进了 GRU4REC 。
   • NARM：通过神经注意力机制进一步改进了 Improved-GRU4REC 。

5. 所有方法的实验结果如下表所示。我们运行 GRU4REC 和 NARM 发布的代码来报告 GRU4REC 和 NARM 的结果。可以看到：

   • 首先，RepeatNet 优于传统方法和神经网络方法，包括最强的 baseline，即 GRU4REC-TOPK 和 NARM 。RepeatNet 对 NARM 的改进甚至大于 NARM 对 Improved-GRU4REC 的改进。

     这些改进意味着显式建模重复消费是有帮助的，这使得 RepeatNet 在 session-based 推荐中建模复杂情况的能力更强。

   • 其次，随着重复率的增加，RepeatNet 的性能普遍提高。我们基于对 YOOCHOOSE 和 DIGINETICA 的不同改进得出这一结论。两个数据集都来自电商领域，但是 YOOCHOOSE 的重复率更高。

   • 第三，RepeatNet 的性能因领域而异。实验结果表明，RepeatNet 在音乐领域比电商领域具有更大的优势。我们认为这是由于不同领域的不同特性造成的。

     人们更愿意重复消费曾经听过的歌。

     在 LASTFM 数据集上，S-POP 的表现要比 Item-KNN 好得多，这意味着流行度在 LASTFM 数据集上非常重要。但是，Item-KNN 在 YOOCHOOSE 数据集上的表现要比 S-POP 好得多，这意味着协同过滤在 YOOCHOOSE 数据集上更重要。

     此外，神经网络模型在所有数据集的所有评估指标上都比传统方法有很大的进步。最近的其它研究也得出了类似的结论。

   

6. repeat mechanism 的分析：如上表所示，一般而言，RepeatNet with repeat 在所有数据集上都优于 RepeatNet without repeat 。

   作者并未解释 no repeat 模型是如何实现的。个人猜测，是认为 $P(r\mid {\mathcal{I}}_S)=0$$P(r\mid \mathcal I_S)=0$ ，即始终采用 explore mode 来构建模型。

   RepeatNet (with and without repeat) 在 repeated session 和 non-repeated session 上的表现如下表所示。

   可以看到：RepeatNet 的改进主要来自 repeated session 。具体而言，在 DIGINTICA 和 LASTFM 数据集上，RepeatNet 在 repeated session 上分别提高了 33.91% 和 24.16% 的 Recall@20 。但是，RepeatNet 在 non-repeated session 上的效果有所下降。

   实验结果表明，RepeatNet 通过显式建模 repeat mode 和 explore mode 从而具有更大的潜力。但是，结果也显示了 RepeatNet 的局限性：如果我们让它完全从数据中学习 mode probability，它似乎倾向于过多地重复推荐。应该增加一种机制来集成先验知识（即，不要过多地重复推荐）。

   因为 RepeatNet 在 Non-Rep session 上的效果不佳，这表明它倾向于过多地重复推荐。

   

   

7. attention mechanism 和 repeat mechanism 的分析：我们在下表中比较了 with and without attention 、with and without repeat 的 RepeatNet 的结果。结果表明：

   • attention mechanism 和 repeat mechanism 都可以改善 RepeatNet 。重要的是，attention mechanism 和 repeat mechanism 的贡献是相辅相成的，因为这种组合在所有数据集的所有指标上都带来了进一步的提升，这证明了二者的必要性。
   • 此外，我们可以看到 attention mechanism 更有助于提高 Recall，而 repeat mechanism 更有助于提高 MRR 。

   

8. 联合学习的分析：有趣的是，如果我们联合训练推荐损失 ${\mathcal{L}}_{\text{rec}}$$\mathcal L_\text{rec}$ 和模式预测损失 ${\mathcal{L}}_{\text{mode}}$$\mathcal L_\text{mode}$ ，则整体性能略有下降，如下表所示。我们认为这是由于以下原因：

   • 首先，${\mathcal{L}}_{\text{rec}}$$\mathcal L_\text{rec}$ 已经是学习模式预测的优秀监督器了。这个结论可以从前面实验结果中得出，其中表明 RepeatNet （仅使用 ${\mathcal{L}}_{\text{rec}}$$\mathcal L_\text{rec}$）在 repeated session 上取得了很大的改进。并且 repeated session 的改善余地相对较小（因为重复购买的比例不高）。
   • 其次，RepeatNet （仅使用 ${\mathcal{L}}_{\text{rec}}$$\mathcal L_\text{rec}$）倾向于重复推荐。添加 ${\mathcal{L}}_{\text{mode}}$$\mathcal L_\text{mode}$ 进一步加剧了这种情况。

   

二十五、LINet(2019)

1. 在电商和流媒体等许多在线服务中，用户的行为通常是序列sequential的，例如，被查看的 item 之间具有时间相关性 temporal correlation 。此外，可以将序列动作 sequential action 分组到 session 中。每个 session 由在特定时间段内发生的 action 组成。session-based 推荐的任务是：给定用户在 session 中的 previous actions，预测用户在同一个 session 中的 next action 。

   由于 session-based 推荐在许多 application 中具有很高的实用价值，它越来越受到研究人员的关注，并提出了许多有趣且有效的方法。大多数 state-of-the-art 方法都遵循 encoder-predictor 架构，其中encoder 将 previous actions 编码到 session embedding 中，并且 predictor 根据 session embedding 来生成在所有可能的 action 集合上的概率分布。

   很容易理解：在 session-based 推荐中，排序信息ordering information 对于预测 next action 很有用，因为 session data 本质上是序列的。然而，并非所有排序信息都很重要。具体而言，论文 《Session-based Recommendation with Local Invariance》认为：有些时候只有通用general 的 high-level 的排序信息很重要，而 sub-sessional level （称作 detailed ordering）并不重要。例如，当用户想在电商网站上购买手机和一些配件时，用户可能需要针对手机及其配件比较不同品牌的多个商品。在这种情况下，用户查看不同手机或不同品牌配件的顺序并不重要，因为用户只是在比较商品，而无意按照一个特定顺序查看商品。论文《Session-based Recommendation with Local Invariance》 把短时间内查看 item 时顺序无所谓的属性称作局部不变性 local invariance ，这在现实世界中很容易找到。此外，high-level ordering ，即用户查看每种类别商品的排序，对 next item 有影响。例如，假设用户购买了手机之后需要一个耳机：

   • 如果用户首先搜索手机，那么该用户可能还想购买耳机，因为该用户可能还没有耳机。
   • 另一方面，如果用户首先搜索耳机，那么该用户可能只想购买耳机（而不会考虑再买一个手机）。

   因此，一个好的 session-based recommender 应该考虑不同粒度 level 的排序信息。

   然而，现有的研究并没有很好地解决这种局部不变性。关于 session-based 推荐的现有研究有两个分支：

   • 第一个分支包括以严格顺序对 action 进行编码的方法。具体而言，最近的研究在 encoder 组件中应用了 RNN 并取得了可喜的成果。使用 RNN 的主要优点是：session 的序列属性 sequential property 很自然地由网络结构来建模。因此，RNN-based 方法显著优于以前的 non-RNN based 方法。但是，这些方法仍然强制执行严格的顺序。此外，这些方法更关注用户的近期 actions ，不擅长在 long session 中捕获依赖关系。

   • 第二个分支包括完全丢弃排序信息的方法。具体而言，受到计算机视觉和 NLP 中注意力机制的成功的启发，STAMP 设计了纯粹的 attention-based 的 session encoder ，并获得了 state-of-the-art 的性能。与 RNN-based 方法相比，STAMP 能够通过注意力机制有效地捕获同一个 session 中任意两个 item 之间的依赖关系。但是，session 中的 high-level 的序列属性被忽略了，这在某些情况下可能会出现问题。

     item-level 的注意力机制 + high-level 的 RNN 机制是否可行？

   上述两种设计 encoder 组件的方法是两个极端，因为它们要么假设 session 内用户 action 之间的严格顺序，要么完全丢弃排序信息。很容易理解，排序信息很有用，因为 session 数据是序列的。但是，在 session 的某些局部区域（称作 sub-session）中，item 的顺序可能并不重要，因为用户不打算按照严格的顺序来点击 item 。换句话讲，有些时候，在 sub-session level，重要的是 item 出现，而不是顺序。

   为了应对上述挑战，论文《Session-based Recommendation with Local Invariance》 提出了一个叫做 LINet 的新模型，该模型通过对不同 level 的序列信息给予不同程度的注意力从而考虑局部不变性。具体而言，忽略某些 sub-session 中无关紧要的 detailed ordering information，而保留整个 session 的 high-level sequential information 。基本思想是：

   • 首先，使用具有高斯加权的 full self-attention layer 在 sub-session 中抽取 position-invariant feature （作为 sub-session 的 representation ）。
   • 然后，使用具有注意力机制的 RNN （作用在 sub-session representation 上）来捕获通用的序列信息。

   论文的主要贡献如下：

   • 论文在 session-based 推荐中识别和研究局部不变性。据作者所知，该论文是第一个在 session-based 推荐的背景下考虑这一点的人。
   • 论文提出了一种新颖的、基于深度学习的模型，该模型考虑了局部不变性。与以前的模型不同，这些模型要么假设 session 中 item 之间的严格顺序，要么完全丢弃排序信息，而论文提出的模型通过遵循 item 的通用顺序 general order 来自动学习生成不受 sub-session 中细微位置变化影响的 session representation 。
   • 在现实世界数据集上进行的大量实验表明，论文提出的模型优于 state-of-the-art 方法，并且所提出的、捕获序列信息的具有局部不变性的机制起着重要作用。

25.1 模型

1. 令 $\mathcal{V}=\{v_1,v_2,\cdots ,v_{|\mathcal{V}|}\}$$\mathcal V=\{v_1,v_2,\cdots,v_{|\mathcal V|}\}$为包含在所有 session 中的 unique item 的集合。session $s=[v_{s,1},v_{s,2},\cdots ,v_{s,|s|}]$$s=[v_{s,1},v_{s,2},\cdots,v_{s,|s|}]$ 为根据时间戳排序的 item 序列，其中 $v_{s,t}\in \mathcal{V}$$v_{s,t}\in \mathcal V$ 表示在 session $s$$s$ 中 time step $t$$t$ 时刻被点击的 item 。 session-based 推荐任务是预测 next item，即：对于每个 time step $t$$t$，$1\le t\le |s|$$1\le t\le |s|$，给定先前点击 item 的序列 $s_t=[v_{s,1},v_{s,2},\cdots ,v_{s,t}]$$s_t=[v_{s,1},v_{s,2},\cdots,v_{s,t}]$ 时预测 next item $v_{s,t+1}$$v_{s,t+1}$ 。

   一个典型的 session-based 推荐模型通常计算整个 item 集合 $\mathcal{V}$$\mathcal V$ 上的概率分布 $p(v\mid s_t)$$p(v\mid s_t)$ ，其中 top-k 概率的 item 将作为推荐列表。

2. 类似于先前的 state-of-the-art 方法，我们的模型遵从 encoder-predictor 架构。

   令 $\mathbf{V}=\{{\overrightarrow{\mathbf{v}}}_1,{\overrightarrow{\mathbf{v}}}_2,\cdots ,{\overrightarrow{\mathbf{v}}}_{|\mathcal{V}|}\}$$\mathbf V = \left\{\mathbf{\vec v}_1,\mathbf{\vec v}_2,\cdots,\mathbf{\vec v}_{|\mathcal V|}\right\}$ 表示 $\mathcal{V}$$\mathcal V$ 中每个 item 的 embedding 向量，其中 ${\overrightarrow{\mathbf{v}}}_i\in {\mathbb{R}}^d$$\mathbf{\vec v}_i\in \mathbb R^d$ 为 $v_i$$v_i$ 的 embedding 向量。给定一个 session 序列 $s_t=[v_{s,1},v_{s,2},\cdots ,v_{s,t}]$$s_t=[v_{s,1},v_{s,2},\cdots,v_{s,t}]$ ，我们模型的输入是 item embedding 列表 $[{\overrightarrow{\mathbf{x}}}_1,{\overrightarrow{\mathbf{x}}}_2,\cdots ,{\overrightarrow{\mathbf{x}}}_t]$$\left[\mathbf{\vec x}_1,\mathbf{\vec x}_2,\cdots,\mathbf{\vec x}_t\right]$ ，其中 ${\overrightarrow{\mathbf{x}}}_i$$\mathbf{\vec x}_i$ 为 item $v_{s,i}$$v_{s,i}$ 的 embedding 向量。

   • 局部编码器local encoder 将 item embedding list 作为输入，并生成 group representation 的一个序列，该序列对 short sub-session 中的位置变动是不变 invariant 的。

   • 全局编码器 global encoder 是一个序列模型，它从 group representation 的序列中抽取 session representation ${\overrightarrow{\mathbf{c}}}_h$$\mathbf{\vec c}_h$ 。

   • 由于 NARM 和 STAMP 已经证明了考虑最近兴趣的重要性和有效性，因此我们将 ${\overrightarrow{\mathbf{c}}}_h$$\mathbf{\vec c}_h$ 和一个表示最近点击 item 的向量 ${\overrightarrow{\mathbf{m}}}_t$$\mathbf{\vec m}_t$ 拼接起来，构成一个 hybrid representation $\overrightarrow{\mathbf{c}}$$\mathbf{\vec c}$ 。

     在论文中，${\overrightarrow{\mathbf{m}}}_t={\overrightarrow{\mathbf{x}}}_t$$\mathbf{\vec m}_t = \mathbf{\vec x}_t$ 。

   • 最后，predictor 根据 item embedding 和 session hybrid representation 来在 $\mathcal{V}$$\mathcal V$ 上计算 next item 的概率分布。

   接下来，我们将详细讨论我们模型的每个组件。