Release

20230408 修订:

整理了 Paragraph Vector、Skip-Thought Vector、FastSent、InferSent、Simple-But-Tough-To-Beat Baseline For Sentence Embedding 、QuickThoughts 等六篇传统 sentence embedding 论文

整理了 T5、mT5、ExT5、Muppet、Self-Attention with Relative Position Representation、 DeCLUTR、CLEAR、ConSERT、Sentence-T5、ULMFiT、USE、Sentence-BERT、SimCSE、BERT-Flow、BERT-Whitening、 Compare the Geometry of BERT/ELMo/GPT-2 Embedding、CERT 等十七篇论文

整理了 CodeGen 一篇自动生成代码的论文

20230221 修订:

整理了 CTR 预估模型(神经网络方法 3)、CTR 预估模型(神经网络方法 4)、CTR 预估模型(神经网络方法 5)，共包括 AutoInt、 Fi-GNN、FwFM、FM2、FiBiNet、AutoFIS、DCN-V2、AFN、FGCNN、AutoCross、InterHAt、xDeepInt、BarsCTR、AutoDis、 MDE、NIS、AutoEmb、AutoDim、PEP、DeepLight 等二十篇经典论文

20230213 修订:

整理了 HuggingFace Transformer 官方教程和 API ，包括 Tokenizer、Dataset、Trainer、Evaluator、Pipeline、Model、Accelerate、AutoClass 等八章内容

20221219 修订:

新增了《Transformer(3)》，新增了 SpanBERT, ALBERT, UniLM, MASS, MacBERT, 《Fine-tuning Language Models From Human Preferences》, 《Learning to summarize from human feedback》, InstrctGPT 的内容
新增了《强化学习》，新增了 PPO 的内容

20221219 修订:

新增了《Transformer(3)》，新增了 SpanBERT, ALBERT, UniLM, MASS, MacBERT, 《Fine-tuning Language Models From Human Preferences》, 《Learning to summarize from human feedback》, InstrctGPT 的内容
新增了《强化学习》，新增了 PPO 的内容

20221127 修订:

调整了《Transformer(2)》，新增了 ERNIE3.0, ERNIE-Huawei, BART, mBART, 以及调整了 BERT, XLNet, RoBERTa, ERNIE1.0, ERNIE2.0, MT-DNN 的内容

20221106 修订:

调整了 Graph Embedding 综述、GNN 综述相关章节

20221022 修订:

调整《Transformer》，新增了 GPT3、OPT，以及调整了 Transformer、Universal Transformer、Transformer-XL、GPT1、GPT2 的内容

20220925 修订:

调整《15.图神经网络(续)》，主要新增了论文介绍和相关文献等部分

20220917 修订:

新增《28. 推荐算法之序列推荐(续)》，新增九篇论文：MCPRN、RepeatNet、LINet、NextItNet、GCE-GNN、LESSR、HyperRec、DHCN、TiSASRec

20220822 修订:

重新修订了《14. 图神经网络》，主要新增了论文介绍和相关文献等部分

20220731 修订:

新增《27. 推荐算法之序列推荐(续)》，新增八篇论文：Phased LSTM、Time-LSTM、STAMP、Latent Cross、CSRM、SR-GNN、GC-SAN、BERT4Rec

20220526 修订:

新增《26. 推荐算法之序列推荐(续)》，新增七篇论文：RRN、Caser、p-RNN、GRU4Rec Top-k Gains、SASRec、RUM、SHAN

20220509 修订:

新增《25. 推荐算法之序列推荐》，新增七篇论文：FPMC、GRU4Rec、HRM、DREAM、Improved GRU4Rec、NARM、HRNN

20220403 修订:

重新修订了《13. Graph Embedding(续)》，主要新增了论文介绍和相关文献等部分

20220306 修订:

重新修订了《12. Graph Embedding》，主要新增了论文介绍和相关文献等部分

20211121 修订:

重新修订了《21. 神经网络推荐算法(续)》、《22. 多任务学习》、《23. 系统架构》，主要新增了论文介绍和相关文献等部分

20211114 修订:

重新修订了《20. 神经网络推荐算法(续)》，主要新增了论文介绍和相关文献等部分

20211031 修订:

重新修订了《19. 神经网络推荐算法》，主要新增了论文介绍和相关文献等部分

20211019 修订:

重新修订了《18.传统推荐算法》，主要新增了论文介绍和相关文献等部分

20210925 修订:

重新修订了《11.神经网络 CTR 预估模型(续)》，主要新增了论文介绍和相关文献等部分

20210919 修订:

重新修订了《10.神经网络 CTR 预估模型》，主要新增了论文介绍和相关文献等部分

20210807 修订:

重新修订了《9.传统 CTR 预估模型》，主要新增了论文介绍和相关文献等部分

20210726 修订:

“神经网络CTR预估模型(续)”章节新增《CAN: Revisiting Feature Co-Action for Click-Through Rate Prediction》
“神经网络推荐算法(续)”章节新增《Neural Collaborative Filtering》、《Neural Graph Collaborative Filtering》、《LightGCN: Simplifying and Powering Graph Convolution Network for Recommendation》、《Sampling-Bias-Corrected Neural Modeling for Large Corpus Item Recommendations》、《Billion-scale Commodity Embedding for E-commerce Recommendation in Alibaba》、《SDM: Sequential Deep Matching Model for Online Large-scale Recommender System》、《COLD: Towards the Next Generation of Pre-Ranking System》、《Controllable Multi-Interest Framework for Recommendation》、《EdgeRec: Recommender System on Edge in Mobile Taobao》、《Towards Personalized and Semantic Retrieval: An End-to-End Solution for E-commerce Search via Embedding Learning》、《Path-based Deep Network for Candidate Item Matching in Recommenders》

20210620 修订:

“神经网络CTR预估模型(续)”章节新增《 Multi-View Deep Learning Approach for Cross Domain User Modeling in Recommendation Systems》 (MV-DNN 模型)
新增“系统架构”章节，并新增《Hidden Technical Debt in Machine Learning Systems》
新增“神经网络推荐算法(续)”，并新增《Related Pins at Pinterest: The Evolution of a Real-World Recommender System》(Pinterest 推荐系统)，《Deep Learning Recommendation Model for Personalization and Recommendation Systems》(DLRM)，《Applying Deep Learning To Airbnb Search》，《Improving Deep Learning For Airbnb Search》，《HOP-Rec: High-Order Proximity for Implicit Recommendation》，《Neural Collaborative Filtering》，《Neural Graph Collaborative Filtering》

20210516 修订:

“神经网络推荐算法”章节新增四篇论文：《MOBIUS: Towards the Next Generation of Query-Ad Matching in Baidu’s Sponsored Search》(MOBIUS 模型)，《Learning Tree-based Deep Model for Recommender Systems》(TDM模型)，《Deep Retrieval: An End-to-End Learnable Structure Model for Large-Scale Recommendations》(DR模型)，《Joint Optimization of Tree-based Index and Deep Model for Recommender Systems》(JTM模型)
“神经网络CTR预估模型(续)”章节新增三篇论文：《Behavior Sequence Transformer for E-commerce Recommendation in Alibaba》(BST模型)、《Search-based User Interest Modeling with Lifelong Sequential Behavior Data for Click-Through Rate Prediction》(SIM模型)、《Entire Space Multi-Task Modeling via Post-Click Behavior Decomposition for Conversion Rate Prediction》(ESM2模型)

20210420 修订:

“神经网络推荐算法”章节新增五篇论文：《Deep Neural Networks for YouTube Recommendations》、《Recommending What Video to Watch Next: A Multitask Ranking System》、《ESAM: Discriminative Domain Adaptation with Non-Displayed Items to Improve Long-Tail Performance》、《Embedding-based Retrieval in Facebook Search》、《Real-time Personalization using Embeddings for Search Ranking at Airbnb》
“神经网络 CTR 预估模型(续)”章节新增一篇论文：《Deep Spatio-Temporal Neural Networks for Click-Through Rate Prediction》
新增“多任务学习”章节，包括一篇论文: 《Modeling Task Relationships in Multi-task Learning with Multi-gate Mixture-of-Experts》

20210330 新增 scala 笔记

来自于《Scala 编程第三版》的笔记。

20210317 修订：

新增 “神经网络 CTR 预估模型(续)”章节，包括：DeepMCP、MIMN、DMR、MiNet 等四个模型。
新增 “神经网络推荐算法”章节，包括：MIND 模型。

20210227 修订：

图神经网络综述部分新增十篇论文：《Neural Message Passing for Quantum Chemistry》(MPNN)、《MASKED LABEL PREDICTION: UNIFIED MESSAGE PASSING MODEL FOR SEMI-SUPERVISED CLASSIFICATION》(UniMP)、《COMBINING LABEL PROPAGATION AND SIMPLE MODELS OUT-PERFORMS GRAPH NEURAL NETWORKS》(C&S)、《Large-Scale Learnable Graph Convolutional Networks》(LGCN)、《An End-to-End Deep Learning Architecture for Graph Classification》(DGCNN)、《Adaptive Sampling Towards Fast Graph Representation Learning》(AS-GCN)、《DEEP GRAPH INFOMAX》(DGI)、《Hierarchical Graph Representation Learning with Differentiable Pooling》(DIFFPOOL)、《Diffusion-Convolutional Neural Networks》(DCNN)、《Interaction Networks for Learning about Objects, Relations and Physics》(IN)

20210120 修订：

图神经网络综述部分新增六篇论文《HOW POWERFUL ARE GRAPH NEURAL NETWORKS?》、《When Does Self-Supervision Help Graph Convolutional Networks?》、《A FAIR COMPARISON OF GRAPH NEURAL NETWORKS FOR GRAPH CLASSIFICATION》、《Pitfalls of Graph Neural Network Evaluation》、《AGL: A Scalable System for Industrial-purpose Graph Machine Learning》、《AliGraph: A Comprehensive Graph Neural Network Platform》

20201212 修订：

图神经网络综述章节新增四篇论文《Relational inductive biases, deep learning, and graph networks》、《Graph Neural Networks: A Review of Methods and Applications》、《A Comprehensive Survey on Graph Neural Networks》、《GNNExplainer: Generating Explanations for Graph Neural Networks》

20201117 修订：

图神经网络：图神经网络章节新增： Geom-GCN 模型
图神经网络综述：图神经网络章节新增五篇综述：《A Comprehensive Survey of Graph Embedding:Problems, Techniques and Applications》、《Graph Embedding Techniques, Applications, and Performance: A Survey》、《Representation Learning on Graphs: Methods and Applications》、《Deeper Insights into Graph Convolutional Networks for Semi-Supervised Learning》、《Deep Learning on Graphs: A Survey》

20201018 修订：

图神经网络：图神经网络章节新增： HAN、HetGNN、NGCF、HGT、GPT-GNN 等模型的内容

20200921 修订：

图神经网络：图神经网络章节新增： GCMC、JK-Net、PPNP、VRGCN、ClusterGCN、LDS-GNN、DIAL-GNN 等模型的内容

20200816 修订：

Graph Embedding 章节新增： ProNE 模型的内容
图神经网络：图神经网络章节新增： R-GCN、AGCN、FastGCN、PinSage 模型的内容

20200726 修订：

Graph Embedding 章节新增：LANE、 MVE、 PMNE、 ANRL、 DANE、 HERec、 GATNE、 MNE、 MVN2VEC、 SNE 等十个模型的内容

20200601 修订：

Graph Embedding 章节新增：NetMF、NetSMF、PTE、HNE、AANE 五个模型的内容。另外 graph embedding 章节庞大，已经拆分为两个子章节
新增传统推荐算法章节，包括：ItemBasedCF、Amazon I-2-I CF、 Slope One Rating Based CF、Bipartite Network Projection、Implicit Feedback CF、PMF、SVD++、MMMF、OCCF、BPR 等十余个模型

20200405 修订：

图神经网络：图神经网络章节新增：GNN、GCN、FastGCN、Semi-Supervised GCN、分子指纹GCN、GGS-NN、PATCHY-SAN、GraphSage、GAT 九个模型的内容
Graph Embedding：Graph Embedding 章节新增：metapath2vec、GraphGAN、struc2vec、GraphWave 四个模型的内容

20200112 修订：

Graph Embedding：Graph Embedding 章节新增：DeepWalk, LINE, GraRep, TADW, DNGR, Node2Vec, WALKLETS, SDNE, CANE, EOE 十个模型的内容

20191201 修订：

CTR 预估模型：神经网络模型章节新增：DSSM、FNN、PNN、DeepCrossing、Wide&Deep、DCN、DeepFM、NFM、AFM、xDeepFM、ESMM、DIN、DIEN、DSIN、DICM 十五个模型的内容

20190928 修订：

最优化章节新增在线学习优化算法 online learning
新增章节传统 CTR 预估算法：LR 模型、POLY2 模型、FM 模型、FFM 模型、GBDT-LR 模型、FTRL 模型、LS-PLM 模型
RNN 章节微调图片格式

20190825 修订：

Transformer 章节新增：Transformer-XL, XLNet, MT-DNN, ERNIE, ERNIE 2.0, BERT_wwm_ext, RoBERTa 内容

20190802 修订：

调整循环神经网络章节的内容
新增 Transformer 章节
新增词向量章节