Motivation

当前的 RAG 技术无法回答关于语料库的全局性问题，比如“这个数据集的主题是什么”。这一类问题不是可以通过检索增强技术解决的，因为答案一般不在某一段文本里面，正确答案需要理解整个语料库并给出抽象的总结，作者称这类问题为 query-focused summarization (QFS) 问题¹。普通的 RAG 技术无法很好处理这个问题。

Motivations

模型能力跟模型参数量有关系，模型参数量越多，数据越多，效果就越好。但训练成本也成倍上升。为了解决这个问题，大家提出了很多种条件计算（Conditional Computations）的方案，顾名思义，某些条件满足的情况下才会计算，这样就可以不增加训练成本的同时增加模型参数量，提升模型效果

作者提出了 Sparsely-Gated Mixture-of-Experts Layer (MoE) 架构，如下所示¹

引言

如果你能够认识到函数是一等公民（First-class）的话，那么你理解 Python 装饰器应该没有什么困难。函数是一等公民（First-class）就意味着：函数也是值，和其他基本类型（int, str, float, etc）等一样，都可以作为函数的入参和返回值

Motivation

语言模型解决 2 种问题

1. 用一个特征向量表示句子前缀
2. 使用该特征向量预测下一个 token

本文提出的 $k\texttt{NN-LM}$ 基于这么一个假设：学习特征向量表示比预测下一个 token，因此本文的方法主要基于该假设进行设计