KNN 算法是什么

MartinLwx 发布于 2024-12-15 收录于类别 ML-DL

什么是 KNN

Tip

显然，从定义来看，KNN 算法并不需要训练

OCaml 中的 Phantom Type 是什么

MartinLwx 发布于 2024-12-08 收录于类别 Programming-Languages

语法

Info

= 左侧是类型（Type），右侧是值（Value）

论文阅读: In-Context Retrieval-Augmented Language Models

MartinLwx 发布于 2024-12-04 收录于类别 NLP

The idea

In-Context RALM¹ 是用于 Autoregressive LM 上的 RAG 技术。RAG 说白了就是在模型推理的时候有个 Retriever 检索相关的文档，检索到的文档会和本来的输入拼接在一起

在 In-Context Learning 里面，会把一些例子放在用户输入的前面，再给 LLM。因此不难想象 In-Context RALM 也类似：In-Context RALM 就是将检索到的最相关的文档直接拼在模型输入的前面，优势是不需要再训练 LLM，我用 mermaid 画了一个图，如下所示

论文阅读: REALM: Retrieval-Augmented Language Model Pre-Training

MartinLwx 发布于 2024-11-30 收录于类别 NLP

引言

最近打算系统性学习 RAG 技术，开始看起了相关文献，目前的思路是按照 ACL 2023 Tutorial 的 Roadmap 过一遍。本篇是对早期的 RAG 技术的 REALM 的介绍

Info

本文采用的模型是 Masked LM 的 BERT，还不是 LLM。因此本文后续的部分内容需要你对 BERT 有一定的了解，包括 BERT 的预训练过程、BERT 微调等

使用 OCaml 中的 Polymorphic Variant 类型

MartinLwx 发布于 2024-11-24 收录于类别 Programming-Languages

引言

我已经学习并使用了 OCaml 有段时间了，但是一直搞不清楚 Polymorphic variant 有什么用。最近在看 Yojson 的时候又看到了这种用法，一番搜索之后发现并没有看到关于 Polymorphic variant 的比较好的文章（官方介绍在我看来有点难懂），只看到一些相关的回答¹²。经过仔细学习之后，我决定写一篇文章，希望能对你有所帮助 :)

为什么需要 Applicative Functor

MartinLwx 发布于 2024-10-20 收录于类别 Programming-Languages

信息

阅读本文之前，我假设你对 Functor 有很好的理解

为啥需要 Applicative Functor

在学习 Applicative Functor 之前，首先是一个关键的问题，为什么有了 Functor 我们还需要 Applicative Functor？