尾调用与尾调用优化 MartinLwx 发布于 2024-03-22 收录于 类别 编程语言 尾调用 & 尾递归 Warning 前置知识：函数调用 & 函数调用栈。函数调用栈里包含所有正在执行但还没有返回的函数 Vim Text Object: 语义化编辑 MartinLwx 发布于 2024-03-03 收录于 类别 工具 Info 更新： OCaml 的 Neovim 配置方案 MartinLwx 发布于 2024-01-23 收录于 类别 Vim-Neovim Info 更新说明: LLM 推理加速技术(1)：KV Cache MartinLwx 发布于 2023-10-12 收录于 类别 LLM Info 更新： LoRA 微调 MartinLwx 发布于 2023-09-14 收录于 类别 ML-DL 什么是 LoRA 自从 LLM 时代到来之后，如何微调 LLM 成为了一个难题，因为 LLM 的模型实在是太大了，很难做全量微调更新所有参数。可选的路线有：冻结整个模型做 Prompt tuning 或者 In-context Learning；冻结整个模型但是会插入可训练的模块。今天要介绍的 LoRA(Low-Rank Adaptation) 就对应了后者的技术路线，这是微软团队的工作1 下一个排列问题 MartinLwx 发布于 2023-09-06 收录于 类别 Algorithm 引言有时候我们会想要生成一个序列的「下一个排列」或者是「上一个排列」，你会怎么做呢？如果你对 C++ 很熟悉的话，不难想到可以用 next_permutation1 和 prev_permutation2。但是 Python 并没有提供类似的 API。因此今天要探讨的就是如何用 Python 实现这 2 个 API，又因为「上一个排列」和「下一个排列」的方法其实大同小异，因此让我们聚焦其中的「下一个排列」问题 1 … 5 6 7 8 9 … 15
Vim Text Object: 语义化编辑 MartinLwx 发布于 2024-03-03 收录于 类别 工具 Info 更新： OCaml 的 Neovim 配置方案 MartinLwx 发布于 2024-01-23 收录于 类别 Vim-Neovim Info 更新说明: LLM 推理加速技术(1)：KV Cache MartinLwx 发布于 2023-10-12 收录于 类别 LLM Info 更新： LoRA 微调 MartinLwx 发布于 2023-09-14 收录于 类别 ML-DL 什么是 LoRA 自从 LLM 时代到来之后，如何微调 LLM 成为了一个难题，因为 LLM 的模型实在是太大了，很难做全量微调更新所有参数。可选的路线有：冻结整个模型做 Prompt tuning 或者 In-context Learning；冻结整个模型但是会插入可训练的模块。今天要介绍的 LoRA(Low-Rank Adaptation) 就对应了后者的技术路线，这是微软团队的工作1 下一个排列问题 MartinLwx 发布于 2023-09-06 收录于 类别 Algorithm 引言有时候我们会想要生成一个序列的「下一个排列」或者是「上一个排列」，你会怎么做呢？如果你对 C++ 很熟悉的话，不难想到可以用 next_permutation1 和 prev_permutation2。但是 Python 并没有提供类似的 API。因此今天要探讨的就是如何用 Python 实现这 2 个 API，又因为「上一个排列」和「下一个排列」的方法其实大同小异，因此让我们聚焦其中的「下一个排列」问题 1 … 5 6 7 8 9 … 15
OCaml 的 Neovim 配置方案 MartinLwx 发布于 2024-01-23 收录于 类别 Vim-Neovim Info 更新说明: LLM 推理加速技术(1)：KV Cache MartinLwx 发布于 2023-10-12 收录于 类别 LLM Info 更新： LoRA 微调 MartinLwx 发布于 2023-09-14 收录于 类别 ML-DL 什么是 LoRA 自从 LLM 时代到来之后，如何微调 LLM 成为了一个难题，因为 LLM 的模型实在是太大了，很难做全量微调更新所有参数。可选的路线有：冻结整个模型做 Prompt tuning 或者 In-context Learning；冻结整个模型但是会插入可训练的模块。今天要介绍的 LoRA(Low-Rank Adaptation) 就对应了后者的技术路线，这是微软团队的工作1 下一个排列问题 MartinLwx 发布于 2023-09-06 收录于 类别 Algorithm 引言有时候我们会想要生成一个序列的「下一个排列」或者是「上一个排列」，你会怎么做呢？如果你对 C++ 很熟悉的话，不难想到可以用 next_permutation1 和 prev_permutation2。但是 Python 并没有提供类似的 API。因此今天要探讨的就是如何用 Python 实现这 2 个 API，又因为「上一个排列」和「下一个排列」的方法其实大同小异，因此让我们聚焦其中的「下一个排列」问题 1 … 5 6 7 8 9 … 15
LLM 推理加速技术(1)：KV Cache MartinLwx 发布于 2023-10-12 收录于 类别 LLM Info 更新： LoRA 微调 MartinLwx 发布于 2023-09-14 收录于 类别 ML-DL 什么是 LoRA 自从 LLM 时代到来之后，如何微调 LLM 成为了一个难题，因为 LLM 的模型实在是太大了，很难做全量微调更新所有参数。可选的路线有：冻结整个模型做 Prompt tuning 或者 In-context Learning；冻结整个模型但是会插入可训练的模块。今天要介绍的 LoRA(Low-Rank Adaptation) 就对应了后者的技术路线，这是微软团队的工作1 下一个排列问题 MartinLwx 发布于 2023-09-06 收录于 类别 Algorithm 引言有时候我们会想要生成一个序列的「下一个排列」或者是「上一个排列」，你会怎么做呢？如果你对 C++ 很熟悉的话，不难想到可以用 next_permutation1 和 prev_permutation2。但是 Python 并没有提供类似的 API。因此今天要探讨的就是如何用 Python 实现这 2 个 API，又因为「上一个排列」和「下一个排列」的方法其实大同小异，因此让我们聚焦其中的「下一个排列」问题 1 … 5 6 7 8 9 … 15
LoRA 微调 MartinLwx 发布于 2023-09-14 收录于 类别 ML-DL 什么是 LoRA 自从 LLM 时代到来之后，如何微调 LLM 成为了一个难题，因为 LLM 的模型实在是太大了，很难做全量微调更新所有参数。可选的路线有：冻结整个模型做 Prompt tuning 或者 In-context Learning；冻结整个模型但是会插入可训练的模块。今天要介绍的 LoRA(Low-Rank Adaptation) 就对应了后者的技术路线，这是微软团队的工作1
下一个排列问题 MartinLwx 发布于 2023-09-06 收录于 类别 Algorithm 引言有时候我们会想要生成一个序列的「下一个排列」或者是「上一个排列」，你会怎么做呢？如果你对 C++ 很熟悉的话，不难想到可以用 next_permutation1 和 prev_permutation2。但是 Python 并没有提供类似的 API。因此今天要探讨的就是如何用 Python 实现这 2 个 API，又因为「上一个排列」和「下一个排列」的方法其实大同小异，因此让我们聚焦其中的「下一个排列」问题
