词袋模型

MartinLwx 发布于 2023-08-11 收录于类别 NLP

什么是词袋模型

在 NLP 中，我们需要将文档（document）表示为向量，这是因为机器学习只能够处理数字。也就是说，我们要找到下面这么一个神奇的函数：

机器学习求解梯度的小技巧

MartinLwx 发布于 2023-07-26 收录于类别 ML-DL

引言

也许你和我一样在求解机器学习的梯度时有各种困难，即使看着相关的 Cookbook 一边推导依然是有困惑，今天我要分享的是最近学习到的一个实用技巧：在机器学习中，求解偏导数的时候可以先全部看成标量处理，最后让维度匹配即可

Pytorch 张量的 strides 格式是什么

MartinLwx 发布于 2023-07-14 收录于类别 ML-DL Internal

引言

尽管我已经使用 Numpy 和 Pytorch 好长一段时间了，但我一直不知道他们是如何实现底层的张量（tensor），而且这么高效。最近在看 Deep Learning Systems 这门课，终于有机会尝试自己实现张量，实现一遍之后对张量的理解更深刻了🧐

如何记忆红黑树的操作

MartinLwx 发布于 2023-07-01 收录于类别 Data-Structure

引言

如果你点进了这一篇文章，相信你也跟我一样：红黑树学一次忘一次，又要做树的旋转，又要给节点重新上色，导致每次都是学完了就忘记。我也曾经仔细阅读过 CLRS 写的《算法导论》，但是上面的分类讨论只是让我更加头疼

Git Bundle 指南

MartinLwx 发布于 2023-06-16 收录于类别 Git

git bundle 是什么

git bundle 是一个比较少看到的 git 命令，它的作用是把一个 git 仓库打包📦成一个文件，然后别人可以通过这个文件还原出本来的 git 仓库，而且 git bundle 还支持增量更新功能。在知道 git bundle 命令之前，我有时候打包一个 git 仓库一般就直接 tar czf some_git_repo。前阵子偶然发现了 git bundle 发现还挺实用的🍻

用 MPNN 框架解读 GAT

MartinLwx 发布于 2023-05-21 收录于类别 GNN

什么是 MPNN 框架

Justin Gilmer 提出了 MPNN（Message Passing Neural Network）框架¹ ，用于描述被用来做图上的监督学习的图神经网络模型。我发现这是一个很好用的框架，可以很好理解不同的 GNN 模型是如何工作的，方便快速弄清楚不同的 GNN 模型之间的差别。我们考虑图 $G$ 上的一个节点 $v$，它的向量表示 $h_v$ 的更新方式如下： $$m_v^{t+1}=\sum_{u\in \mathcal{N}(v)}M_t(h_v^t,h_u^t,e_{vu})$$ $$h_v^{t+1}=U_t(h_v^t,m_v^{t+1})$$

1
2
3
4
5
6
11