参考链接 https://hwcoder.top/Manual-Coding-1 单头注意力机制 Q, K, V的理解。 假设Q由如下矩阵组成（不考虑batchsize）：Q[0]：词1：[dim1, dim2, dim3...] Q[1]：词2：[dim1, dim2, dim3...] 同理K： K[0]：词1：[dim1, dim2, dim…
深度学习——手撕Transformer（找工作篇）
标签： attention
1 篇文章
标签
01背包 1attention 1bfs 0c++ 2conda 1dfs 3dijkstra 1docker 1DP 1GAN 0Google Kickstart2019 1ID3 1jupyter 1jupyter notebook 1k-means 0KMP 0latex 1leetcode 2PAT甲级真题 1photo 3ssh 1tranformer 0transformer 1ubuntu 1usaco 2014 December Contest Bronze 1usaco training 5.1 1wordpress 1二分 1二分图 1二叉树 1二进制 1信息学奥赛一本通 1决策树 1分类 0前端 0前缀和 0剪枝 0动态规划 4单调栈 1博弈论 1卸载 1双指针 1反卷积 0后端 0后缀和 0哈希 1回归 0图论 2天梯赛 1差分 0并查集 2快速幂 0思维 1成都 0扩展欧几里得 0搜索 0数据结构 2最大生成树 0最小生成树 1最短路 0染色法 1树 1树上差分 0模拟 1欧几里得距离 1欧拉路径 1深圳 3滑动窗口 1牛客 1监督学习 0监督学习，非监督学习 0筛质数 1算法 2算法竞赛 0线段树 0背包问题 1质因子 1贪心 2递推 1非监督学习 0