https://fukioston.com/Fukioston我好像不是很不厉害。 2026-10-25T14:32:45+08:00 fukioston https://fukioston.com/ Jekyll © 2026 fukioston /assets/img/favicons/favicon-32x32.png /assets/img/favicons/favicon-96x96.png Transformer相关代码2025-12-11T11:33:00+08:00 2026-07-27T23:56:49+08:00 https://fukioston.com/posts/transformer_code/ Fukioston Self-attention 代码 from math import sqrt import torch import torch.nn as nn class SelfAttention(nn.Module): def __init__(self, dim_embedding, dim_qk, dim_v): super(SelfAttention, self).__init__() self.dim_embedding = dim_embedding self.dim_qk = dim_qk self.dim_v = dim_v # 定义线性变换函数 self.linear_q = nn.Linear(dim_embedding, dim_qk, bias=False) ... Transformer学习笔记2025-12-11T11:33:00+08:00 2026-07-27T23:56:49+08:00 https://fukioston.com/posts/transformer/ Fukioston 此文为本人学习b站up主RethinkFun的视频的笔记，表达上不具科普效果，有点抱歉 Tokenize 即分词，把一句话分成若干个词。 这些可学习参数就是Embedding。 Embedding Embedding的每一个维度可以认为代表不同的语义，可以有很多维度。 Self-attention 主要是Q,K,V： Q 表示的是向其他token查询的向量。 K 表示应答其他token查询的向量。 V 表示更新其他token的embedding的向量。 Q和K先匹配，获得相似度，然后进行softmax，这样就先算出该单词和其他单词的相似度，接着根据这个相似度就可以重新使用大家的V来进行该单词的重新表达。 可以类比为查字典的过程，K是字典里面的关键词，Q则是查询，V是字典里面关键词对应的内容。 简单说：Q 和 K 负责 “选哪些词重要...