Self-attention 代码 from math import sqrt import torch import torch.nn as nn class SelfAttention(nn.Module): def __init__(self, dim_embedding, ...

此文为本人学习b站up主RethinkFun的视频的笔记，表达上不具科普效果，有点抱歉 Tokenize 即分词，把一句话分成若干个词。 这些可学习参数就是Embedding。 Embedding Embedding的每一个维度可以认为代表不同的语义，可以有很多维度。 Se...