New issue

Have a question about this project? Sign up for a free GitHub account to open an issue and contact its maintainers and the community.

Sign up for GitHub

By clicking “Sign up for GitHub”, you agree to our terms of service and privacy statement. We’ll occasionally send you account related emails.

Already on GitHub? Sign in to your account

Jump to bottom

2.4節のAttentionの特徴空間の求め方について #2

Open

ko-tatsu opened this issue Nov 15, 2023 · 1 comment

ko-tatsu commented Nov 15, 2023

大変勉強になる書籍を作成いただきありがとうございます．
今，Attentionを利用するために書籍を読みながら，サンプルコードを動かしております．

2.4節に事前に求められた特徴空間の重みｗがありますが，４章以降で重みの計算についても解説があるとのことでしたが
該当する箇所を見つけられませんでした．

お手数ですが，該当する箇所をご教授いただけないでしょうか．
よろしくお願いいたします．

Owner

py-img-recog commented Nov 25, 2023

お返事遅くなり申し訳ございません。

Attentionの重みについてはp132から始まるアテンション機構の解説の中で説明しております。クエリとキーの内積を計算し、softmaxを適当した後の値が重みとなります。

よろしくお願いいたします。

Sign up for free to join this conversation on GitHub. Already have an account? Sign in to comment