要点
- 自己注意ラボは、スマホ相当の幅でログインせず無料で操作できた（出典: 自社の実測・2026-11-06）。
- 「√d_k で割る」を外すと、catの注目先はsat 90.8%から100.0%に変わった（出典: 自社の実測・2026-11-06）。
- 因果マスクを入れると、catより後ろにあるsatとonの表示は0.0%になった（出典: 自社の実測・2026-11-06）。
- 埋め込みは手で設計された8次元の玩具ベクトルで、学習済みモデルの重みではない（出典: 自社の記録・2026-11-06）。
この記事は、TechAthletes が作っている自社のアプリの紹介です。
attentionの仕組みを、数字の変化で確かめたい人へ
Transformerのattention（自己注意）の仕組みを、式を読むだけでなく、数字が動くところを見て確かめたい。論文「Attention Is All You Need」にある「√d_kで割る」操作や「因果マスク」が、結果の何を変えるのかを自分で試したい。PaperLensのラボ「自己注意を、手で動かす」は、こうした確認のために操作できるページだ。
PaperLensとは、TechAthletesが作って運営している、AI・半導体・数学の解説サイトのことだ。
今回開いたラボでは、円卓の上に単語のカードが並び、注意の重みが光の線で描かれていた。その下には、選ばれた語がどこを読んでいるかを示す割合が表示される。この記事では、初期の文とクエリを使い、チェックの切り替えでその割合がどう変わったかを追う。
操作したのは2026-11-06。ブラウザの幅を390pxのスマホ相当にし、ログインしていない状態で確認した。
出典: 自社の実測（2026-11-06）
実際に操作した手順
1. ラボを開いて、文とクエリを確認する
ページの見出しは「自己注意を、手で動かす」。初期の文は「the cat sat on the mat」で、クエリはcatだった。円卓に並ぶ単語カードと、カードを結ぶ光の線が見える。
2. 何も変えずに、注目先の割合を読む
まずは初期状態のまま、「cat が読んでいる先（上位4件）」を確認した。表示はsat 90.8%・cat 3.6%・mat 2.2%・on 1.5%。上位4件では、satの割合が最も大きかった。
ここを切り替え前の状態として押さえると、次の操作でどの表示が変わったかを見比べられる。
3. 「√d_k で割る」のチェックを外す
続いて「√d_k で割る（論文どおり）」のチェックを外した。画面の文は「√d_k で割っていません」に変わった。
このとき、割合はsat 100.0%・cat 0.0%・mat 0.0%・on 0.0%になった。初期状態でもsatに集中していたが、チェックを外した後は、表示上ではsatだけが100.0%を占めた。
4. 割る設定を戻して、因果マスクを入れる
次に「√d_k で割る」を戻し、「因果マスク（未来を隠す）」にチェックを入れた。画面には「マスクで遮断」と表示された。
割合はcat 78.8%・the 21.2%・sat 0.0%・on 0.0%に変化した。先ほどまで最も大きかったsatは0.0%となり、catが1位になった。文の中でcatより後ろにあるsatとonが、どちらも0.0%になったことを確認できる。
5. 操作用の項目を確認する
最後に、操作のつまみとして何が表示されているかを確かめた。「文を選ぶ」には4つの例文があり、「自分で入力（Enter）」の欄もある。「ヘッド」と「温度」のスライダーが並び、温度の初期値は1.00だった。
そのほかに、今回切り替えた「√d_k で割る」と「因果マスク」の2つのチェックがある。今回の数値比較は、このチェックの切り替えによるものだ。
出典: 自社の実測（2026-11-06）
画面で確かめた結果と、数値を読む際の前提
比較した条件は、クエリcat、文「the cat sat on the mat」、ヘッド#1、温度1.00。画面で確認した結果を、そのまま並べる。
| 操作 | 1位 | 2位 | 3位 | 4位 | 画面の表示 |
|---|---|---|---|---|---|
| 初期（√d_k で割る・マスクなし） | sat 90.8% | cat 3.6% | mat 2.2% | on 1.5% | 一点に集中している／未来も見る |
| √d_k で割るのを外す | sat 100.0% | cat 0.0% | mat 0.0% | on 0.0% | √d_k で割っていません |
| √d_k で割る＋因果マスク | cat 78.8% | the 21.2% | sat 0.0% | on 0.0% | マスクで遮断 |
初期状態と割る設定を外した状態では、1位はいずれもsatだった。一方、割る設定を戻して因果マスクを入れた状態では、1位がcatに変わっている。割合だけでなく、「未来も見る」から「マスクで遮断」へ変わる画面の文も、操作結果を確かめる手掛かりになる。
ただし、この数値を読む際にはラボ自身の注意書きを押さえておきたい。計算しているのは論文どおりのscaled dot-product attentionだが、埋め込みには、注目先を読み取れるよう手で設計した8次元の玩具ベクトルを使っている。学習済みモデルの重みを使った表示ではない。
ラボが根拠として挙げている論文は、Attention Is All You Need。今回の表は、ラボに用意された条件で確認した表示として読む必要がある。
出典: 自社の実測（2026-11-06）
無料でできる範囲と料金
2026-11-05〜06時点の画面の表記と今回の操作では、このラボはログインなし・無料で利用できた。ラボの確認に、有料会員への登録は必要なかった。
同じサイトの記事「位置エンコーディングを1から理解する（絶対位置からRoPEまで）」には「無料」の印があり、末尾には「この記事は無料で全部読めます。」と表示されていた。
有料会員（読み放題）は月額 ¥490（税込）・いつでも解約という案内だった。登録にはGoogleアカウントでのログインが必要で、解約はマイページから行う。解約後も、支払った期間の終わりまでは読めると案内されている。
会員の案内ページには、記事の一覧・見出し・書き出しは全部無料で読めるとの記載があった。また、付箋やコメント、AIへの質問はログインだけで使えるという表記もあった。これらは案内の記載を確認したもので、今回の操作で使い心地を確かめた機能ではない。
出典: 自社の記録（2026-11-05〜06の画面の表記）、自社の実測（2026-11-06）
向かない人・今回確かめていないこと
学習済みの実際のモデルが、どこに注意を向けるかを見たい人には、このラボは向かない。埋め込みは手で設計した8次元の玩具ベクトルであり、今回見た割合を実際の学習済みモデルの注目先として扱うことはできない。
また、付箋・コメント・AIへの質問・有料会員の記事は今回は操作しておらず、この記事では確かめていない。会員案内に記載があることと、実際に操作して確認したことは区別する必要がある。
有料会員になるにはGoogleアカウントが要る。今回確認した画面には、ほかの登録方法の表示は無かった。ラボをログインなしで試せたことと、有料会員の登録条件は別の確認事項だ。
PaperLensの自己注意ラボを開く
今回操作したページは、PaperLens「自己注意を、手で動かす」。初期状態の注目先を読み、「√d_k で割る」を外した状態、設定を戻して因果マスクを入れた状態の順に、画面の割合を見比べられる。
この記事は、TechAthletes が自社のサービスを作る中で記録した実測をもとに書いています。業務への導入のご相談は 仕事の窓口 で受け付けています。