Hugging Face が Profiling in PyTorch (Part 3): Attention is all you profile を公開 ── Attentionのプロファイリングで最適化の極意に迫る
Transformerの心臓部であるAttention。その計算がボトルネックになるのは周知の事実だけど、じゃあ実際にプロファイラを通して見ると何が起きているのか。Hugging FaceのチームがPyTorchプロファイリング連載の第3弾でまさにそこに切り込んできた。タイトルの「Attention is all you profile」、わかってるなというセンス。
▸何が変わったのか
連載第1回では加算・乗算といった基本演算をプロファイリングし、第2回ではtorchのnn.Linearを積み上げたMLPや、fused / hand-tuned kernelsを扱った。そして第3回のテーマはAttention。具体的には、naive attention（matmul(q, k.T) → scale → causal mask → softmax → matmul(attn, v)）から始まり、inplace ops、SDPA（Scaled Dot Product Attention）、カーネル実装まで4つのスクリプトを用意。実行環境はNVIDIA A100-SXM4-80GB。Hugging FaceのDev Mode with SpacesやHugging Face Jobs pipelineで手軽に追試できる構成になっている。
◈前モデル / 競合との比較
連載の流れとして、Part 1（基本演算のプロファイリング）→ Part 2（nn.Linear / fused MLP / hand-tuned kernels）→ Part 3（Attentionの各種実装比較）と段階的にスコープが広がっている。Part 3ではnaive実装、inplace ops版、SDPA版、カーネル版の4パターンを同じプロファイラのレンズを通して比較する構成。
◈技術背景と意義
プロファイリングとは、要するに「コードのどこが遅いかを可視化する技術」。PyTorchにはtorch.profilerという仕組みがあって、実行トレースやホットスポットをテーブル形式で確認できる。Attentionは入力長に対して計算量が2乗で増える（quadratic-time complexity）という有名な弱点がある。でも世の中にはそれを緩和するトリックがいろいろあって、この記事は「トリック全部を詳しく解説する」んじゃなく「それぞれがプロファイラ上でどう見えるか」に焦点を当てている。アプローチが地味に秀逸で、最適化の勘所が手に伝わるつくり。
▸こんな人・用途に
PyTorchでモデルを書いていて「遅いけどどこが遅いかわからない」と悩んでいるエンジニア。torch.profilerの読み方を体系的に学びたい初心者〜中級者。自前のAttentionカーネルを書いてベンチマーク比較をしたいMLインフラ寄りの開発者。
◆入手方法・リンク
記事はHugging Face Blogで公開中。付随するスクリプト（04_a_naive_attention.py、04_b_inplace_ops_attention.py、04_c_sdpa_attention.py、04_d_kernels_attention.py）は記事内リンクからアクセス可能。GitHubリポジトリの個別リンクは記事内の「Update on GitHub」から辿れる。
SOURCE: Hugging Face (2026-07-10)
