4 注目度 注目度 5段階中 4
効率化／推論高速化 定番 原論文 2022年 約3分で読める
FlashAttention――GPUメモリの読み書きを減らし、注意機構を正確なまま高速・省メモリに
FlashAttention: Fast and Memory-Efficient Exact Attention with IO-Awareness
要点GPUのメモリ階層間の読み書き（IO）を意識し、タイリングで高帯域メモリへのアクセスを減らす正確な注意機構の計算法「FlashAttention」を提案。GPT-2で3倍の学習高速化を実現し、より長い文脈を扱えるようにした。