AI用語

Transformer（トランスフォーマー）

トランスフォーマーは、注意機構を中心に組み立てられたニューラルネットワークの構造です。現在の多くの言語モデルの基礎として知られています。

概要

2017年にGoogleの研究チームが論文『Attention Is All You Need』で発表したニューラルネットワークアーキテクチャ。再帰（RNN）を使わず自己注意機構（Self-Attention）により文脈内の単語間の関連度を並列処理可能
Transformerは、2017年の論文 Attention Is All You Need で提案されたニューラルネットワークの構造である。再帰的なネットワークや畳み込みを使わず、注意機構のみに基づく。並列化が容易になり、学習時間を大幅に短縮しながら翻訳品質も向上させたと報告されている。

トランスフォーマーは、入力の系列を順に処理する従来の方式とは異なり、注意機構によって入力の各部分の関係を直接扱う構造である。論文は、この構造だけで翻訳タスクの性能を示した。

注意機構（attention）は、ある要素を処理するときに、入力のどの部分を重視するかを重み付けする仕組みである。文章の離れた単語同士の関係も扱いやすくなる。

論文では、並列化が容易で学習時間を短くできる点が示されている。計算を並列に進められるため、大規模な学習に向いた構造として使われてきた。