Transformer — Termwire

文章の中の単語同士の関係性を一度に見渡しながら処理する、現在の主要なAIモデルの基盤構造。

RNNのように前から順番に処理するのではなく、注意機構（アテンション）という仕組みを使って、文章内のどの単語がどの単語と関係が深いかを同時に計算する。並列処理がしやすく、長い文章も効率的に扱える。

ChatGPTをはじめとする現在の大規模言語モデルの多くが、このTransformerという構造を基盤に作られている。