Google ResearchはTitansに関する新しい研究を発表した。新しいニューラル長期記憶モジュール、3頭協調アーキテクチャ、ハードウェア最適化設計などのモジュールの導入により、計算能力がわずか1.8倍に増加し、大規模モデルのコンテキストウィンドウを200万トークンに拡張しました。Titansは、Transformerモデルの長コンテキスト処理における計算ボトルネックを解決するだけでなく、バイオニクス設計により人間の記憶システムの階層メカニズムをシミュレートし、初めて200万トークンの超長コンテキスト精度推論を実現しました。