Leave No Context Behind: Efficient Infinite Context Transformers with Infini-attention

コメント

注目のコメント

• Kato Jun

  ユーザベース SPEEDAアナリスト

  ・2024年04月13日

  数日前に発表され、英語では下記記事も出てきて、気になっている。
  人間でいうと、短期記憶と長期記憶を分けるAND組み合わせて、メモリパワープレー（とパワープレーの限界によるパフォーマンス上限）を回避し、メモリ上限をベースにパフォーマンスが落ちにくい最適化ができるということ？
  
  https://venturebeat.com/ai/googles-new-technique-gives-llms-infinite-context/
  
  論文自体はこちら。
  https://arxiv.org/abs/2404.07143