Sakana AI、世界初の基盤モデル開発自動化 訓練不要で低コスト
コメント
選択しているユーザー
注目のコメント
モデルマージを組み合わせ最適化問題だと考えれば、遺伝的アルゴリズムで進化させるというのは確かにアリかもしれません。
しかし、とんでもない計算量が予想されるます。果たして実現できるのでしょうか?複数のLLMを融合するモデルマージという手法で、新しいLLM(やVLM:Visual and Language Modelなど)を作る手法。
注目したいのは、
①比較的少ない計算資源で作れる
②できたLLMのパラメータ数は小さいのに、性能は高い
という2点。
融合したという点で、親ではなく「子供・孫」的なLLMで、元のLLMを作るための計算資源が必要。それでも少ない計算資源で、また言語とビジュアルといった形に異なる領域のLMを自動的に融合できるというのは、計算資源的に未来を感じる。
そして、パラメータと性能が連動しなくなっているのも興味深い。これはテクノロジーの世界でほぼ必ず発生する。デジカメが代表例だが、最初は画素数が増えるほど画質が良くなったが、それによる進化はかなり前に止まった。PCのクロック数とかも同じ。
とはいえ、そのフェーズに到達し始めているペースが、これまでの様々なテクノロジーに比べて圧倒的に早いという印象。あらー むかーしALifeで流行ってたやつみたいですねぇ またGAやるかな、ワタシも
あ、ちなみにこういうのがAIによるDEI問題を技術的に解決する一つの方向だと思いますねぇ LLMにも多様性、みたいな