最近のITニュースでは、DeepSeek-R1の量子化によるサイズ削減や、Janus-Proの画像生成能力向上、Sakana AIの新手法TAID、小規模モデルTinySwallowの開発、Qwen2.5-VLの画像理解能力向上、オープンソース音楽AI「YuE」の登場など、生成AI技術の進展が注目されています。
特にUnslothチームによって開発された「DeepSeek-R1」は、671Bパラメータのモデルを効率的に量子化することに成功し、サイズを720GBから131GBに80％削減しました。
この成果は、選択的な量子化アプローチによって実現され、モデルの重要な部分を高ビット数で量子化し、MoE層を主に1.5ビットで量子化することで、実用的な性能を維持しています。
また、Alibaba Cloudは「Qwen2.5-Max」という新しい大規模MoEモデルを発表し、APIを通じて一般提供を開始しました。
これにより、DeepSeek V3を上回る性能を示しています。
さらに、DeepSeekは新しい画像生成AI「Janus-Pro」を発表し、これはDALL-E 3やStable Diffusion 3 Mediumを超える性能を持つとされています。
Janus-Proは、トレーニング戦略の最適化やデータの拡充により、画像とテキストの理解力を向上させています。
加えて、Sakana AIは「TAID」という新手法を開発し、LLMの知識を小規模モデルに転移させることに成功しました。
この手法により、小規模で高性能な言語モデル「TinySwallow-1.5B」を実現しています。
さらに、中国アリババは新たなマルチモーダルAI「Qwen2.5-VL」を発表し、画像理解能力を大幅に向上させました。
最後に、オープンソースの音楽生成AIモデル「YuE」が登場し、歌詞からボーカルと伴奏を含む楽曲を生成する能力を持っています。
このように、生成AI技術は急速に進化しており、今後の展開が期待されます。
参考リンクhttps://news.yahoo.co.jp/articles/289dd7c5050c708bad61a96264abd9c8f798c21c
コメントでは、生成AI技術の進展が多くの関心を集めていました。
特に、量子化に関する技術が進化している点が強調され、1.5ビット量子化などの高精度な圧縮手法が注目されていました。
このような技術は、モデルの軽量化や実用性のバランスを洗練させるものであり、今後の生成AIの進化に期待が寄せられていたのです。
また、DeepSeekのJanus-Proがテキストと画像の統合理解を進めていることや、Sakana AIのTAIDが知識蒸留の最適化に取り組んでいる点も興味深いとされていました。
こうした技術の進展により、数年後には軽量で高性能な生成AIが一般的になるとの見解もありました。
一方で、過去の手法に対する懐疑的な意見もあり、目新しさを感じないとの声もありましたが、オープンソースの重要性を指摘するコメントもあり、技術の進化が広く共有されることが期待されていたのです。
ネットコメントを一部抜粋
量子化の妙技がどんどん進化してるなぁ。
特に1.5ビット量子化なんて、かつては考えられなかった精度を維持しつつの圧縮。
モデルの軽量化と実用性のバランスがますます洗練されてる感じ。
これがオープンソースの意味の精髄だと思う。
数年後には軽量かつ高性能な生成AIが当たり前になるんじゃないか？