マイクロソフトが投資するFastino AIは、CPUで稼働する高性能AIモデルを開発し、GPU依存の固定観念を打破することを目指しています。これにより、企業は高コストを回避できる可能性があります。
要約するとマイクロソフトが投資するスタートアップFastino AIは、CPUで稼働する高性能AIモデルの開発を進めており、従来のGPU依存の固定観念を打破しようとしています。
生成AIを利用する企業は、一般的に高品質な大規模言語モデル(LLM)を導入する際、OpenAIなどのAPIを利用するか、高スペックのGPUを使用する必要があり、どちらも高コストがかかります。
このため、特に専門的なタスクにおいては期待される精度が得られないことが多いのが現状です。
Fastinoは、2024年11月にステルスモードを解除し、同社の技術が注目を集めています。
Fastinoのモデルは特定のタスクに最適化されており、テキストデータの構造化やRAG(検索拡張生成)パイプラインのサポート、タスク計画・推論、JSONレスポンス生成などの機能を持っています。
これにより、CPU上でのパフォーマンスが従来のLLMと比べて1,000倍も高速であると主張されています。
特に、応答時間がミリ秒単位であり、ラズベリーパイのような小型ハードウェアでも動作可能である点が特徴です。
また、Fastinoは高額なGPUを必要としないため、金融サービスやヘルスケアなどのデータセンシティブな産業にとって魅力的な選択肢となるでしょう。
企業の63%が生成AI導入においてモデルの精度不足に苦しんでいるという調査結果もあり、FastinoのAIモデルが市場でどのように受け入れられるかが注目されています。
参考リンクhttps://news.yahoo.co.jp/articles/b9a72cdd6751d2039b3ee3f279da5ded2a3137fd