AIエージェントによるパソコン操作自動化が進展中。Anthropicが新機能を発表し、テスト自動化などで企業が活用を開始。柔軟性が魅力だが、安全性も重視。
2024年10月22日、同社はAIモデル「Claude 3.5 Sonnet」のアップグレード版を発表し、人間のようにパソコンを操作する「Computer Use（パブリックベータ版）」機能を公開しました。
この機能により、AIはスクリーンショットを通じて画面を「見る」ことができ、マウスやキーボードを使った操作が可能になります。
具体的には、スプレッドシートを開いてデータ分析を行ったり、顧客情報システムを操作して情報を更新することができるようになります。
すでにGitLab、Canva、Replitなどの企業がこの機能を導入しており、特にReplitではアプリケーション開発のテスト自動化に利用されています。
テストプロセスはソフトウェア開発においてボトルネックとなることが多く、この新機能を活用することで開発コストの大幅な削減が期待されています。
Anthropicによると、この新機能は特定のワークフローやソフトウェアに限定されず、さまざまなアプリケーションに対応できる柔軟性を持つ点が特徴です。
例えば、必要なデータがスプレッドシートにない場合、AIは自動的にCRMシステムにアクセスして情報を取得し、フォームに入力することができます。
しかし、現時点ではスクロールやズームといった人間にとって容易な操作がAIにとっては課題であり、Anthropicはリスクの低いタスクから始めることを推奨しています。
また、スパムや誤情報、不正行為に対するリスクも考慮し、安全性を優先した開発が進められています。
この分野の進展は、OSWorldというベンチマークを通じて評価されており、2024年11月26日時点ではAnthropicのClaude 3.5 Sonnetが首位を維持しています。
参考リンクhttps://news.yahoo.co.jp/articles/7a0b2ca98a297664bbb6b5f6a16a7dec1e9956cb