Computer Useは、Anthropicが開発したAIエージェントで、簡単なプロンプトでAIが人間のようにコンピュータ環境を直接操作できるツールとして注目を集めています。従来のAIは特定のツールやAPIを介して操作する形が主流でしたが、Computer Useを搭載した LLM(Claude 3.5 Sonnet)は、スクリーンショットを基に画面を認識し、ピクセル単位の精度でカーソル移動とクリックを行うほか、キーボード入力やソフトウェアの直接操作まで行えるよう設計されています。

Computer Useのブラウザ操作の仕組みにより、既存のOSやアプリケーションをAIに最適化することなく、そのままの状態でAIエージェントを利用できる点が大きな特徴です。オープンエンドなタスク(途中で修正が発生するタスク)のマルチモーダルエージェントのベンチマークであるOSWorldは、人間の70〜75%に対してComputer Use は14.9%のスコアを記録しており、他のAIモデルよりも倍以上の高いスコア7.7%より高い評価を得ていることが報告されています。

現段階ではスクロールやドラッグ、ズームなどの操作が未対応であり、動作の遅さやエラーの発生率の高さも課題として指摘されています。スクリーンショットベースの認識手法を取るため、画面が瞬間的に変化した場合に捉えきれないためエラーが発生してますが、将来的な拡張性と応用範囲の広さが期待されており、専門化されたAIインターフェイスを必要とせずに既存ソフトウェアを直接操作できる点は、AI開発アプローチを大きく変革し得る要素といえます。実用水準に達するまでには速度や安定性など多くの課題が残されているものの、多様な操作への対応や信頼性の向上が進めば、汎用的なコンピュータ利用の世界でAIが一段と活躍する可能性があります。