AIが直接PCを操作する時代へ Claude 3.5 Sonnetが「コンピュータ使用」機能を公開ベータ

Anthropicが、AIモデル「Claude 3.5 Sonnet」に画期的な「コンピュータ使用」機能を追加し、公開ベータとして提供を開始した。AIがユーザーの画面を認識し、カーソルを動かし、クリックし、タイピングすることで、PCを直接操作できるようになる。これは、AIアシスタントが指示を受けるだけでなく、自律的に「実行」するエージェントへと進化する第一歩と言える。ただし、現状は実験的機能であり、実務での本格導入を急ぐ開発者や企業には、まだ時期尚早かもしれない。

「コンピュータ使用」機能とは何か

従来のAIアシスタントは、ユーザーが質問を投げかけ、それに対する回答をテキストやコードで生成するのが主な役割だった。ユーザーはその回答をコピーし、適切な場所に貼り付けるなど、実際の操作は自分で行う必要があった。

これに対し、Anthropicが新たに実装した「コンピュータ使用」機能は、根本的に異なる。Anthropicの公式発表によれば、この機能を有効にしたClaude 3.5 Sonnetは、ユーザーのコンピュータ画面を認識し、マウスカーソルを移動させ、クリックやダブルクリック、ドラッグ&ドロップを行い、キーボード入力を実行することができる。つまり、AIがユーザーに代わって、デスクトップ上で直接タスクを完了させることが可能になる。

具体的には、ブラウザで特定のサイトを開き、情報を検索し、その結果をスプレッドシートに整理して入力する、といった一連の作業を、自然言語の指示一つで自律的に実行できるようになる。これは、RPA（ロボティック・プロセス・オートメーション）ツールがプログラムに基づいて自動化するのとは異なり、AIの推論能力によって状況を判断し、柔軟に操作を行う点が特徴だ。

どのように動作するのか

この機能は現在、開発者向けAPIを通じて実験的に提供されている「研究プレビュー」の段階にある。ユーザーはClaude CodeやClaude Coworkといったインターフェースで機能を有効にすることで利用を開始できる。

動作の流れは以下のようになる。まず、ユーザーが「今月の売上データをダウンロードして、Excelで月別の集計表を作成してくれ」といった自然言語の指示をClaudeに与える。Claudeはこの指示を理解し、操作計画を立てる。その後、実際にユーザーのPC上で、ブラウザを起動し、業務システムにログインし、該当のデータを探してダウンロードする。ダウンロードしたファイルを開き、必要なデータを抽出してExcelの所定のフォーマットに入力し、グラフを作成する、といった一連の作業を、人間が行うのと同様の操作で進めていく。

この過程で、AIは画面に表示されているボタンの位置、入力欄、メニュー項目などを視覚的に認識し、次に取るべき行動を判断する。公式情報によれば、現在の公開ベータ版ではmacOSのサポートが言及されており、今後の拡張が計画されている。

実現可能な具体的なタスク例

この機能を使うことで、以下のような作業が自動化できる可能性がある。

データ収集と整理

「競合他社3社の最新のプレスリリースを公式サイトから探し、リリース日と主要な発表内容をGoogleスプレッドシートにまとめて」と指示する。Claudeはブラウザを操作して各社サイトにアクセスし、ニュースセクションを探り、必要な情報を抽出してスプレッドシートの決められた列に入力していく。

デジタルコンテンツの作成支援

「これらの商品画像をダウンロードし、画像編集ソフトでサイズを800×600に統一して、ファイル名を商品IDに変更して」といった指示が可能になる。AIがファイルエクスプローラーや画像編集ソフトを直接操作することで、煩雑な繰り返し作業から解放される。

情報のクロスチェックとレポート作成

内部データベースの顧客リストと、公開されているSNSプロフィール情報を照合する作業など、複数のアプリケーションやウィンドウを行き来する作業も、AIエージェントに任せることができる。

競合との比較と技術的意義

OpenAIのGPTやGoogleのGeminiといった主要なフロンティアAIモデルも、高度な推論とマルチモーダル理解（画像認識を含む）能力を持つ。しかし、これらのモデルがユーザーのコンピュータを直接、自律的に操作する機能を公式に提供している現時点では確認されていない。一部のサードパーティツールや拡張機能による近似実装は存在するが、モデル開発元自体が公式にこの種の機能を公開ベータとして提供するのは、Claudeが初めてと言える。

この機能の実現は、単なる自動化の一歩を超えた意味を持つ。AIが「デジタル世界における身体性」を獲得する端緒となり得る。画面という「目」と、カーソルとキーボードという「手」を備えることで、AIはこれまで以上に現実のデジタルタスクに深く関与できるようになる。将来的には、複雑なソフトウェアの操作習得や、動的で予測困難なWebインターフェースへの対応など、従来の自動化スクリプトが苦手としてきた領域でも力を発揮する可能性を秘めている。

誰が、いつ使うべき機能なのか

現状、この機能は「研究プレビュー」であり、開発者向けAPIを通じた提供である点を強く認識する必要がある。つまり、一般ユーザーがすぐに日常的に使える安定した製品という段階にはない。

したがって、主な対象は技術評価やプロトタイプ開発を行う開発者、AIエージェント技術の研究を行う技術者、そして次世代の業務自動化（RPAの次世代形態）の可能性を探る企業のR&D部門などとなる。彼らは、この機能の限界や可能性を探り、実際のユースケースにおける精度や信頼性を検証する役割を担う。

一方で、確立された業務プロセスを明日から自動化したいという実用目的のユーザーや、プログラミング知識のない一般消費者がこの機能に飛びつくのは時期尚早だ。技術は急速に進歩しているが、AIによる完全自律操作が複雑な業務でエラーなく実行されるには、まだ時間と改良が必要だろう。この「コンピュータ使用」機能の公開ベータ開始は、AIが単なる「相談役」から「実行役」へと変貌を遂げる、長い旅路の重要な出発点なのである。