コラム Codex活用 更新:

OpenAI CodexのComputer Use機能とは!PCを自律操作するAIエージェントの活用法と注意点

OpenAI CodexのComputer Use機能とは!PCを自律操作するAIエージェントの活用法と注意点
目次 (28項目)
  1. 1. はじめに
  2. 2. 目次
  3. 3. 1. Computer Useとは何か
  4. 一言で説明すると
  5. 技術的な仕組み
  6. 4. 2. どうやって動くのか
  7. Bundled Browser プラグイン
  8. 許可プロセス
  9. 自動レビュー機能
  10. 5. 3. 推奨される活用シーン
  11. シーン① フロントエンドの視覚的なバグ確認
  12. シーン② ローカル開発サーバーでのE2Eテスト補助
  13. シーン③ UIコンポーネントの動作確認
  14. シーン④ APIを持たないGUIツールの操作補助
  15. 6. 4. 具体的な使い方
  16. Computer Useを起動する手順
  17. 指示のコツ
  18. 操作をモニタリングする
  19. 7. 5. 避けるべき操作・注意事項
  20. 公式が避けるよう案内している操作
  21. 機密情報を扱う画面の対策
  22. 8. 6. セキュリティの考え方
  23. 許可の粒度を管理する
  24. ローカル環境限定で使う
  25. AGENTS.mdで制限する
  26. 9. 7. Claude CodeのComputer Useとの違い
  27. 10. 8. まとめ
  28. 11. よくある質問(FAQ)

はじめに

「CodexがPCを自律操作するって、どういう意味?」

「Computer Use機能を使って何ができるの?怖くない?」

「どんな場面で使って、どんな場面では使わない方がいいの?」

2026年4月のCodexデスクトップアプリのアップデートで追加されたComputer Useは、CodexがMacの画面を認識してマウスクリックやキーボード入力を自律的に実行する機能です。この記事では、Computer Useの仕組み・活用法・安全に使うための注意点を解説します。

目次

  1. Computer Useとは何か
  2. どうやって動くのか
  3. 推奨される活用シーン
  4. 具体的な使い方
  5. 避けるべき操作・注意事項
  6. セキュリティの考え方
  7. Claude CodeのComputer Useとの違い
  8. まとめ

1. Computer Useとは何か

一言で説明すると

Computer Useとは、Codexがユーザーの代わりにMacの画面を見て、クリック・キーボード入力・スクロールなどを自律的に実行できる機能です。

これまでのCodexはコードの生成・編集・テスト実行がメインでしたが、Computer UseによってAPIが公開されていないアプリケーションの操作ブラウザ上での視覚的な確認作業も自動化できるようになりました。

技術的な仕組み

Codexが画面をスクリーンショットで認識
    ↓
画面の要素を分析(ボタン・テキスト・位置など)
    ↓
次に実行すべき操作を判断
    ↓
マウスカーソルを移動してクリック or キーボード入力
    ↓
操作後の画面変化を確認して次の操作を判断
    ↓
目標が達成されるまで繰り返す

2. どうやって動くのか

Bundled Browser プラグイン

Computer UseはBundled Browser Plugin(アプリ内ブラウザ)を通じて動作します。Codexデスクトップアプリの設定からBrowserプラグインを有効化し、許可するウェブサイトを管理できます。

許可プロセス

初回操作時に確認ダイアログが表示されます。

Codexが以下の操作を実行しようとしています:
「Safari を開いてローカル開発サーバーにアクセスする」

[常に許可] [1回だけ許可] [拒否]

「常に許可」を選択すると、そのアプリ・サイトへの同様の操作は次回から確認なしで実行されます。機密性の高い操作については引き続き確認が求められます。

自動レビュー機能

Codexデスクトップアプリには自動レビュー機能があります。操作を実行する前に自動レビューエージェントが危険度を評価し、承認・拒否・停止の判定を表示します。リスクレベルを確認してから実行を判断できます。

3. 推奨される活用シーン

OpenAIが公式に推奨している用途は、手順が明確な操作です。

シーン① フロントエンドの視覚的なバグ確認

> ローカル開発サーバー(localhost:3000)を開いて、
  商品一覧ページでモバイル表示に切り替えて、
  カードコンポーネントの表示崩れがないか確認して。
  問題があればスクリーンショットを保存してください。

コードを変更した後の見た目の確認をCodexに任せられます。

シーン② ローカル開発サーバーでのE2Eテスト補助

> localhost:3000でログインフローを試してください。
  [email protected] / password123 でログインして、
  ダッシュボードに正しく遷移するか確認してください。

Playwrightなどの自動テストが整備されていない部分の動作確認を素早く行えます。

シーン③ UIコンポーネントの動作確認

> Storybookを開いて(localhost:6006)、
  Buttonコンポーネントのすべてのバリアントが正常に表示されているか確認して。
  表示に問題があるものをリストアップしてください。

シーン④ APIを持たないGUIツールの操作補助

> Figmaのデザインファイルを開いて、
  コンポーネント名の一覧をテキストでまとめてください。

4. 具体的な使い方

Computer Useを起動する手順

  1. Codexデスクトップアプリを起動する
  2. 設定(Settings)でBrowserプラグインが有効になっているか確認する
  3. タスク入力欄に「ブラウザを使って」「画面を見て」という形で指示する
> ブラウザでlocalhost:3000を開いて、ヘッダーのナビゲーションリンクをすべてクリックして、
  404エラーが発生するページがないか確認してください。

指示のコツ

目標と確認方法を明確に伝える:

# 曖昧な指示(NG)
> サイトを確認して

# 具体的な指示(OK)
> localhost:3000の商品詳細ページ(/products/1)を開いて、
  「カートに追加」ボタンをクリックし、
  カートアイコンの数字が1になることを確認してください。

操作をモニタリングする

Codexデスクトップアプリのダッシュボードで、Computer Useの進捗をリアルタイムで確認できます。操作の計画・実行状況・完了状態が視覚的に表示されます。

5. 避けるべき操作・注意事項

公式が避けるよう案内している操作

操作 理由
秘密鍵・パスワードの入力が必要な作業 認証情報が意図せずログに残る可能性
複数アプリの並列操作 予期しない競合が発生しやすい
長時間の無監視実行 意図しない操作が積み上がるリスク
機密情報が表示された画面での操作 スクリーンショットに機密情報が含まれる
本番環境への直接操作 ミスの影響範囲が大きい

機密情報を扱う画面の対策

Computer Useを使う前に、以下の画面は閉じることを推奨します。

  • パスワードマネージャー
  • 認証情報が表示されているターミナル
  • 本番DBの管理画面
  • 機密性の高いドキュメント

6. セキュリティの考え方

許可の粒度を管理する

Computer Useの許可はアプリ単位で管理されます。設定画面で許可済みアプリ一覧を定期的に確認し、不要な許可は取り消しておきましょう。

ローカル環境限定で使う

Computer Useはローカル開発環境(localhost・ステージング環境)での使用を前提としています。本番環境のURLを操作させることは、意図しないデータ変更・削除のリスクがあるため避けてください。

AGENTS.mdで制限する

# Computer Use に関する制限

## 許可する操作
- localhost:3000〜3999 の範囲のローカル開発サーバーへのアクセス
- Storybookの確認(localhost:6006)
- 開発ツール(DevTools)の操作

## 禁止する操作
- 本番環境URLへのアクセス(example.com・api.example.com等)
- 認証情報の入力を含む操作
- ファイルのダウンロード・アップロード操作

7. Claude CodeのComputer Useとの違い

Anthropicも同様にClaude CodeでのComputer Use機能を提供しています。両者の違いを整理します。

比較項目 Codex Computer Use Claude Code Computer Use
実行環境 クラウドサンドボックス + ローカル ローカル環境
主な対象 ローカル開発サーバー・Webアプリ ターミナル・IDE・Webブラウザ
許可管理 アプリ単位で許可設定 パーミッションプロファイルで管理
向いているケース フロントエンドの視覚的確認 ターミナル作業の自動化

8. まとめ

Computer Useとは:

  • Codexが画面を認識してクリック・入力を自律実行する機能
  • 2026年4月のデスクトップアプリ大型アップデートで追加
  • Bundled Browserプラグインを通じて動作

推奨される用途:

  • ローカル開発サーバーの視覚的バグ確認
  • E2Eテストの補助・動作確認
  • APIを持たないGUIツールの情報収集

避けるべき操作:

  • 秘密鍵・パスワードの入力を含む作業
  • 本番環境への直接操作
  • 機密情報が表示された画面での操作

安全に使うためのポイント:

  • 機密情報が表示された画面はあらかじめ閉じる
  • AGENTS.mdで操作範囲を明示的に制限する
  • 本番環境のURLを対象にしない

次回のプラグイン活用ガイドでは、Slack・Figma・Notionなど90以上のプラグインを使ってワークフローを自動化する方法を解説します。

よくある質問(FAQ)

Q. Computer Useを使うとCodexが自由にPCを操作できてしまいますか?

A. いいえ。操作はアプリ単位の許可制になっており、初回は必ず確認ダイアログが表示されます。また、自動レビュー機能がリスクを評価してから実行するため、意図しない操作が行われにくい設計になっています。

Q. Windowsでも使えますか?

A. 2026年5月時点ではmacOS向けが先行リリースされており、Windows版は順次展開予定とアナウンスされています。最新情報はOpenAI公式ブログでご確認ください。

この記事はCodex活用シリーズです。← AGENTS.mdプラグイン活用 →

ご質問はお問い合わせページからお気軽にどうぞ。

著者:R-LLM 開発者

フォロー

Webエンジニアとして10年以上のキャリアがあり、現在はWordPressとLLM(大規模言語モデル)の連携、および生成AIを活用した課題解決のための開発に日々取り組んでいます。

私の信条は、クライアントに寄り添った伴走支援と、最後まで責任を持ってやり遂げる「遂行力」です。これまでの膨大なトライ&エラーの蓄積により、自身の領域内であれば不具合も迅速に解決できる現場の知見を積み上げてきました。

このブログでは、一人のエンジニアとして私自身がAI技術に抱いている純粋な興味をベースに、日々の探求プロセスを発信しています。

生成AILLMをどのように実務に組み込み、価値へ繋げていくか。自身の検証結果だけでなく、実務者としての視点に基づいた「考察や推察」も含めて共有することで、同じように試行錯誤を続ける方々と知見を繋げていければと考えています。

関連記事

SHARE Xでシェア
← 前の投稿
投稿一覧に戻る
次の投稿 →