GPUモニター&バリデーター
プロフェッショナルグレードのGPUモニタリング及び検証ツール
GPUモニター&バリデーター
最新バージョン: 3.1.9
GPUモニター&バリデーターは、本番環境においてNVIDIAとAMD両方のGPUの最適なパフォーマンスと健全性を確保するためのプロフェッショナルグレードのツールです。
概要
GPUモニター&バリデーターは以下の機能を提供します:
- マルチベンダー対応: NVIDIA (CUDA) とAMD (ROCm) GPU
- 強化されたマルチGPU対応: 複数のGPUを搭載したシステムの認証と検証を改善
- リアルタイムパフォーマンスモニタリング
- メーカー仕様に対するハードウェア検証
- PyTorchストレステストによる包括的なベンチマーク
- 自動異常検知
- 継続的な健全性モニタリング
- パフォーマンス低下検出
- 熱管理検証
- メモリ整合性検証
- ベンダー非依存の統一インターフェース
バージョン3.1.9の新機能
- ドライバー非依存インストール: パッケージが既存のNVIDIA/AMDドライバーに干渉しなくなりました
- 動的PyTorch検出: CUDA/ROCmバージョンを自動検出し、互換性のあるPyTorchをインストール
- CUDA 13.0対応: CUDA 13.0を含む最新のNVIDIAドライバーを完全サポート
- 権限問題の修正: インストール時のvenv権限エラーを解決
- エラー表示の改善: インストールエラーが適切に表示され、トラブルシューティングが容易に
システム要件
オペレーティングシステム
- Ubuntu 22.04 LTS (Jammy) 以降
- Ubuntu 24.04 LTS (Noble)
- Ubuntu 24.10 (Oracular)
- Debian 11 (Bullseye) 以降
- Debian 12 (Bookworm)
ハードウェア要件
- NVIDIA GPU: Compute Capability 7.0以上 (V100, T4, A100, H100, RTXシリーズ)
- AMD GPU: ROCm互換 (MI100, MI200, MI300シリーズ, Radeon Pro VII, W7900)
- 2MBの空きディスク容量 (依存関係を含む)
ソフトウェア要件
- Python 3.10以降
- 初期セットアップ用のインターネット接続
- NVIDIA向け: 任意のNVIDIAドライバーバージョン (パッケージはドライバー非依存)
- AMD向け: 任意のROCmバージョン (パッケージはドライバー非依存)
- 注意: このパッケージはGPUドライバーをインストールまたは変更しません
インストール
オプション1: Ubuntu PPA (Ubuntuで推奨)
# PPAリポジトリを追加 (非対話型)
sudo add-apt-repository ppa:cl-ax/gpu-validator -y
sudo apt update
# GPU Agentをインストール (非対話型)
sudo apt install cl-gpu-agent -yオプション2: APTリポジトリ (Debian/Ubuntu)
# リポジトリを追加
echo 'deb [trusted=yes] https://storage.googleapis.com/gpu_validator/apt-repo stable main' | \
sudo tee /etc/apt/sources.list.d/computelabs-gpu-agent.list
# パッケージリストを更新
sudo apt update
# GPU Agentをインストール
sudo apt install cl-gpu-agentオプション3: 手動インストール
要件を満たしていないシステムやカスタム設定が必要な場合:
# リポジトリをクローン
git clone https://github.com/compute-labs-dev/gpu_validator_monitor.git
cd gpu_validator_monitor
# インストールスクリプトを実行
sudo ./scripts/install.sh動作モード
GPUバリデーターは4つの主要な動作モードをサポートしています:
1. 検証モード
cl-gpu-agent --mode validate実行内容:
- ハードウェア仕様の検証
- メモリ整合性テスト
- CUDA機能チェック
- ドライバー互換性検証
2. ベンチマークモード
cl-gpu-agent --mode benchmarkテスト内容:
- メモリ帯域幅
- CUDAコアパフォーマンス
- テンサーコア機能
- PCIeスループット
- 電力効率
3. モニターモード (デフォルトサービス)
# モニタリングサービスを開始
sudo systemctl start cl-gpu-agent
# 自動起動を有効化
sudo systemctl enable cl-gpu-agent追跡内容:
- リアルタイム温度
- 消費電力
- メモリ使用量
- GPU使用率
- エラー率
- パフォーマンスメトリクス
4. 検出モード
cl-gpu-agent --mode detect検出・表示内容:
- 利用可能なGPU
- GPUモデルと仕様
- ドライバーバージョン
- CUDA/ROCm機能
使用方法
サービス管理
# サービスステータスを確認
sudo systemctl status cl-gpu-agent
# サービスを開始
sudo systemctl start cl-gpu-agent
# サービスを停止
sudo systemctl stop cl-gpu-agent
# 自動起動を有効化
sudo systemctl enable cl-gpu-agent
# リアルタイムログを表示
journalctl -u cl-gpu-agent -f直接コマンド使用
# ヘルプと利用可能なオプションを表示
cl-gpu-agent --help
# 包括的な検証を実行
cl-gpu-agent --mode validate
# パフォーマンスベンチマークを実行
cl-gpu-agent --mode benchmark
# モニタリングを実行 (フォアグラウンド)
cl-gpu-agent --mode monitor結果の理解
バリデーターは3つの主要なメトリクスを提供します:
- 検証ステータス: ハードウェア仕様のPASS/FAIL
- パフォーマンススコア: 参照ベンチマークとの比較
- 健全性指標: 温度/電力の傾向
NVIDIA GPUの成功出力例:
GPU 0 (NVIDIA H100 80GB HBM3):
- Validation: PASS
- Memory Bandwidth: 3.1 TB/s
- Temperature: 42°C (Max: 85°C)
- Power Draw: 119W/700W
- CUDA Cores: 100% functional
- Memory Test: PASS
- Driver Status: OptimalサポートされているGPUモデル
NVIDIA GPU
- データセンター: H100, H200
- RTX 40シリーズ: RTX 4090, 4080
- RTX 50シリーズ: RTX 5090, 5080
AMD GPU
- テスト済み・検証済み: MI300X
- その他のROCm対応GPUも動作する可能性がありますが、未テストです
トラブルシューティング
よくある問題
インストール時の権限エラー
インストール中に [Errno 13] Permission denied が表示される場合:
# 古いインストールを削除
sudo rm -rf /opt/cl-gpu-agent
# 再インストール
sudo apt install --reinstall cl-gpu-agentNVIDIAドライバーバージョンの不一致
v3.1.3以降、パッケージはGPUドライバーのインストールや変更を行いません。ドライバーの問題がある場合:
# 現在のドライバーを確認
nvidia-smi
# パッケージは既存のドライバーを検出して使用します
# ドライバーの変更は行われませんCUDA 13.0以降のサポート
CUDA 13.0以降 (ドライバー580.xなど) をお持ちの場合:
- パッケージが自動的に検出します
- PyTorchはCUDA 12.4サポートでインストールされます (後方互換性あり)
- CUDA 13.0ドライバーはPyTorch cu124で完全に動作します
パッケージバージョンが更新されない場合
aptが最新バージョンを取得できない場合:
# キャッシュをクリアして強制更新
sudo apt clean
sudo apt update
# 利用可能なバージョンを確認
apt policy cl-gpu-agent
# 強制再インストール
sudo apt install --reinstall cl-gpu-agentHow is this guide?