# GPUモニター&バリデーター
> プロフェッショナルグレードのGPUモニタリング及び検証ツール
Source: https://help.computelabs.ai/ja/docs/gpu-monitor
Language: ja

> **最新バージョン**: 3.1.9

GPUモニター&バリデーターは、本番環境においてNVIDIAとAMD両方のGPUの最適なパフォーマンスと健全性を確保するためのプロフェッショナルグレードのツールです。

## 概要

GPUモニター&バリデーターは以下の機能を提供します:

- **マルチベンダー対応**: NVIDIA (CUDA) とAMD (ROCm) GPU
- **強化されたマルチGPU対応**: 複数のGPUを搭載したシステムの認証と検証を改善
- リアルタイムパフォーマンスモニタリング
- メーカー仕様に対するハードウェア検証
- PyTorchストレステストによる包括的なベンチマーク
- 自動異常検知
- 継続的な健全性モニタリング
- パフォーマンス低下検出
- 熱管理検証
- メモリ整合性検証
- ベンダー非依存の統一インターフェース

### バージョン3.1.9の新機能

- **ドライバー非依存インストール**: パッケージが既存のNVIDIA/AMDドライバーに干渉しなくなりました
- **動的PyTorch検出**: CUDA/ROCmバージョンを自動検出し、互換性のあるPyTorchをインストール
- **CUDA 13.0対応**: CUDA 13.0を含む最新のNVIDIAドライバーを完全サポート
- **権限問題の修正**: インストール時のvenv権限エラーを解決
- **エラー表示の改善**: インストールエラーが適切に表示され、トラブルシューティングが容易に

## システム要件

### オペレーティングシステム
- Ubuntu 22.04 LTS (Jammy) 以降
- Ubuntu 24.04 LTS (Noble)
- Ubuntu 24.10 (Oracular)
- Debian 11 (Bullseye) 以降
- Debian 12 (Bookworm)

### ハードウェア要件
- **NVIDIA GPU**: Compute Capability 7.0以上 (V100, T4, A100, H100, RTXシリーズ)
- **AMD GPU**: ROCm互換 (MI100, MI200, MI300シリーズ, Radeon Pro VII, W7900)
- 2MBの空きディスク容量 (依存関係を含む)

### ソフトウェア要件
- Python 3.10以降
- 初期セットアップ用のインターネット接続
- **NVIDIA向け**: 任意のNVIDIAドライバーバージョン (パッケージはドライバー非依存)
- **AMD向け**: 任意のROCmバージョン (パッケージはドライバー非依存)
- **注意**: このパッケージはGPUドライバーをインストールまたは変更しません

## インストール

### オプション1: Ubuntu PPA (Ubuntuで推奨)

```bash
# PPAリポジトリを追加 (非対話型)
sudo add-apt-repository ppa:cl-ax/gpu-validator -y
sudo apt update

# GPU Agentをインストール (非対話型)
sudo apt install cl-gpu-agent -y
```

### オプション2: APTリポジトリ (Debian/Ubuntu)

```bash
# リポジトリを追加
echo 'deb [trusted=yes] https://storage.googleapis.com/gpu_validator/apt-repo stable main' | \
  sudo tee /etc/apt/sources.list.d/computelabs-gpu-agent.list

# パッケージリストを更新
sudo apt update

# GPU Agentをインストール
sudo apt install cl-gpu-agent
```

### オプション3: 手動インストール

要件を満たしていないシステムやカスタム設定が必要な場合:

```bash
# リポジトリをクローン
git clone https://github.com/compute-labs-dev/gpu_validator_monitor.git
cd gpu_validator_monitor

# インストールスクリプトを実行
sudo ./scripts/install.sh
```

## 動作モード

GPUバリデーターは4つの主要な動作モードをサポートしています:

### 1. 検証モード

```bash
cl-gpu-agent --mode validate
```

実行内容:
- ハードウェア仕様の検証
- メモリ整合性テスト
- CUDA機能チェック
- ドライバー互換性検証

### 2. ベンチマークモード

```bash
cl-gpu-agent --mode benchmark
```

テスト内容:
- メモリ帯域幅
- CUDAコアパフォーマンス
- テンサーコア機能
- PCIeスループット
- 電力効率

### 3. モニターモード (デフォルトサービス)

```bash
# モニタリングサービスを開始
sudo systemctl start cl-gpu-agent

# 自動起動を有効化
sudo systemctl enable cl-gpu-agent
```

追跡内容:
- リアルタイム温度
- 消費電力
- メモリ使用量
- GPU使用率
- エラー率
- パフォーマンスメトリクス

### 4. 検出モード

```bash
cl-gpu-agent --mode detect
```

検出・表示内容:
- 利用可能なGPU
- GPUモデルと仕様
- ドライバーバージョン
- CUDA/ROCm機能

## 使用方法

### サービス管理

```bash
# サービスステータスを確認
sudo systemctl status cl-gpu-agent

# サービスを開始
sudo systemctl start cl-gpu-agent

# サービスを停止
sudo systemctl stop cl-gpu-agent

# 自動起動を有効化
sudo systemctl enable cl-gpu-agent

# リアルタイムログを表示
journalctl -u cl-gpu-agent -f
```

### 直接コマンド使用

```bash
# ヘルプと利用可能なオプションを表示
cl-gpu-agent --help

# 包括的な検証を実行
cl-gpu-agent --mode validate

# パフォーマンスベンチマークを実行
cl-gpu-agent --mode benchmark

# モニタリングを実行 (フォアグラウンド)
cl-gpu-agent --mode monitor
```

## 結果の理解

バリデーターは3つの主要なメトリクスを提供します:

1. **検証ステータス**: ハードウェア仕様のPASS/FAIL
2. **パフォーマンススコア**: 参照ベンチマークとの比較
3. **健全性指標**: 温度/電力の傾向

NVIDIA GPUの成功出力例:
```
GPU 0 (NVIDIA H100 80GB HBM3):
- Validation: PASS
- Memory Bandwidth: 3.1 TB/s
- Temperature: 42°C (Max: 85°C)
- Power Draw: 119W/700W
- CUDA Cores: 100% functional
- Memory Test: PASS
- Driver Status: Optimal
```

## サポートされているGPUモデル

### NVIDIA GPU
- **データセンター**: H100, H200
- **RTX 40シリーズ**: RTX 4090, 4080
- **RTX 50シリーズ**: RTX 5090, 5080

### AMD GPU
- **テスト済み・検証済み**: MI300X
- その他のROCm対応GPUも動作する可能性がありますが、未テストです

## トラブルシューティング

### よくある問題

#### インストール時の権限エラー
インストール中に `[Errno 13] Permission denied` が表示される場合:

```bash
# 古いインストールを削除
sudo rm -rf /opt/cl-gpu-agent

# 再インストール
sudo apt install --reinstall cl-gpu-agent
```

#### NVIDIAドライバーバージョンの不一致
v3.1.3以降、パッケージはGPUドライバーのインストールや変更を行いません。ドライバーの問題がある場合:

```bash
# 現在のドライバーを確認
nvidia-smi

# パッケージは既存のドライバーを検出して使用します
# ドライバーの変更は行われません
```

#### CUDA 13.0以降のサポート
CUDA 13.0以降 (ドライバー580.xなど) をお持ちの場合:
- パッケージが自動的に検出します
- PyTorchはCUDA 12.4サポートでインストールされます (後方互換性あり)
- CUDA 13.0ドライバーはPyTorch cu124で完全に動作します

#### パッケージバージョンが更新されない場合
aptが最新バージョンを取得できない場合:

```bash
# キャッシュをクリアして強制更新
sudo apt clean
sudo apt update

# 利用可能なバージョンを確認
apt policy cl-gpu-agent

# 強制再インストール
sudo apt install --reinstall cl-gpu-agent
```