GPU Monitor & Validator

Pinakabagong Bersyon: 3.1.9

Ang GPU Monitor & Validator ay isang professional-grade na tool para sa pagsisiguro ng pinakamahusay na pagganap at kalusugan ng parehong NVIDIA at AMD GPU sa production environment.

Pangkalahatang-ideya

Ang GPU Monitor & Validator ay nagbibigay ng:

Multi-vendor support: NVIDIA (CUDA) at AMD (ROCm) GPU
Enhanced multi-GPU support: Pinabuting authentication at validation para sa mga system na may maraming GPU
Real-time performance monitoring
Hardware validation laban sa manufacturer specification
Komprehensibong benchmarking na may PyTorch stress test
Automated anomaly detection
Tuluy-tuloy na health monitoring
Performance regression detection
Thermal management validation
Memory integrity verification
Vendor-agnostic unified interface

Ano ang Bago sa Bersyon 3.1.9

Driver-agnostic installation: Ang package ay hindi na nakakagambala sa kasalukuyang NVIDIA/AMD driver
Dynamic PyTorch detection: Awtomatikong nakikilala ang CUDA/ROCm version at nag-i-install ng compatible na PyTorch
CUDA 13.0 support: Buong suporta para sa pinakabagong NVIDIA driver kasama ang CUDA 13.0
Fixed permission issues: Nalutas ang venv permission error sa panahon ng installation
Better error visibility: Ang installation error ay maayos nang ipinapakita para sa mas madaling troubleshooting

Mga Kinakailangan ng System

Operating System

Ubuntu 22.04 LTS (Jammy) o mas bago
Ubuntu 24.04 LTS (Noble)
Ubuntu 24.10 (Oracular)
Debian 11 (Bullseye) o mas bago
Debian 12 (Bookworm)

Mga Kinakailangan sa Hardware

NVIDIA GPU: Compute Capability 7.0+ (V100, T4, A100, H100, RTX series)
AMD GPU: ROCm-compatible (MI100, MI200, MI300 series, Radeon Pro VII, W7900)
2MB libreng disk space (plus mga dependency)

Mga Kinakailangan sa Software

Python 3.10 o mas bago
Internet connection para sa paunang setup
Para sa NVIDIA: Anumang NVIDIA driver version (ang package ay driver-agnostic)
Para sa AMD: Anumang ROCm version (ang package ay driver-agnostic)
Paalala: Ang package ay HINDI mag-i-install o magbabago ng GPU driver

Installation

Option 1: Ubuntu PPA (Inirerekomenda para sa Ubuntu)

# Idagdag ang PPA repository (non-interactive)
sudo add-apt-repository ppa:cl-ax/gpu-validator -y
sudo apt update

# I-install ang GPU Agent (non-interactive)
sudo apt install cl-gpu-agent -y

Option 2: APT Repository (Debian/Ubuntu)

# Idagdag ang repository
echo 'deb [trusted=yes] https://storage.googleapis.com/gpu_validator/apt-repo stable main' | \
  sudo tee /etc/apt/sources.list.d/computelabs-gpu-agent.list

# I-update ang package list
sudo apt update

# I-install ang GPU Agent
sudo apt install cl-gpu-agent

Option 3: Manual Installation

Para sa mga system na hindi nakakatugon sa mga kinakailangan o nangangailangan ng custom configuration:

# I-clone ang repository
git clone https://github.com/compute-labs-dev/gpu_validator_monitor.git
cd gpu_validator_monitor

# Patakbuhin ang installation script
sudo ./scripts/install.sh

Mga Operation Mode

Ang GPU Validator ay sumusuporta ng apat na pangunahing operation mode:

1. Validate Mode

cl-gpu-agent --mode validate

Gumagawa ng:

Hardware specification verification
Memory integrity test
CUDA functionality check
Driver compatibility validation

2. Benchmark Mode

cl-gpu-agent --mode benchmark

Mga Test:

Memory bandwidth
CUDA core performance
Tensor core capabilities
PCIe throughput
Power efficiency

3. Monitor Mode (Default Service)

# Simulan ang monitoring service
sudo systemctl start cl-gpu-agent

# Paganahin ang automatic startup
sudo systemctl enable cl-gpu-agent

Sinusubaybayan:

Real-time temperature
Power consumption
Memory usage
GPU utilization
Error rate
Performance metric

4. Detect Mode

cl-gpu-agent --mode detect

Natutukoy at ipinapakita:

Available GPU
GPU model at specification
Driver version
CUDA/ROCm capabilities

Paggamit

Service Management

# Suriin ang service status
sudo systemctl status cl-gpu-agent

# Simulan ang service
sudo systemctl start cl-gpu-agent

# Ihinto ang service
sudo systemctl stop cl-gpu-agent

# Paganahin ang automatic startup
sudo systemctl enable cl-gpu-agent

# Tingnan ang real-time log
journalctl -u cl-gpu-agent -f

Direktang Paggamit ng Command

# Ipakita ang tulong at available na mga option
cl-gpu-agent --help

# Patakbuhin ang comprehensive validation
cl-gpu-agent --mode validate

# Patakbuhin ang performance benchmark
cl-gpu-agent --mode benchmark

# Patakbuhin ang monitoring (foreground)
cl-gpu-agent --mode monitor

Pag-unawa sa mga Resulta

Ang validator ay nagbibigay ng tatlong pangunahing metric:

Validation Status: PASS/FAIL para sa hardware spec
Performance Score: Inihambing sa reference benchmark
Health Indicator: Temperatura/power trend

Halimbawa ng matagumpay na output para sa NVIDIA GPU:

GPU 0 (NVIDIA H100 80GB HBM3):
- Validation: PASS
- Memory Bandwidth: 3.1 TB/s
- Temperature: 42°C (Max: 85°C)
- Power Draw: 119W/700W
- CUDA Cores: 100% functional
- Memory Test: PASS
- Driver Status: Optimal

Mga Suportadong GPU Model

NVIDIA GPU

Data Center: H100, H200
RTX 40 Series: RTX 4090, 4080
RTX 50 Series: RTX 5090, 5080

AMD GPU

Tested and Verified: MI300X
Ang iba pang ROCm-supported GPU ay maaaring gumana ngunit hindi pa nasusubok

Troubleshooting

Mga Karaniwang Isyu

Permission Denied sa Panahon ng Installation

Kung makikita mo ang [Errno 13] Permission denied sa panahon ng installation:

# Alisin ang lumang installation
sudo rm -rf /opt/cl-gpu-agent

# Muling i-install
sudo apt install --reinstall cl-gpu-agent

NVIDIA Driver Version Mismatch

Ang package ay hindi na nag-i-install o nagbabago ng GPU driver simula sa v3.1.3+. Kung mayroon kang driver issue:

# Suriin ang iyong kasalukuyang driver
nvidia-smi

# Ang package ay makikilala at gagamitin ang iyong kasalukuyang driver
# Walang pagbabago sa driver na gagawin

CUDA 13.0 o Mas Bagong Suporta

Kung mayroon kang CUDA 13.0 o mas bago (tulad ng driver 580.x):

Ang package ay awtomatikong makikilala nito
Ang PyTorch ay ii-install na may CUDA 12.4 support (backward compatible)
Ang iyong CUDA 13.0 driver ay perpektong gagana sa PyTorch cu124

Package Version ay Hindi Nag-a-update

Kung ang apt ay hindi nakakakuha ng pinakabagong bersyon:

# Linisin ang cache at puwersahing mag-update
sudo apt clean
sudo apt update

# Suriin ang available na mga bersyon
apt policy cl-gpu-agent

# Puwersahing muling i-install
sudo apt install --reinstall cl-gpu-agent

How is this guide?

GPU Monitor & Validator

Talaan ng mga Nilalaman