# GPU Monitor & Validator
> Professional-grade na tool para sa pagsubaybay at validation ng GPU
Source: https://help.computelabs.ai/fil/docs/gpu-monitor
Language: fil

> **Pinakabagong Bersyon**: 3.1.9

Ang GPU Monitor & Validator ay isang professional-grade na tool para sa pagsisiguro ng pinakamahusay na pagganap at kalusugan ng parehong NVIDIA at AMD GPU sa production environment.

## Pangkalahatang-ideya

Ang GPU Monitor & Validator ay nagbibigay ng:

- **Multi-vendor support**: NVIDIA (CUDA) at AMD (ROCm) GPU
- **Enhanced multi-GPU support**: Pinabuting authentication at validation para sa mga system na may maraming GPU
- Real-time performance monitoring
- Hardware validation laban sa manufacturer specification
- Komprehensibong benchmarking na may PyTorch stress test
- Automated anomaly detection
- Tuluy-tuloy na health monitoring
- Performance regression detection
- Thermal management validation
- Memory integrity verification
- Vendor-agnostic unified interface

### Ano ang Bago sa Bersyon 3.1.9

- **Driver-agnostic installation**: Ang package ay hindi na nakakagambala sa kasalukuyang NVIDIA/AMD driver
- **Dynamic PyTorch detection**: Awtomatikong nakikilala ang CUDA/ROCm version at nag-i-install ng compatible na PyTorch
- **CUDA 13.0 support**: Buong suporta para sa pinakabagong NVIDIA driver kasama ang CUDA 13.0
- **Fixed permission issues**: Nalutas ang venv permission error sa panahon ng installation
- **Better error visibility**: Ang installation error ay maayos nang ipinapakita para sa mas madaling troubleshooting

## Mga Kinakailangan ng System

### Operating System
- Ubuntu 22.04 LTS (Jammy) o mas bago
- Ubuntu 24.04 LTS (Noble)
- Ubuntu 24.10 (Oracular)
- Debian 11 (Bullseye) o mas bago
- Debian 12 (Bookworm)

### Mga Kinakailangan sa Hardware
- **NVIDIA GPU**: Compute Capability 7.0+ (V100, T4, A100, H100, RTX series)
- **AMD GPU**: ROCm-compatible (MI100, MI200, MI300 series, Radeon Pro VII, W7900)
- 2MB libreng disk space (plus mga dependency)

### Mga Kinakailangan sa Software
- Python 3.10 o mas bago
- Internet connection para sa paunang setup
- **Para sa NVIDIA**: Anumang NVIDIA driver version (ang package ay driver-agnostic)
- **Para sa AMD**: Anumang ROCm version (ang package ay driver-agnostic)
- **Paalala**: Ang package ay HINDI mag-i-install o magbabago ng GPU driver

## Installation

### Option 1: Ubuntu PPA (Inirerekomenda para sa Ubuntu)

```bash
# Idagdag ang PPA repository (non-interactive)
sudo add-apt-repository ppa:cl-ax/gpu-validator -y
sudo apt update

# I-install ang GPU Agent (non-interactive)
sudo apt install cl-gpu-agent -y
```

### Option 2: APT Repository (Debian/Ubuntu)

```bash
# Idagdag ang repository
echo 'deb [trusted=yes] https://storage.googleapis.com/gpu_validator/apt-repo stable main' | \
  sudo tee /etc/apt/sources.list.d/computelabs-gpu-agent.list

# I-update ang package list
sudo apt update

# I-install ang GPU Agent
sudo apt install cl-gpu-agent
```

### Option 3: Manual Installation

Para sa mga system na hindi nakakatugon sa mga kinakailangan o nangangailangan ng custom configuration:

```bash
# I-clone ang repository
git clone https://github.com/compute-labs-dev/gpu_validator_monitor.git
cd gpu_validator_monitor

# Patakbuhin ang installation script
sudo ./scripts/install.sh
```

## Mga Operation Mode

Ang GPU Validator ay sumusuporta ng apat na pangunahing operation mode:

### 1. Validate Mode

```bash
cl-gpu-agent --mode validate
```

Gumagawa ng:
- Hardware specification verification
- Memory integrity test
- CUDA functionality check
- Driver compatibility validation

### 2. Benchmark Mode

```bash
cl-gpu-agent --mode benchmark
```

Mga Test:
- Memory bandwidth
- CUDA core performance
- Tensor core capabilities
- PCIe throughput
- Power efficiency

### 3. Monitor Mode (Default Service)

```bash
# Simulan ang monitoring service
sudo systemctl start cl-gpu-agent

# Paganahin ang automatic startup
sudo systemctl enable cl-gpu-agent
```

Sinusubaybayan:
- Real-time temperature
- Power consumption
- Memory usage
- GPU utilization
- Error rate
- Performance metric

### 4. Detect Mode

```bash
cl-gpu-agent --mode detect
```

Natutukoy at ipinapakita:
- Available GPU
- GPU model at specification
- Driver version
- CUDA/ROCm capabilities

## Paggamit

### Service Management

```bash
# Suriin ang service status
sudo systemctl status cl-gpu-agent

# Simulan ang service
sudo systemctl start cl-gpu-agent

# Ihinto ang service
sudo systemctl stop cl-gpu-agent

# Paganahin ang automatic startup
sudo systemctl enable cl-gpu-agent

# Tingnan ang real-time log
journalctl -u cl-gpu-agent -f
```

### Direktang Paggamit ng Command

```bash
# Ipakita ang tulong at available na mga option
cl-gpu-agent --help

# Patakbuhin ang comprehensive validation
cl-gpu-agent --mode validate

# Patakbuhin ang performance benchmark
cl-gpu-agent --mode benchmark

# Patakbuhin ang monitoring (foreground)
cl-gpu-agent --mode monitor
```

## Pag-unawa sa mga Resulta

Ang validator ay nagbibigay ng tatlong pangunahing metric:

1. **Validation Status**: PASS/FAIL para sa hardware spec
2. **Performance Score**: Inihambing sa reference benchmark
3. **Health Indicator**: Temperatura/power trend

Halimbawa ng matagumpay na output para sa NVIDIA GPU:
```
GPU 0 (NVIDIA H100 80GB HBM3):
- Validation: PASS
- Memory Bandwidth: 3.1 TB/s
- Temperature: 42°C (Max: 85°C)
- Power Draw: 119W/700W
- CUDA Cores: 100% functional
- Memory Test: PASS
- Driver Status: Optimal
```

## Mga Suportadong GPU Model

### NVIDIA GPU
- **Data Center**: H100, H200
- **RTX 40 Series**: RTX 4090, 4080
- **RTX 50 Series**: RTX 5090, 5080

### AMD GPU
- **Tested and Verified**: MI300X
- Ang iba pang ROCm-supported GPU ay maaaring gumana ngunit hindi pa nasusubok

## Troubleshooting

### Mga Karaniwang Isyu

#### Permission Denied sa Panahon ng Installation
Kung makikita mo ang `[Errno 13] Permission denied` sa panahon ng installation:

```bash
# Alisin ang lumang installation
sudo rm -rf /opt/cl-gpu-agent

# Muling i-install
sudo apt install --reinstall cl-gpu-agent
```

#### NVIDIA Driver Version Mismatch
Ang package ay hindi na nag-i-install o nagbabago ng GPU driver simula sa v3.1.3+. Kung mayroon kang driver issue:

```bash
# Suriin ang iyong kasalukuyang driver
nvidia-smi

# Ang package ay makikilala at gagamitin ang iyong kasalukuyang driver
# Walang pagbabago sa driver na gagawin
```

#### CUDA 13.0 o Mas Bagong Suporta
Kung mayroon kang CUDA 13.0 o mas bago (tulad ng driver 580.x):
- Ang package ay awtomatikong makikilala nito
- Ang PyTorch ay ii-install na may CUDA 12.4 support (backward compatible)
- Ang iyong CUDA 13.0 driver ay perpektong gagana sa PyTorch cu124

#### Package Version ay Hindi Nag-a-update
Kung ang apt ay hindi nakakakuha ng pinakabagong bersyon:

```bash
# Linisin ang cache at puwersahing mag-update
sudo apt clean
sudo apt update

# Suriin ang available na mga bersyon
apt policy cl-gpu-agent

# Puwersahing muling i-install
sudo apt install --reinstall cl-gpu-agent
```