# Giám Sát & Xác Thực GPU
> Công cụ giám sát và xác thực GPU cấp chuyên nghiệp
Source: https://help.computelabs.ai/vi/docs/gpu-monitor
Language: vi

> **Phiên Bản Mới Nhất**: 3.1.9

Giám Sát & Xác Thực GPU là công cụ cấp chuyên nghiệp để đảm bảo hiệu suất và sức khỏe tối ưu của cả GPU NVIDIA và AMD trong môi trường sản xuất.

## Tổng Quan

Giám Sát & Xác Thực GPU cung cấp:

- **Hỗ trợ đa nhà cung cấp**: GPU NVIDIA (CUDA) và AMD (ROCm)
- **Hỗ trợ đa GPU nâng cao**: Cải thiện xác thực và xác thực cho hệ thống có nhiều GPU
- Giám sát hiệu suất thời gian thực
- Xác thực phần cứng theo thông số nhà sản xuất
- Đánh giá hiệu suất toàn diện với các bài kiểm tra căng thẳng PyTorch
- Phát hiện bất thường tự động
- Giám sát sức khỏe liên tục
- Phát hiện suy giảm hiệu suất
- Xác thực quản lý nhiệt
- Xác minh toàn vẹn bộ nhớ
- Giao diện thống nhất không phụ thuộc nhà cung cấp

### Có Gì Mới Trong Phiên Bản 3.1.9

- **Cài đặt không phụ thuộc driver**: Gói không còn can thiệp vào driver NVIDIA/AMD hiện có
- **Phát hiện PyTorch động**: Tự động phát hiện phiên bản CUDA/ROCm và cài đặt PyTorch tương thích
- **Hỗ trợ CUDA 13.0**: Hỗ trợ đầy đủ cho driver NVIDIA mới nhất bao gồm CUDA 13.0
- **Sửa lỗi quyền**: Đã giải quyết lỗi quyền venv trong quá trình cài đặt
- **Hiển thị lỗi tốt hơn**: Lỗi cài đặt giờ được hiển thị đúng cách để khắc phục sự cố dễ dàng hơn

## Yêu Cầu Hệ Thống

### Hệ Điều Hành
- Ubuntu 22.04 LTS (Jammy) hoặc mới hơn
- Ubuntu 24.04 LTS (Noble)
- Ubuntu 24.10 (Oracular)
- Debian 11 (Bullseye) hoặc mới hơn
- Debian 12 (Bookworm)

### Yêu Cầu Phần Cứng
- **GPU NVIDIA**: Compute Capability 7.0+ (V100, T4, A100, H100, dòng RTX)
- **GPU AMD**: Tương thích ROCm (dòng MI100, MI200, MI300, Radeon Pro VII, W7900)
- 2MB dung lượng đĩa trống (cộng phụ thuộc)

### Yêu Cầu Phần Mềm
- Python 3.10 hoặc mới hơn
- Kết nối Internet để thiết lập ban đầu
- **Cho NVIDIA**: Bất kỳ phiên bản driver NVIDIA nào (gói không phụ thuộc driver)
- **Cho AMD**: Bất kỳ phiên bản ROCm nào (gói không phụ thuộc driver)
- **Lưu ý**: Gói sẽ KHÔNG cài đặt hoặc sửa đổi driver GPU

## Cài Đặt

### Tùy Chọn 1: Ubuntu PPA (Khuyến nghị cho Ubuntu)

```bash
# Thêm kho PPA (không tương tác)
sudo add-apt-repository ppa:cl-ax/gpu-validator -y
sudo apt update

# Cài đặt GPU Agent (không tương tác)
sudo apt install cl-gpu-agent -y
```

### Tùy Chọn 2: Kho APT (Debian/Ubuntu)

```bash
# Thêm kho
echo 'deb [trusted=yes] https://storage.googleapis.com/gpu_validator/apt-repo stable main' | \
  sudo tee /etc/apt/sources.list.d/computelabs-gpu-agent.list

# Cập nhật danh sách gói
sudo apt update

# Cài đặt GPU Agent
sudo apt install cl-gpu-agent
```

### Tùy Chọn 3: Cài Đặt Thủ Công

Cho các hệ thống không đáp ứng yêu cầu hoặc cần cấu hình tùy chỉnh:

```bash
# Clone repository
git clone https://github.com/compute-labs-dev/gpu_validator_monitor.git
cd gpu_validator_monitor

# Chạy script cài đặt
sudo ./scripts/install.sh
```

## Chế Độ Hoạt Động

GPU Validator hỗ trợ bốn chế độ hoạt động chính:

### 1. Chế Độ Xác Thực

```bash
cl-gpu-agent --mode validate
```

Thực hiện:
- Xác minh thông số phần cứng
- Kiểm tra toàn vẹn bộ nhớ
- Kiểm tra chức năng CUDA
- Xác thực tương thích driver

### 2. Chế Độ Đánh Giá

```bash
cl-gpu-agent --mode benchmark
```

Kiểm tra:
- Băng thông bộ nhớ
- Hiệu suất lõi CUDA
- Khả năng lõi Tensor
- Thông lượng PCIe
- Hiệu suất năng lượng

### 3. Chế Độ Giám Sát (Dịch Vụ Mặc Định)

```bash
# Khởi động dịch vụ giám sát
sudo systemctl start cl-gpu-agent

# Bật khởi động tự động
sudo systemctl enable cl-gpu-agent
```

Theo dõi:
- Nhiệt độ thời gian thực
- Tiêu thụ năng lượng
- Sử dụng bộ nhớ
- Mức sử dụng GPU
- Tỷ lệ lỗi
- Chỉ số hiệu suất

### 4. Chế Độ Phát Hiện

```bash
cl-gpu-agent --mode detect
```

Phát hiện và hiển thị:
- GPU có sẵn
- Mô hình GPU và thông số
- Phiên bản driver
- Khả năng CUDA/ROCm

## Sử Dụng

### Quản Lý Dịch Vụ

```bash
# Kiểm tra trạng thái dịch vụ
sudo systemctl status cl-gpu-agent

# Khởi động dịch vụ
sudo systemctl start cl-gpu-agent

# Dừng dịch vụ
sudo systemctl stop cl-gpu-agent

# Bật khởi động tự động
sudo systemctl enable cl-gpu-agent

# Xem nhật ký thời gian thực
journalctl -u cl-gpu-agent -f
```

### Sử Dụng Lệnh Trực Tiếp

```bash
# Hiển thị trợ giúp và các tùy chọn có sẵn
cl-gpu-agent --help

# Chạy xác thực toàn diện
cl-gpu-agent --mode validate

# Chạy đánh giá hiệu suất
cl-gpu-agent --mode benchmark

# Chạy giám sát (foreground)
cl-gpu-agent --mode monitor
```

## Hiểu Kết Quả

Validator cung cấp ba chỉ số chính:

1. **Trạng Thái Xác Thực**: PASS/FAIL cho thông số phần cứng
2. **Điểm Hiệu Suất**: So sánh với đánh giá tham chiếu
3. **Chỉ Số Sức Khỏe**: Xu hướng nhiệt độ/năng lượng

Ví dụ đầu ra thành công cho GPU NVIDIA:
```
GPU 0 (NVIDIA H100 80GB HBM3):
- Validation: PASS
- Memory Bandwidth: 3.1 TB/s
- Temperature: 42°C (Max: 85°C)
- Power Draw: 119W/700W
- CUDA Cores: 100% functional
- Memory Test: PASS
- Driver Status: Optimal
```

## Mô Hình GPU Được Hỗ Trợ

### GPU NVIDIA
- **Trung Tâm Dữ Liệu**: H100, H200
- **Dòng RTX 40**: RTX 4090, 4080
- **Dòng RTX 50**: RTX 5090, 5080

### GPU AMD
- **Đã Kiểm Tra và Xác Minh**: MI300X
- Các GPU hỗ trợ ROCm khác có thể hoạt động nhưng chưa được kiểm tra

## Khắc Phục Sự Cố

### Vấn Đề Phổ Biến

#### Từ Chối Quyền Trong Quá Trình Cài Đặt
Nếu bạn thấy `[Errno 13] Permission denied` trong quá trình cài đặt:

```bash
# Xóa cài đặt cũ
sudo rm -rf /opt/cl-gpu-agent

# Cài đặt lại
sudo apt install --reinstall cl-gpu-agent
```

#### Không Khớp Phiên Bản Driver NVIDIA
Gói không còn cài đặt hoặc sửa đổi driver GPU kể từ v3.1.3+. Nếu bạn có vấn đề driver:

```bash
# Kiểm tra driver hiện tại của bạn
nvidia-smi

# Gói sẽ phát hiện và sử dụng driver hiện có của bạn
# Không có thay đổi driver nào sẽ được thực hiện
```

#### Hỗ Trợ CUDA 13.0 hoặc Mới Hơn
Nếu bạn có CUDA 13.0 hoặc mới hơn (như driver 580.x):
- Gói sẽ tự động phát hiện điều này
- PyTorch sẽ được cài đặt với hỗ trợ CUDA 12.4 (tương thích ngược)
- Driver CUDA 13.0 của bạn sẽ hoạt động hoàn hảo với PyTorch cu124

#### Phiên Bản Gói Không Cập Nhật
Nếu apt không nhận được phiên bản mới nhất:

```bash
# Xóa cache và cập nhật bắt buộc
sudo apt clean
sudo apt update

# Kiểm tra các phiên bản có sẵn
apt policy cl-gpu-agent

# Cài đặt lại bắt buộc
sudo apt install --reinstall cl-gpu-agent
```