Giám Sát & Xác Thực GPU

Phiên Bản Mới Nhất: 3.1.9

Giám Sát & Xác Thực GPU là công cụ cấp chuyên nghiệp để đảm bảo hiệu suất và sức khỏe tối ưu của cả GPU NVIDIA và AMD trong môi trường sản xuất.

Tổng Quan

Giám Sát & Xác Thực GPU cung cấp:

Hỗ trợ đa nhà cung cấp: GPU NVIDIA (CUDA) và AMD (ROCm)
Hỗ trợ đa GPU nâng cao: Cải thiện xác thực và xác thực cho hệ thống có nhiều GPU
Giám sát hiệu suất thời gian thực
Xác thực phần cứng theo thông số nhà sản xuất
Đánh giá hiệu suất toàn diện với các bài kiểm tra căng thẳng PyTorch
Phát hiện bất thường tự động
Giám sát sức khỏe liên tục
Phát hiện suy giảm hiệu suất
Xác thực quản lý nhiệt
Xác minh toàn vẹn bộ nhớ
Giao diện thống nhất không phụ thuộc nhà cung cấp

Có Gì Mới Trong Phiên Bản 3.1.9

Cài đặt không phụ thuộc driver: Gói không còn can thiệp vào driver NVIDIA/AMD hiện có
Phát hiện PyTorch động: Tự động phát hiện phiên bản CUDA/ROCm và cài đặt PyTorch tương thích
Hỗ trợ CUDA 13.0: Hỗ trợ đầy đủ cho driver NVIDIA mới nhất bao gồm CUDA 13.0
Sửa lỗi quyền: Đã giải quyết lỗi quyền venv trong quá trình cài đặt
Hiển thị lỗi tốt hơn: Lỗi cài đặt giờ được hiển thị đúng cách để khắc phục sự cố dễ dàng hơn

Yêu Cầu Hệ Thống

Hệ Điều Hành

Ubuntu 22.04 LTS (Jammy) hoặc mới hơn
Ubuntu 24.04 LTS (Noble)
Ubuntu 24.10 (Oracular)
Debian 11 (Bullseye) hoặc mới hơn
Debian 12 (Bookworm)

Yêu Cầu Phần Cứng

GPU NVIDIA: Compute Capability 7.0+ (V100, T4, A100, H100, dòng RTX)
GPU AMD: Tương thích ROCm (dòng MI100, MI200, MI300, Radeon Pro VII, W7900)
2MB dung lượng đĩa trống (cộng phụ thuộc)

Yêu Cầu Phần Mềm

Python 3.10 hoặc mới hơn
Kết nối Internet để thiết lập ban đầu
Cho NVIDIA: Bất kỳ phiên bản driver NVIDIA nào (gói không phụ thuộc driver)
Cho AMD: Bất kỳ phiên bản ROCm nào (gói không phụ thuộc driver)
Lưu ý: Gói sẽ KHÔNG cài đặt hoặc sửa đổi driver GPU

Cài Đặt

Tùy Chọn 1: Ubuntu PPA (Khuyến nghị cho Ubuntu)

# Thêm kho PPA (không tương tác)
sudo add-apt-repository ppa:cl-ax/gpu-validator -y
sudo apt update

# Cài đặt GPU Agent (không tương tác)
sudo apt install cl-gpu-agent -y

Tùy Chọn 2: Kho APT (Debian/Ubuntu)

# Thêm kho
echo 'deb [trusted=yes] https://storage.googleapis.com/gpu_validator/apt-repo stable main' | \
  sudo tee /etc/apt/sources.list.d/computelabs-gpu-agent.list

# Cập nhật danh sách gói
sudo apt update

# Cài đặt GPU Agent
sudo apt install cl-gpu-agent

Tùy Chọn 3: Cài Đặt Thủ Công

Cho các hệ thống không đáp ứng yêu cầu hoặc cần cấu hình tùy chỉnh:

# Clone repository
git clone https://github.com/compute-labs-dev/gpu_validator_monitor.git
cd gpu_validator_monitor

# Chạy script cài đặt
sudo ./scripts/install.sh

Chế Độ Hoạt Động

GPU Validator hỗ trợ bốn chế độ hoạt động chính:

1. Chế Độ Xác Thực

cl-gpu-agent --mode validate

Thực hiện:

Xác minh thông số phần cứng
Kiểm tra toàn vẹn bộ nhớ
Kiểm tra chức năng CUDA
Xác thực tương thích driver

2. Chế Độ Đánh Giá

cl-gpu-agent --mode benchmark

Kiểm tra:

Băng thông bộ nhớ
Hiệu suất lõi CUDA
Khả năng lõi Tensor
Thông lượng PCIe
Hiệu suất năng lượng

3. Chế Độ Giám Sát (Dịch Vụ Mặc Định)

# Khởi động dịch vụ giám sát
sudo systemctl start cl-gpu-agent

# Bật khởi động tự động
sudo systemctl enable cl-gpu-agent

Theo dõi:

Nhiệt độ thời gian thực
Tiêu thụ năng lượng
Sử dụng bộ nhớ
Mức sử dụng GPU
Tỷ lệ lỗi
Chỉ số hiệu suất

4. Chế Độ Phát Hiện

cl-gpu-agent --mode detect

Phát hiện và hiển thị:

GPU có sẵn
Mô hình GPU và thông số
Phiên bản driver
Khả năng CUDA/ROCm

Sử Dụng

Quản Lý Dịch Vụ

# Kiểm tra trạng thái dịch vụ
sudo systemctl status cl-gpu-agent

# Khởi động dịch vụ
sudo systemctl start cl-gpu-agent

# Dừng dịch vụ
sudo systemctl stop cl-gpu-agent

# Bật khởi động tự động
sudo systemctl enable cl-gpu-agent

# Xem nhật ký thời gian thực
journalctl -u cl-gpu-agent -f

Sử Dụng Lệnh Trực Tiếp

# Hiển thị trợ giúp và các tùy chọn có sẵn
cl-gpu-agent --help

# Chạy xác thực toàn diện
cl-gpu-agent --mode validate

# Chạy đánh giá hiệu suất
cl-gpu-agent --mode benchmark

# Chạy giám sát (foreground)
cl-gpu-agent --mode monitor

Hiểu Kết Quả

Validator cung cấp ba chỉ số chính:

Trạng Thái Xác Thực: PASS/FAIL cho thông số phần cứng
Điểm Hiệu Suất: So sánh với đánh giá tham chiếu
Chỉ Số Sức Khỏe: Xu hướng nhiệt độ/năng lượng

Ví dụ đầu ra thành công cho GPU NVIDIA:

GPU 0 (NVIDIA H100 80GB HBM3):
- Validation: PASS
- Memory Bandwidth: 3.1 TB/s
- Temperature: 42°C (Max: 85°C)
- Power Draw: 119W/700W
- CUDA Cores: 100% functional
- Memory Test: PASS
- Driver Status: Optimal

Mô Hình GPU Được Hỗ Trợ

GPU NVIDIA

Trung Tâm Dữ Liệu: H100, H200
Dòng RTX 40: RTX 4090, 4080
Dòng RTX 50: RTX 5090, 5080

GPU AMD

Đã Kiểm Tra và Xác Minh: MI300X
Các GPU hỗ trợ ROCm khác có thể hoạt động nhưng chưa được kiểm tra

Khắc Phục Sự Cố

Vấn Đề Phổ Biến

Từ Chối Quyền Trong Quá Trình Cài Đặt

Nếu bạn thấy [Errno 13] Permission denied trong quá trình cài đặt:

# Xóa cài đặt cũ
sudo rm -rf /opt/cl-gpu-agent

# Cài đặt lại
sudo apt install --reinstall cl-gpu-agent

Không Khớp Phiên Bản Driver NVIDIA

Gói không còn cài đặt hoặc sửa đổi driver GPU kể từ v3.1.3+. Nếu bạn có vấn đề driver:

# Kiểm tra driver hiện tại của bạn
nvidia-smi

# Gói sẽ phát hiện và sử dụng driver hiện có của bạn
# Không có thay đổi driver nào sẽ được thực hiện

Hỗ Trợ CUDA 13.0 hoặc Mới Hơn

Nếu bạn có CUDA 13.0 hoặc mới hơn (như driver 580.x):

Gói sẽ tự động phát hiện điều này
PyTorch sẽ được cài đặt với hỗ trợ CUDA 12.4 (tương thích ngược)
Driver CUDA 13.0 của bạn sẽ hoạt động hoàn hảo với PyTorch cu124

Phiên Bản Gói Không Cập Nhật

Nếu apt không nhận được phiên bản mới nhất:

# Xóa cache và cập nhật bắt buộc
sudo apt clean
sudo apt update

# Kiểm tra các phiên bản có sẵn
apt policy cl-gpu-agent

# Cài đặt lại bắt buộc
sudo apt install --reinstall cl-gpu-agent

How is this guide?

Giám Sát & Xác Thực GPU

Mục lục