Lỗi CUDA out of memory khi chạy AI: cách xử lý

Thông báo "CUDA out of memory" khi chạy phần mềm AI nghĩa là card đồ họa NVIDIA của bạn không còn đủ VRAM (bộ nhớ riêng của card) để nạp thứ bạn đang bắt nó làm. Đây không phải lỗi hỏng phần cứng. Nó giống như bàn làm việc quá nhỏ so với đống tài liệu bạn muốn trải ra.

Hầu hết trường hợp xử lý được bằng cách giải phóng VRAM, giảm kích thước công việc (độ phân giải ảnh, mô hình nhỏ hơn, lượng tử hóa mạnh hơn), hoặc cập nhật phần mềm. Bài này đi từ cách làm an toàn, đơn giản đến nâng cao. Nếu cần hiểu bối cảnh, hãy xem VRAM card đồ họa bao nhiêu GB là đủ.

Hiểu lỗi trước khi sửa

Khi chạy AI, VRAM phải chứa mô hình, dữ liệu đang xử lý (ảnh, văn bản) và bộ nhớ tạm. Lỗi xuất hiện khi tổng nhu cầu lớn hơn VRAM còn trống. Các nguyên nhân thường gặp:

• Mô hình quá lớn so với VRAM của card.
• Độ phân giải ảnh, số ảnh tạo cùng lúc hoặc kích thước batch quá cao.
• Ngữ cảnh quá dài khi chạy mô hình ngôn ngữ.
• Ứng dụng khác (trình duyệt, game, phần mềm khác) đang chiếm VRAM.
• Lần chạy trước chưa giải phóng bộ nhớ.

Bước 1: Kiểm tra VRAM đang dùng

1. Nhấn Ctrl + Shift + Esc để mở Task Manager (Trình quản lý tác vụ).
2. Chọn tab Performance (Hiệu suất) rồi bấm GPU.
3. Xem Dedicated GPU memory (Bộ nhớ GPU chuyên dụng): cột trên cho biết đang dùng bao nhiêu trên tổng bao nhiêu.
4. Bấm sang tab Processes (Tiến trình), chuột phải lên tiêu đề cột và bật cột GPU memory nếu có, để biết ứng dụng nào đang ngốn VRAM.

Nếu bạn quen dòng lệnh, có thể mở Terminal và chạy lệnh dưới đây, lệnh này đi kèm driver NVIDIA và chỉ để xem thông tin:

nvidia-smi

Bảng kết quả cho thấy VRAM đã dùng và tiến trình đang chiếm.

Bước 2: Giải phóng VRAM

1. Đóng các ứng dụng không cần thiết, nhất là game, phần mềm dựng video, trình duyệt có nhiều tab video.
2. Nếu bạn đã chạy AI trước đó, đóng hẳn phần mềm AI rồi mở lại để nó giải phóng bộ nhớ.
3. Khởi động lại máy nếu VRAM vẫn bị chiếm mà không biết do đâu.
4. Nếu máy có card tích hợp, có thể chuyển hiển thị màn hình sang card tích hợp để dành trọn VRAM card rời cho AI (tùy máy và cấu hình).

Bước 3: Giảm tải cho công việc

Tên tùy chọn có thể khác theo từng phần mềm, nhưng nguyên tắc chung như sau.

Khi tạo ảnh

• Giảm độ phân giải ảnh tạo ra, rồi phóng to bằng công cụ khác sau.
• Giảm số ảnh tạo cùng lúc (batch size) xuống 1.
• Dùng tùy chọn tiết kiệm bộ nhớ nếu phần mềm có (thường gọi là chế độ VRAM thấp).
• Dùng mô hình nhỏ hơn hoặc ít tiện ích bổ sung hơn.

Khi chạy mô hình ngôn ngữ

• Chọn mô hình nhỏ hơn hoặc phiên bản lượng tử hóa mạnh hơn (ví dụ 4-bit thay vì mức cao hơn).
• Giảm độ dài ngữ cảnh (context length).
• Trong các phần mềm cho phép chia mô hình giữa card đồ họa và CPU, giảm số lớp nạp lên card; mô hình chạy chậm hơn nhưng không bị tràn.

Ước lượng để bạn đối chiếu: mô hình 7-8B lượng tử hóa 4-bit thường cần khoảng 5-6GB VRAM, mô hình 14B cần khoảng 9-10GB, tùy phần mềm và ngữ cảnh. Xem thêm chọn card đồ họa để chạy AI trên máy.

Bước 4: Cập nhật driver và phần mềm

1. Cập nhật driver card NVIDIA từ trang chính thức hoặc ứng dụng của NVIDIA. Hướng dẫn chi tiết ở cách cập nhật driver card đồ họa NVIDIA, AMD.
2. Cập nhật phần mềm AI lên bản mới nhất từ trang chính thức của dự án.
3. Đọc ghi chú phiên bản hoặc trang hỗ trợ xem lỗi này có hướng xử lý riêng không.

Bước 5: Kiểm tra dấu hiệu bất thường

Nếu lỗi này xuất hiện cả khi chạy tác vụ nhỏ, hoặc máy kèm các dấu hiệu sau thì có thể không chỉ là thiếu VRAM:

• Màn hình nhấp nháy, vệt lạ, artifact khi chạy AI hoặc game.
• Máy tự khởi động lại hoặc màn hình xanh khi tải nặng.
• Quạt card kêu to bất thường, nhiệt độ rất cao.
• Card không hiện đủ dung lượng trong Task Manager.

Trong các trường hợp này, đừng tự tháo máy nếu bạn không quen. Hãy mang máy tới kỹ thuật viên để kiểm tra card, nguồn và tản nhiệt. Bạn có thể xem thêm cách theo dõi nhiệt độ và hiệu năng máy tính.

Khi nào nên nâng cấp card

Nếu công việc thường xuyên vượt VRAM dù đã giảm tải hợp lý, bạn nên cân nhắc card nhiều VRAM hơn. VRAM thường quan trọng hơn tốc độ với AI. Trước khi mua, hãy kiểm tra nguồn, kích thước case và phần mềm AI bạn dùng có hỗ trợ card đó không. Xem có nên mua card đồ họa tự chạy AI thay vì trả phí dịch vụ để cân nhắc nhu cầu.

Cần hỗ trợ thêm?

Nếu bạn nghi ngờ card hoặc nguồn có vấn đề, hãy mang máy tới Cường Tech, bên mình kiểm tra miễn phí và báo giá trước khi sửa. Cần tư vấn nâng cấp card, gọi 0943.847.333.