Cách chạy AI ngay trên máy tính bằng LM Studio, Ollama

Không phải lúc nào bạn cũng muốn gửi câu hỏi lên máy chủ của người khác. Chạy AI cục bộ nghĩa là mô hình ngôn ngữ chạy ngay trên máy tính của bạn: dữ liệu không phải gửi đi đâu, dùng được khi không có mạng và không phụ thuộc gói đăng ký. Hai công cụ phổ biến cho việc này là LM Studio (giao diện đồ họa, dễ cho người mới) và Ollama (chạy qua dòng lệnh, gọn nhẹ).

Đổi lại, bạn cần cấu hình đủ mạnh và chấp nhận mô hình nhỏ thường kém thông minh hơn các dịch vụ lớn trên đám mây. AI chạy cục bộ vẫn có thể trả lời sai, nên cần kiểm tra lại thông tin quan trọng.

Máy cần cấu hình thế nào?

Hai yếu tố quyết định là RAM và bộ nhớ card đồ họa (VRAM).

• Mô hình càng nhiều "tham số" (ví dụ 3B, 7B, 13B) thì càng nặng. Bản đã nén (lượng tử hóa 4-bit) của mô hình cỡ 7B thường cần vài GB bộ nhớ.
• Có card NVIDIA với VRAM đủ giúp chạy nhanh hơn rõ rệt. Không có card rời, mô hình vẫn chạy bằng CPU nhưng chậm hơn.
• RAM nên từ 16GB trở lên cho trải nghiệm thoải mái. Máy 8GB chỉ nên thử mô hình rất nhỏ.
• Cần dung lượng ổ cứng trống vì mỗi mô hình có thể từ vài GB đến hàng chục GB.

Con số chính xác phụ thuộc từng mô hình và cách nén, bạn nên đọc thông tin trên trang mô hình trước khi tải. Xem thêm VRAM card đồ họa bao nhiêu GB là đủ và cấu hình PC chạy AI, Stable Diffusion tại nhà.

Cách 1: LM Studio (dễ dùng cho người mới)

1. Tải LM Studio từ trang chủ chính thức của sản phẩm. Không tải từ nguồn lạ. Xem tải và cài phần mềm an toàn.
2. Chạy file cài đặt, làm theo hướng dẫn, mở LM Studio.
3. Vào mục Discover (Khám phá) hoặc biểu tượng tìm kiếm.
4. Tìm một mô hình nhỏ phù hợp (ví dụ mô hình cỡ vài tỷ tham số). Ứng dụng thường gợi ý mô hình phù hợp với cấu hình máy của bạn.
5. Chọn bản nén (quantization) nhẹ hơn nếu máy yếu, bấm Download (Tải xuống).
6. Khi tải xong, vào mục Chat, chọn mô hình đã tải để Load (Nạp).
7. Gõ câu hỏi và bắt đầu trò chuyện.

LM Studio cho phép điều chỉnh một số tham số như độ dài trả lời hay mức độ sáng tạo. Bạn nên giữ mặc định lúc đầu.

Cách 2: Ollama (gọn nhẹ, dùng dòng lệnh)

1. Tải Ollama từ trang chính thức, cài đặt theo hướng dẫn.
2. Mở Windows Terminal hoặc PowerShell (gõ "Terminal" vào Start).
3. Chạy lệnh tải và chạy mô hình: ollama run TÊN_MÔ_HÌNH. Tên mô hình lấy từ thư viện mô hình chính thức của Ollama (tên thay đổi theo thời gian).
4. Lần đầu, Ollama tự tải mô hình, bạn chờ xong rồi gõ câu hỏi trực tiếp trong cửa sổ.
5. Gõ /bye để thoát cuộc trò chuyện.
6. Dùng ollama list để xem mô hình đã tải và ollama rm TÊN_MÔ_HÌNH để xóa mô hình khi muốn giải phóng dung lượng.

Ollama cũng có thể chạy như dịch vụ nền để các ứng dụng khác kết nối vào. Đó là tính năng nâng cao, bạn chỉ nên dùng khi hiểu rõ về mạng và bảo mật.

Chọn LM Studio hay Ollama?

• Chọn LM Studio nếu bạn thích giao diện trực quan, muốn thử nhiều mô hình mà không đụng đến dòng lệnh.
• Chọn Ollama nếu bạn quen dòng lệnh, muốn nhẹ và dễ tích hợp với các công cụ khác.
• Bạn hoàn toàn có thể thử cả hai.

Mẹo tăng tốc và tiết kiệm tài nguyên

1. Chọn mô hình vừa sức: mô hình nhỏ chạy mượt còn hơn mô hình lớn giật lag.
2. Đóng ứng dụng nặng (trình duyệt nhiều tab, game) khi chạy AI.
3. Dùng bản nén 4-bit để tiết kiệm bộ nhớ.
4. Cập nhật driver card đồ họa. Xem cập nhật driver card đồ họa NVIDIA, AMD.
5. Để mô hình trên SSD thay vì ổ HDD để nạp nhanh hơn.
6. Theo dõi nhiệt độ. Máy chạy AI lâu có thể nóng, hãy chú ý thông gió.

Nếu máy hay đầy RAM, bạn tham khảo PC cần RAM bao nhiêu GB là đủ và RAM 16GB hay 32GB.

Nâng cấp máy để chạy AI tốt hơn

Nếu bạn thấy AI cục bộ chậm, ưu tiên theo thứ tự:

• Card đồ họa có nhiều VRAM (ví dụ dòng RTX có 12GB trở lên) giúp chạy mô hình lớn hơn. Cường Tech có các mẫu như Card màn hình MSI RTX 4060 Ti Ventus 2X Black 8GB hoặc Gigabyte RTX 4070 Super Windforce OC 12GB, hỏi cửa hàng về tồn kho và giá hiện tại.
• RAM: tăng lên 32GB với các mẫu như RAM G.Skill Trident Z5 RGB 32GB DDR5 6000.
• SSD dung lượng lớn để chứa nhiều mô hình, ví dụ SSD Samsung 990 EVO Plus 1TB.

Hãy dùng công cụ Build PC để kiểm tra tương thích linh kiện trước khi nâng cấp.

Lưu ý về chất lượng và an toàn

• Mô hình cục bộ nhỏ có thể bịa thông tin hoặc trả lời sai nhiều hơn mô hình lớn. Hãy kiểm tra lại nội dung quan trọng.
• Dữ liệu không rời khỏi máy khi bạn chạy cục bộ, nhưng vẫn nên bảo vệ máy bằng mật khẩu và mã hóa. Xem những thông tin không nên đưa vào ChatGPT và AI để biết cách xử lý dữ liệu nhạy cảm nói chung.
• Mỗi mô hình có giấy phép sử dụng riêng, hãy đọc trước khi dùng cho mục đích thương mại.

Cần hỗ trợ thêm?

Nếu bạn muốn nâng cấp máy để chạy AI cục bộ mượt hơn, hãy ghé Cường Tech để được tư vấn cấu hình, hỗ trợ trả góp hoặc thu mua máy cũ để đổi mới. Nhắn Zalo 0943.847.333 để được hỗ trợ.