Chạy AI cục bộ bằng Jan, GPT4All: giao diện dễ dùng cho người mới

Chạy AI cục bộ nghĩa là mô hình trò chuyện hoạt động ngay trên máy tính của bạn, không cần gửi câu hỏi lên máy chủ bên ngoài. Jan và GPT4All là hai ứng dụng có giao diện giống khung chat quen thuộc, nên người mới không phải gõ lệnh.

Bài này giúp bạn hiểu hai ứng dụng khác nhau thế nào, máy cần gì, cài và dùng ra sao. Nếu bạn muốn thử công cụ thứ ba, xem thêm cách chạy AI ngay trên máy tính bằng LM Studio.

Jan và GPT4All khác nhau thế nào

Cả hai đều là ứng dụng cài trên máy, tải mô hình về rồi trò chuyện ngay trong cửa sổ ứng dụng. Điểm khác chính nằm ở cách thiết kế:

• Jan: giao diện giống ứng dụng chat hiện đại, dễ chuyển giữa mô hình tải về trên máy và kết nối dịch vụ bên ngoài nếu bạn muốn. Tên mục có thể đổi theo phiên bản.
• GPT4All: tập trung vào chạy hoàn toàn trên máy, có mục tải mô hình sẵn trong ứng dụng và tính năng để hỏi đáp trên tài liệu cá nhân (thường gọi là LocalDocs, tên có thể khác theo phiên bản).

Hai ứng dụng đều thay đổi nhanh. Hãy xem trang chính thức của dự án để biết tính năng mới nhất thay vì dựa vào bài viết cũ.

Máy cần cấu hình thế nào

Mô hình càng lớn thì càng cần nhiều bộ nhớ. Một ước lượng có điều kiện: mô hình cỡ 7-8 tỷ tham số đã lượng tử hóa 4-bit thường cần khoảng 5-6GB VRAM nếu chạy trên card đồ họa, tùy phần mềm và độ dài ngữ cảnh. Nếu không có card rời, ứng dụng có thể chạy bằng CPU và RAM, nhưng phản hồi sẽ chậm hơn.

Ngắn gọn:

• RAM: nên có từ 16GB trở lên cho trải nghiệm thoải mái. Máy 8GB chỉ nên thử mô hình nhỏ.
• Ổ cứng: mỗi mô hình thường chiếm vài GB tới hàng chục GB, nên chừa chỗ trống trên SSD.
• Card đồ họa: không bắt buộc nhưng có VRAM lớn sẽ giúp chạy nhanh hơn. Xem cách chọn card đồ họa để chạy AI trên máy.

Cài và dùng Jan

1. Mở trình duyệt, tìm trang chính thức của dự án Jan (gõ tên "Jan" kèm "AI" và chọn trang của dự án, không dùng trang tải lại của bên thứ ba).
2. Tải bản dành cho Windows rồi chạy file cài đặt. Nếu Windows hỏi quyền, chọn Yes (Có) sau khi chắc chắn file tải từ trang chính thức.
3. Mở Jan, vào mục quản lý mô hình (thường là Hub hoặc Models, tên có thể khác).
4. Chọn một mô hình nhỏ phù hợp với RAM của bạn, bấm Download (Tải xuống) và chờ tải xong.
5. Mở một cuộc trò chuyện mới, chọn mô hình đã tải ở khung chọn mô hình rồi gõ câu hỏi.

Nếu máy chậm, hãy thử mô hình nhỏ hơn thay vì cố chạy mô hình lớn.

Cài và dùng GPT4All

1. Vào trang chính thức của dự án GPT4All và tải bộ cài cho Windows.
2. Chạy file cài đặt, làm theo hướng dẫn. Chọn thư mục có đủ dung lượng trống để lưu mô hình.
3. Mở GPT4All, vào mục tải mô hình (thường là Models) và chọn mô hình gợi ý cho máy của bạn.
4. Bấm tải, chờ xong rồi mở cuộc trò chuyện mới.
5. Muốn hỏi đáp theo tài liệu riêng, tìm mục tài liệu cục bộ (thường là LocalDocs) và thêm thư mục chứa tài liệu của bạn. Tên mục có thể khác theo phiên bản.

Tài liệu cá nhân được xử lý trên máy bạn, nhưng bạn vẫn nên tránh để thông tin quá nhạy cảm trong thư mục đó nếu máy dùng chung.

An toàn khi tải mô hình

• Chỉ tải mô hình từ danh sách trong ứng dụng hoặc nguồn chính thức mà ứng dụng chỉ dẫn.
• Cẩn thận với file mô hình, tiện ích mở rộng hoặc "bản crack" từ trang lạ. Những file này có thể chứa mã độc.
• Không cài thêm công cụ "tăng tốc" không rõ nguồn gốc.
• Mô hình chạy cục bộ vẫn có thể trả lời sai. Hãy kiểm tra thông tin quan trọng, đặc biệt là số liệu, y tế và pháp lý.

Xem thêm cách dùng AI cục bộ xử lý tài liệu nội bộ để hiểu lợi ích về riêng tư khi dữ liệu không rời khỏi máy.

Khi nào nên dùng cục bộ, khi nào dùng AI trực tuyến

Chạy cục bộ hợp khi bạn muốn giữ tài liệu trên máy, dùng khi mạng yếu, hoặc muốn thử nghiệm không lo giới hạn lượt dùng của dịch vụ. Đổi lại, mô hình nhỏ chạy trên máy thường kém thông minh hơn các dịch vụ lớn và máy sẽ nóng, quạt kêu hơn khi trả lời.

Nếu chỉ cần hỏi đáp nhanh, viết email, tóm tắt, dịch vụ trực tuyến vẫn tiện hơn. Nhưng với văn bản nhạy cảm của doanh nghiệp, chạy cục bộ là lựa chọn đáng cân nhắc.

Nâng cấp máy để chạy AI mượt hơn

Muốn chạy tốt hơn, hai thứ đáng nâng cấp đầu tiên thường là RAM và card đồ họa có VRAM lớn. Với PC để bàn, bạn có thể dùng công cụ Build PC để kiểm tra linh kiện tương thích. Với laptop, RAM thường là giới hạn lớn nhất, nên cân nhắc cấu hình ngay từ lúc mua.

Cần hỗ trợ thêm?

Nếu máy bạn nóng, chậm hoặc cần nâng cấp RAM, SSD để thử AI cục bộ, bạn có thể mang tới cửa hàng để kiểm tra miễn phí tại dịch vụ sửa chữa hoặc gọi hotline 0943.847.333 để được tư vấn trước.