Build PC làm máy chủ AI hỏi đáp tài liệu nội bộ cho văn phòng nhỏ

Văn phòng nhỏ có nhiều tài liệu nội bộ như quy trình, hợp đồng mẫu, báo giá, hướng dẫn. Nhiều người muốn hỏi AI trên chính dữ liệu đó nhưng không muốn đưa lên dịch vụ công cộng. Giải pháp là một máy chủ AI chạy cục bộ trong văn phòng: tài liệu nằm trên máy của bạn, mô hình chạy bằng card đồ họa, nhân viên truy cập qua mạng nội bộ.

Bài này nêu cách chọn cấu hình và hai bản build dùng linh kiện có trong catalog. Cần nói trước: đây là hướng dẫn chọn phần cứng, còn phần mềm triển khai (công cụ chạy mô hình, công cụ hỏi đáp tài liệu) cần kỹ thuật viên IT thiết lập; tên lệnh và menu thay đổi theo phiên bản.

Máy chủ AI hỏi đáp tài liệu cần gì?

Hỏi đáp tài liệu thường gồm hai phần: mô hình ngôn ngữ trả lời và bộ tìm kiếm tài liệu liên quan. Phần nặng nhất là mô hình, nên bộ nhớ card đồ họa (VRAM) quyết định bạn chạy được mô hình cỡ nào.

• VRAM: ước lượng thường gặp, mô hình cỡ 7 đến 8 tỷ tham số lượng tử hóa 4-bit cần khoảng 5 đến 6GB VRAM; mô hình lớn hơn cần nhiều hơn. Con số phụ thuộc phần mềm và độ dài ngữ cảnh. Càng nhiều VRAM càng có chỗ cho ngữ cảnh dài và mô hình lớn.
• RAM hệ thống: 32GB là mức thoải mái cho máy chủ vừa chạy mô hình vừa xử lý tài liệu.
• SSD: chứa mô hình, tài liệu và chỉ mục tìm kiếm, nên chọn NVMe 1TB trở lên.
• Nguồn: card chạy liên tục nhiều giờ, nên dư công suất để ổn định. Xem chọn nguồn máy tính cho card đồ họa chạy AI liên tục.
• Tản nhiệt và case: máy chạy nhiều giờ cần luồng gió tốt.

Chưa rõ VRAM bao nhiêu là đủ? Xem VRAM card đồ họa bao nhiêu GB là đủ.

Cấu hình 1: Vừa phải, tập trung vào VRAM 16GB

Cấu hình này dùng card RTX 5060 Ti 16GB, đủ để chạy các mô hình cỡ vừa phải cho nhu cầu hỏi đáp tài liệu của vài người dùng. Ryzen 5 7500F không có đồ họa tích hợp nên đã có card rời. RAM DDR5 16GB là mức tối thiểu, có thể nâng lên sau. Tổng tầm 39 đến 41 triệu.

Cấu hình 2: Thoải mái hơn, RAM 32GB

Dùng Ryzen 7 7700, RAM 32GB và nguồn 750W, phù hợp khi văn phòng có nhiều tài liệu và nhiều người cùng hỏi. Vẫn dùng card 16GB VRAM, nên giới hạn mô hình lớn vẫn còn. Tổng tầm 54 đến 56 triệu.

Các bước triển khai gợi ý

1. Lắp máy và cài Windows hoặc hệ điều hành bạn quen, cập nhật driver card đồ họa từ trang chính thức của hãng.
2. Cài phần mềm chạy mô hình chạy cục bộ từ trang chính thức của dự án (ví dụ các công cụ như Ollama hay LM Studio). Xem chạy AI ngay trên máy tính bằng LM Studio.
3. Chỉ tải mô hình từ nguồn chính thức, tránh file lạ.
4. Thiết lập công cụ hỏi đáp tài liệu, chọn thư mục tài liệu cho phép.
5. Giới hạn truy cập trong mạng nội bộ, đặt tài khoản và mật khẩu riêng.
6. Sao lưu tài liệu và chỉ mục định kỳ.

Bảo mật và vận hành

• Chia quyền: tài liệu nhân sự, lương không nên chung kho với tài liệu cho mọi người.
• Đặt máy trong mạng nội bộ, không mở thẳng ra internet nếu chưa có hiểu biết bảo mật.
• Cân nhắc bộ lưu điện để tránh mất dữ liệu khi cúp điện.
• AI hỏi đáp vẫn có thể trả lời sai, nên bắt buộc kèm trích dẫn nguồn tài liệu và kiểm tra lại với bản gốc cho việc quan trọng.

Nếu văn phòng cần thiết lập, dịch vụ IT doanh nghiệp và vận hành hệ thống CNTT của Cường Tech có thể hỗ trợ.

Ví dụ cách dùng

Nhân viên mới hỏi "quy trình xin nghỉ phép thế nào". Hệ thống tìm đoạn liên quan trong quy chế nội bộ, trả lời ngắn và ghi tên tài liệu nguồn. Nhân viên mở tài liệu đó để xác nhận. Mục tiêu là tìm nhanh, không phải thay quyết định của quản lý.

Cần hỗ trợ thêm?

Bạn có thể điều chỉnh các cấu hình trên bằng công cụ Build PC để kiểm tra tương thích. Cần tư vấn thêm cho văn phòng, hãy ghé 476 CMT8, Thái Nguyên hoặc gọi 0943.847.333.