Build PC chạy mô hình ngôn ngữ 7B–14B mượt

Chạy mô hình ngôn ngữ ngay trên máy (với các phần mềm như Ollama, LM Studio) giúp bạn dùng AI mà dữ liệu không rời khỏi máy, không cần trả phí theo lượt. Con số "7B" hay "14B" là số tham số của mô hình (7 tỷ, 14 tỷ). Mô hình càng lớn càng cần nhiều bộ nhớ, và thứ quyết định đầu tiên khi build PC là dung lượng VRAM của card đồ họa.

Bài này giải thích cách ước lượng cấu hình cần thiết cho mô hình 7B đến 14B, rồi gợi ý hai cấu hình mẫu từ linh kiện đang có tại cửa hàng. Các con số dưới đây là ước lượng có điều kiện, kết quả thật tùy phần mềm, mô hình và độ dài ngữ cảnh bạn dùng.

VRAM quyết định mô hình nào chạy được

Mô hình ngôn ngữ cần nạp trọng số vào bộ nhớ. Nếu nạp hết vào VRAM của card đồ họa thì chạy nhanh, còn tràn ra RAM hệ thống thì chạy chậm đi rõ rệt. Với kỹ thuật lượng tử hóa 4-bit (nén mô hình để nhỏ hơn):

• Mô hình 7-8B thường cần khoảng 5-6GB VRAM.
• Mô hình 13-14B thường cần khoảng 9-10GB VRAM.
• Ngữ cảnh dài (đọc tài liệu lớn) cần thêm bộ nhớ, nên cần dư thêm vài GB.

Từ đó, card 8GB chạy mượt mô hình 7-8B, còn muốn mô hình 14B thoải mái nên chọn card từ 12GB trở lên, và 16GB cho đỡ chật. Đây là ước lượng; hãy xem thêm trong bài chọn card đồ họa để chạy AI trên máy và VRAM bao nhiêu GB là đủ.

Các linh kiện còn lại cần chú ý

CPU

Khi mô hình nằm trọn trong VRAM, CPU không phải điểm nghẽn chính. Một CPU 6-8 nhân hiện đại là đủ. Nếu muốn chia một phần mô hình sang CPU (khi mô hình lớn hơn VRAM), CPU mạnh và RAM nhanh sẽ giúp ích nhưng không thay được VRAM.

RAM

16GB RAM chạy được mô hình đã nằm trong VRAM, nhưng 32GB thoải mái hơn nhiều khi bạn mở thêm trình duyệt, môi trường lập trình và các công cụ khác. RAM DDR5 trên nền tảng AM5 cũng cho đường nâng cấp về sau.

SSD

Mỗi mô hình chiếm vài GB đến hàng chục GB, nên nên chọn SSD 1TB trở lên. SSD nhanh giúp nạp mô hình lúc khởi động nhanh hơn. Nếu bạn hay thử nhiều mô hình, xem bài gỡ mô hình AI và dọn dung lượng.

Nguồn và tản nhiệt

Chạy mô hình ngôn ngữ liên tục khiến card đồ họa hoạt động nhiều, nên cần nguồn dư công suất và case thoáng khí. Cấu hình bên dưới chọn nguồn theo công suất card cộng với CPU rồi dư thêm.

Cấu hình 1: card 16GB, ngân sách tầm 42-43 triệu

Cấu hình này dùng card RTX 5060 Ti 16GB, đủ chỗ cho mô hình 14B lượng tử hóa 4-bit và còn dư cho ngữ cảnh vừa. Nền tảng AM5 với RAM DDR5 dễ nâng cấp về sau.

• CPU AMD Ryzen 5 7500F (không có đồ họa tích hợp, cần card rời, ở đây đã có card)
• Mainboard MSI B650M GAMING PLUS WIFI (AM5, DDR5)
• RAM Kingston Fury Beast 16GB (2x8GB) DDR5 6000MHz
• SSD Kingston NV3 1TB NVMe
• Card Zotac RTX 5060 Ti 16GB Twin Edge OC
• Nguồn MSI MAG A650BN 650W
• Case Montech XR, tản Deepcool AK400

Cấu hình hợp để chạy mô hình 7-8B rất thoải mái và 14B ở mức lượng tử hóa vừa. Nếu bạn làm việc nhiều hơn, nên nâng RAM lên 32GB.

Cấu hình 2: card 16GB nhanh hơn, ngân sách tầm 78-80 triệu

Dành cho người chạy AI thường xuyên, vừa dùng mô hình ngôn ngữ vừa tạo ảnh hoặc chơi game cấu hình cao. Card RTX 5070 Ti vẫn có 16GB VRAM như cấu hình 1, nhưng xử lý nhanh hơn. Hãy hiểu rằng VRAM mới là giới hạn mô hình tối đa, còn card mạnh hơn chủ yếu giúp tốc độ.

• CPU AMD Ryzen 7 9700X
• Mainboard Gigabyte B650M AORUS ELITE AX
• RAM G.Skill Trident Z5 RGB 32GB (2x16GB) DDR5 6000MHz
• SSD Lexar NM790 1TB NVMe PCIe 4.0
• Card Zotac RTX 5070 Ti Solid Core OC 16GB
• Nguồn Corsair RM850e 850W (ATX 3.1, có cáp 12V-2x6)
• Case NZXT H5 Flow, tản Thermalright Peerless Assassin 120 SE

Nếu bạn thấy cấu hình này vượt nhu cầu, cấu hình 1 là lựa chọn kinh tế hơn.

Nếu bạn cần mô hình lớn hơn 14B

Card trong danh mục hiện tại tối đa 16GB VRAM ở các lựa chọn trong bài này. Mô hình lớn hơn nhiều (30B trở lên) thường cần nhiều VRAM hơn, hoặc chấp nhận chạy một phần bằng CPU và RAM với tốc độ thấp hơn. Nếu nhu cầu của bạn vượt xa 16GB, hãy hỏi cửa hàng về các lựa chọn khác đang có và báo giá.

Chọn cấu hình nào

• Chọn cấu hình 1 nếu bạn muốn một chiếc máy chạy AI cục bộ, làm việc và chơi game vừa phải với ngân sách hợp lý.
• Chọn cấu hình 2 nếu AI là việc chính, bạn muốn tốc độ cao hơn và có thể dùng cho cả tạo ảnh.
• Có thể bắt đầu từ cấu hình 1, sau này đổi card nếu cần, nhờ nguồn và nền tảng đã đủ chỗ.

Bạn có thể dán các linh kiện này vào công cụ Build PC để kiểm tra tương thích trước khi chốt.

Cần hỗ trợ thêm?

Giá linh kiện thay đổi theo thời điểm, nên hãy xem giá trên từng sản phẩm hoặc gọi 0943.847.333 để được báo giá và tư vấn lắp ráp. Cường Tech hỗ trợ trả góp và kiểm tra máy miễn phí sau khi lắp. Bạn cũng có thể đọc thêm cấu hình PC chạy AI Stable Diffusion tại nhà.