Cách chọn model AI theo công việc và phần cứng

Chọn việc cần làm trước khi chọn tên model

Nếu nhóm cần tìm điều khoản trong hợp đồng, hãy bắt đầu từ những câu hỏi nhân viên thường đặt và câu trả lời được xem là đúng. Nếu cần viết mã, thử các bài sửa lỗi và giải thích đoạn mã của dự án. Tên model nổi tiếng chưa cho biết nó có phù hợp với tiếng Việt, dữ liệu của bạn hay phần mềm dự định dùng.

Model là mô hình đã được huấn luyện để nhận đầu vào và tạo đầu ra. Hãy ghi rõ tác vụ, ngôn ngữ, độ dài tài liệu, mức chính xác cần có và việc có cần tra cứu nguồn mới hay không. Với dữ liệu thay đổi thường xuyên, RAG có thể tìm tài liệu hiện hành rồi đưa đoạn liên quan cho model; điều đó khác với việc huấn luyện lại model.

Tạo bộ thử nhỏ nhưng sát việc thật

Lấy một nhóm tình huống đại diện, gồm câu dễ, câu thiếu dữ kiện và câu có ngoại lệ. Ẩn thông tin cá nhân trước khi thử. Ghi câu trả lời mong đợi, nguồn để kiểm chứng và tiêu chí chấp nhận; với tác vụ viết, chấm cả độ đúng, giọng văn và mức cần sửa tay.

Cho mỗi model chạy cùng câu lệnh, tài liệu và thiết lập. Kiểm tra câu trả lời có bịa chi tiết, bỏ sót điều kiện hay đưa nguồn không liên quan không. Một vài câu hỏi mẫu giúp sàng lọc, còn triển khai thật cần bộ thử đủ đại diện và người dùng chuyên môn duyệt.

• Ghi phiên bản model, runtime, định dạng và thiết lập sinh văn bản.
• Đo thời gian tới token đầu tiên và thời gian hoàn thành.
• Thử một phiên rồi thử số người dùng đồng thời dự kiến.

Cân bằng chất lượng, độ trễ và chi phí vận hành

Model lớn hơn có thể lưu được nhiều năng lực hơn nhưng thường cần thêm bộ nhớ và thời gian tính toán. Kết quả còn phụ thuộc dữ liệu huấn luyện, cách tinh chỉnh, lượng tử hóa và phần mềm. Vì vậy, hãy so sánh các model trên cùng bộ thử thay vì suy ra chất lượng chỉ từ số tham số.

Nếu model trả lời đúng nhưng chậm, thử rút gọn ngữ cảnh, chọn bản lượng tử hóa hoặc tăng khả năng xử lý sau khi tìm nút thắt. Nếu cần cập nhật kiến thức nội bộ, kiểm tra quy trình RAG và quyền truy cập tài liệu trước khi tinh chỉnh. Lựa chọn cuối cùng cần tính cả điện, thời gian quản trị và giấy phép sử dụng.

Chốt bằng kịch bản bàn giao

Chọn một model đạt tiêu chí chất lượng và thời gian chờ trong môi trường gần với lúc sử dụng. Lưu lại phiên bản, cấu hình, câu hỏi thử và giới hạn đã biết để nghiệm thu có thể lặp lại. Khi model hoặc runtime đổi phiên bản, chạy lại bộ thử trước khi mở rộng cho cả nhóm.