Con số 7B hay 70B đang nói điều gì?

B là viết tắt của billion, tức một tỷ. Model 7B có khoảng bảy tỷ tham số; tham số là các giá trị được học trong quá trình huấn luyện. Con số này mô tả một phần quy mô mô hình, không phải số GB cần có chính xác và cũng không phải thước đo trực tiếp chất lượng.

Dung lượng trọng số phụ thuộc số tham số và cách lưu mỗi tham số. Chẳng hạn, biểu diễn 16 bit cần khoảng hai byte cho mỗi tham số trước phần phụ trợ; bản 7B vì thế cần khoảng 14GB chỉ cho trọng số theo phép tính lý thuyết. Tệp tải về, bộ nhớ lúc chạy và dung lượng trống cần thiết có thể khác nhau.

Vì sao model vừa bộ nhớ vẫn có thể thiếu chỗ?

Khi suy luận, runtime cần thêm bộ nhớ cho vùng làm việc, ngữ cảnh và bộ nhớ đệm KV. Câu hỏi kèm tài liệu càng dài thì lượng thông tin giữ lại càng tăng; nhiều phiên cùng lúc cũng dùng thêm tài nguyên. Hệ điều hành và ứng dụng khác còn cần phần bộ nhớ riêng.

SSD giữ tệp model lâu dài, còn GPU cần đưa phần trọng số đang tính toán vào VRAM hoặc bộ nhớ được runtime hỗ trợ. Chuyển bớt sang RAM hệ thống có thể giúp model khởi chạy, nhưng trao đổi qua lại thường làm giảm tốc độ. Hãy chừa dung lượng cho đúng độ dài ngữ cảnh và số phiên dự kiến.

Lượng tử hóa làm gọn model ra sao?

Lượng tử hóa biểu diễn trọng số bằng ít bit hơn để giảm dung lượng và nhu cầu bộ nhớ. Tên như 4-bit hoặc Q4 thường chỉ cách lưu gọn, nhưng định dạng và thuật toán giữa các bản có thể khác nhau. Hai tệp cùng ghi Q4 không nhất thiết cho kết quả hoặc tốc độ giống nhau.

Bản lượng tử hóa có thể ảnh hưởng chất lượng, nhất là ở câu hỏi chuyên môn hoặc ngôn ngữ ít đại diện trong bộ thử. Hãy so với bản gốc trên tác vụ của bạn, đồng thời kiểm tra runtime có hỗ trợ định dạng ấy không. Không chọn chỉ dựa vào kích thước tệp nhỏ nhất.

Đọc thông tin model trước khi tải

Kiểm tra model card để biết model nền, giấy phép, ngôn ngữ, mục đích sử dụng và giới hạn do nhà phát hành công bố. Xác nhận định dạng tệp, độ dài ngữ cảnh tối đa được hỗ trợ và phần mềm cần thiết. Thông số do nhà phát hành nêu là điểm bắt đầu; hiệu năng cần được đo trên máy và bộ thử của bạn.

Ghi mã phiên bản hoặc dấu revision để có thể tải lại đúng bản. Sau khi cài, chạy vài câu hỏi đại diện, theo dõi bộ nhớ và thời gian phản hồi. Nếu cần chia model qua nhiều GPU, xác nhận runtime hỗ trợ cách chia đó và tính cả chi phí truyền dữ liệu giữa các card.

Tài liệu tham khảo

Các nguồn dưới đây cung cấp thông số thiết bị và hướng dẫn phần mềm được dùng trong bài. Khi cài đặt, hãy đối chiếu đúng mã máy và phiên bản đang sử dụng.