Xây dựng trợ lý hỏi đáp tài liệu nội bộ với RAG

Trợ lý tìm tài liệu rồi mới trả lời

RAG: từ tài liệu đến câu trả lời có nguồn

Đưa tài liệu vào kho tìm kiếm

Tài liệu được chọn
Đọc chữ và chia đoạn
Bộ tạo embedding
Kho chỉ mục tài liệu

Tài liệu được đọc chữ, chia đoạn và tạo embedding để lưu vào chỉ mục cùng nguồn và quyền truy cập.

Tìm nguồn rồi soạn trả lời

Câu hỏi của người dùng
Bộ tìm kiếm theo quyền
Các đoạn tìm được
Mô hình soạn câu trả lời
Câu trả lời kèm nguồn

Câu hỏi được dùng để tìm các đoạn người hỏi có quyền xem, rồi mô hình soạn câu trả lời kèm nguồn.

RAG đưa những đoạn tài liệu tìm được vào lượt hỏi. Nếu OCR, embedding hoặc mô hình chạy trên cloud, dữ liệu của bước đó được gửi tới dịch vụ tương ứng.

Bạn hỏi chính sách đổi hàng cho đơn đã giao. Với RAG, hệ thống tìm đoạn quy định liên quan rồi đưa cùng câu hỏi vào mô hình để soạn câu trả lời. Embedding biểu diễn nội dung thành dãy số giúp tìm đoạn có nghĩa gần nhau; chỉ mục tổ chức các đoạn để truy xuất. Tài liệu quét thường qua OCR, bước nhận dạng chữ từ ảnh.

Các bước này bổ sung thông tin cho lượt hỏi. Fine-tuning thay đổi tham số mô hình bằng dữ liệu huấn luyện, phù hợp khi muốn điều chỉnh hành vi cho mục tiêu cụ thể. Với quy định hay cập nhật, thử RAG có dẫn nguồn trước; người dùng mở bản gốc để đối chiếu lời giải thích.

Làm sạch một bộ tài liệu nhỏ trước

Làm sạch tài liệu để tìm đúng đoạn

Kiểm tra nguồn, chữ và đoạn

Tài liệu đang có hiệu lực
Bản chữ sau OCR
Đoạn văn có nguồn và quyền
Bài thử tìm tài liệu

Tài liệu hiện hành được kiểm tra OCR, chia đoạn có nguồn và quyền, rồi thử tìm lại bằng bộ câu hỏi mẫu.

Loại bản trùng và ghi chủ sở hữu cùng ngày hiệu lực.
Đối chiếu bảng, số liệu và dấu tiếng Việt với bản gốc.
Giữ tiêu đề, nội dung liên quan, vị trí nguồn và quyền truy cập.
Hỏi các câu có đáp án, thiếu dữ liệu và cần đối chiếu nhiều nguồn.

Bản quét rõ chữ và tài liệu còn hiệu lực giúp hệ thống tìm đúng thông tin. Chất lượng được xem ở cả ba bước: nhận dạng chữ, tìm đoạn và soạn câu trả lời.

Chọn các văn bản đã được phép sử dụng, bỏ bản trùng và xác định bản còn hiệu lực. Gắn chủ sở hữu, ngày hiệu lực và nguồn cho từng tài liệu. Với bản quét, đọc lại số tiền, bảng và dấu tiếng Việt sau OCR: nhận sai một ký tự có thể làm lệch điều kiện hoặc giá trị trong câu trả lời.

Khi chia đoạn, giữ tiêu đề và điều kiện đi cùng nội dung. Ví dụ, đoạn về thời hạn đổi hàng nên giữ cả trường hợp áp dụng. Thử câu hỏi có đáp án, câu hỏi cần ghép nhiều nguồn và câu hỏi thiếu thông tin. Xem riêng các đoạn tìm được rồi mới đánh giá câu trả lời để biết lỗi nằm ở truy xuất hay diễn giải.

Lọc quyền trước khi đưa đoạn vào mô hình

Lọc quyền trước khi mô hình đọc tài liệu

Lọc tài liệu khi tìm kiếm

Người hỏi đã đăng nhập
Bộ lọc quyền trên máy chủ
Tài liệu người hỏi được xem
Mô hình nhận ngữ cảnh

Máy chủ xác thực người hỏi và lọc quyền trong bước tìm kiếm trước khi chuyển các đoạn tài liệu vào mô hình.

Cập nhật khi xóa hoặc thu hồi quyền

Lệnh xóa hoặc đổi quyền
Chỉ mục cần cập nhật
Bộ nhớ đệm và lịch sử
Bài thử sau thay đổi

Thay đổi quyền được áp dụng tới chỉ mục, bộ nhớ đệm và lịch sử, rồi kiểm thử các đường đọc lại nội dung.

Quyền truy cập áp dụng cho tài liệu gốc, nội dung truy xuất và embedding. Các thao tác như gửi email hoặc sửa dữ liệu có bước xác nhận riêng trước khi thực hiện.

Nhân viên bán hàng hỏi chế độ thưởng chỉ nên nhận tài liệu họ được phép xem. Máy chủ phải áp dụng quyền của người dùng ngay trong bước tìm kiếm, trước khi nội dung vào mô hình. Cùng nguyên tắc đó áp dụng cho trích dẫn, lịch sử chat, bộ nhớ đệm và tệp xuất; mỗi nơi đều có thể giữ lại nội dung nhạy cảm.

Khi đổi quyền hoặc xóa tài liệu, cập nhật chỉ mục và xử lý dữ liệu dẫn xuất theo chính sách lưu giữ. Embedding cũng thuộc dữ liệu cần bảo vệ. Ghi rõ nơi chạy OCR, embedding, mô hình và plugin; dịch vụ cloud phải đáp ứng chính sách gửi và lưu dữ liệu. Xử lý chỉ dẫn trong tài liệu như nội dung tham khảo, tách khỏi quyền thực thi hành động nhạy cảm.

Bàn giao bằng tình huống cả nhóm sẽ gặp

Từ dùng thử đến bàn giao hệ thống

Kiểm thử với nhóm sử dụng

Bộ câu hỏi nghiệm thu
Người dùng thử
Bài thử tải và sự cố
Đội nhận bàn giao

Nhóm dùng thử đánh giá câu trả lời, kiểm tra tải và sự cố rồi bàn giao theo tiêu chí đã thống nhất.

Ghi đáp án, nguồn đối chiếu và câu hỏi thiếu thông tin.
Ghi sai sót, thời gian chờ và khả năng mở trích dẫn.
Chạy nhiều phiên, ngắt mạng và khởi động lại để kiểm tra phục hồi.
Nhận quy trình khôi phục, lịch cập nhật và đầu mối xử lý lỗi.

Bàn giao gồm tài khoản truy cập, cách dùng dịch vụ và cách khôi phục dữ liệu. Thời gian lưu hội thoại được thống nhất theo chính sách của nhóm.

Mời người dùng đại diện thử bộ câu hỏi có đáp án đối chiếu. Ghi nguồn trích dẫn, câu trả lời sai, cách xử lý khi thiếu dữ liệu và thời gian chờ. Cho nhiều người hỏi cùng lúc để đo sức phục vụ; chọn giới hạn phiên theo kết quả và mức chờ nhóm chấp nhận.

Thử mất mạng, khởi động lại và phục hồi bản sao trước bàn giao. Giới hạn giao diện và API trong mạng nội bộ hoặc VPN. Thống nhất người cập nhật tài liệu, thời gian lưu hội thoại và nơi báo lỗi. Khi chính sách đổi hàng thay đổi, người phụ trách cập nhật nguồn, làm mới chỉ mục rồi thử lại các câu hỏi liên quan.

Tài liệu tham khảo

Các nguồn dưới đây cung cấp thông số thiết bị và hướng dẫn phần mềm được dùng trong bài. Khi cài đặt, hãy đối chiếu đúng mã máy và phiên bản đang sử dụng.