66B là một mô hình ngôn ngữ lớn với quy mô tham số lên tới 66 tỷ, được thiết kế để xử lý ngôn ngữ tự nhiên, sinh văn bản, trả lời câu hỏi và hỗ trợ tác vụ sáng tạo. Mô hình tận dụng kiến trúc transformer và cơ chế attention để nắm bắt mối quan hệ dài dòng trong văn bản.
66B sử dụng nhiều lớp transformer và một hệ thống attention phức tạp, cho phép mô hình học được đại diện ngôn ngữ ở nhiều mức độ. Với 66 tỷ tham số, nó đòi hỏi tối ưu hoá bộ nhớ, kỹ thuật phân phối và tiền huấn luyện trên corpus đa dạng. Mô hình có các head attention đa đầu, kết nối feed-forward sâu, và các kỹ thuật như chuẩn hóa lớp và dropout để cải thiện ổn định trong quá trình huấn luyện.
Quá trình huấn luyện của 66B dựa trên tối ưu hóa ngữ cảnh, với lượng dữ liệu lớn từ sách, bài báo, trang web và nguồn mở. Việc làm sạch, lọc nhiễu và cân bằng dữ liệu giúp giảm thiên lệch và nâng cao chất lượng sinh văn bản. Độ phân bố và kích thước batch được điều chỉnh để tối ưu hoá hiệu suất trên phần cứng hiện có.
Trong các bài kiểm tra chuẩn, 66B cho thấy khả năng hiểu và sinh ngôn ngữ ở mức tương đối cao, với khả năng trả lời câu hỏi, tóm tắt và viết văn bản có tính mạch lạc. Tuy vậy, nó vẫn đối mặt với rủi ro sai lệch thông tin và cần giám sát khi áp dụng vào việc sản xuất nội dung nhạy cảm hoặc cần thông tin có thể kiểm chứng.
Mô hình có thể được tích hợp vào hệ thống hỗ trợ viết, trợ lý ảo, hệ thống tổng hợp nội dung và các ứng dụng giáo dục. Với hiệu suất xử lý ngôn ngữ tự nhiên ở mức 66B, nó có thể phục vụ cho nhiều ngữ cảnh từ hỗ trợ khách hàng đến phân tích văn bản và sáng tác nội dung sáng tạo.