66B là một mô hình ngôn ngữ lớn có khoảng 66 tỷ tham số, được thiết kế để thực hiện các tác vụ ngôn ngữ như trả lời câu hỏi, tóm tắt văn bản và tham gia đối thoại.
66B dựa trên kiến trúc transformer, với nhiều lớp self-attention, lớp feed-forward và cơ chế normalize. Mô hình có thể xử lý đầu vào dài, đồng thời tối ưu hóa tính đồng bộ và khả năng tổng quát.
Mô hình được huấn luyện trên tập dữ liệu đa ngôn ngữ và đa nguồn, sử dụng kỹ thuật như tiền huấn luyện với ngữ cảnh rộng và tinh chỉnh cho các tác vụ cụ thể.
66B có khả năng hiểu và tạo văn bản đa ngữ, nhưng vẫn có hạn chế về khả năng hiểu ngữ cảnh dài, rủi ro thiên lệch và cần đánh giá đạo đức.
Trong công nghiệp, 66B có thể hỗ trợ tự động hóa dịch vụ khách hàng, tổng hợp nội dung, trợ lý ảo và hệ thống đề xuất.