Công ty khởi nghiệp AI Deep Cogito ra mắt dòng mô hình ngôn ngữ mã nguồn mở Cogito v1, được tinh chỉnh từ Llama 3.2 và có khả năng suy luận hỗn hợp.

Deep Cogito, một công ty khởi nghiệp nghiên cứu AI mới có trụ sở tại San Francisco, đã chính thức ra mắt hôm nay với Cogito v1, một dòng mô hình ngôn ngữ lớn (LLM) mã nguồn mở mới được tinh chỉnh từ Llama 3.2 của Meta và được trang bị khả năng suy luận hỗn hợp — khả năng trả lời nhanh chóng và ngay lập tức, hoặc “tự suy nghĩ” như dòng “o” của OpenAI và DeepSeek R1.

Công ty này hướng đến việc vượt qua các giới hạn hiện tại của AI do người giám sát bằng cách cho phép các mô hình lặp đi lặp lại tinh chỉnh và nội hóa các chiến lược suy luận được cải thiện của riêng chúng. Mục tiêu cuối cùng của họ là phát triển siêu trí tuệ — AI thông minh hơn tất cả con người trong mọi lĩnh vực — tuy nhiên, công ty khẳng định rằng “Tất cả các mô hình chúng tôi tạo ra sẽ là mã nguồn mở.”

CEO và đồng sáng lập của Deep Cogito, Tiến sĩ Drishan Arora — một cựu Kỹ sư Phần mềm Cấp cao tại Google, người cho biết ông đã dẫn đầu việc xây dựng mô hình ngôn ngữ lớn (LLM) cho sản phẩm tìm kiếm dựa trên AI tạo sinh của Google — cũng tuyên bố trên X rằng họ là “các mô hình mở mạnh nhất ở quy mô của chúng – bao gồm cả các mô hình từ LLaMA, DeepSeek và Qwen.”

Dòng mô hình ban đầu bao gồm năm kích thước cơ bản: 3 tỷ, 8 tỷ, 14 tỷ, 32 tỷ và 70 tỷ tham số, hiện đã có trên cộng đồng chia sẻ mã AI Hugging Face, Ollama và thông qua giao diện lập trình ứng dụng (API) trên Fireworks và Together AI.

Chúng được cung cấp theo các điều khoản cấp phép của Llama, cho phép sử dụng thương mại — vì vậy các doanh nghiệp bên thứ ba có thể đưa chúng vào các sản phẩm trả phí — tối đa 700 triệu người dùng hàng tháng, sau đó họ cần có giấy phép trả phí từ Meta.

Công ty có kế hoạch phát hành các mô hình lớn hơn nữa — lên đến 671 tỷ tham số — trong những tháng tới.

Arora mô tả phương pháp huấn luyện của công ty, chưng cất và khuếch đại lặp lại (IDA), là một giải pháp thay thế mới cho học tăng cường từ phản hồi của con người (RLHF) truyền thống hoặc chưng cất mô hình thầy.

Ý tưởng cốt lõi đằng sau IDA là phân bổ nhiều tài nguyên tính toán hơn để một mô hình tạo ra các giải pháp được cải thiện, sau đó chưng cất quá trình suy luận được cải thiện vào các tham số của chính mô hình — tạo ra một vòng phản hồi hiệu quả cho sự phát triển khả năng. Arora ví phương pháp này tương tự như chiến lược “tự học” của Google AlphaGo, được áp dụng cho ngôn ngữ tự nhiên.

Theo kết quả đánh giá nội bộ của Cogito, mô hình Cogito 1 lớn nhất, Cogito 70B, với khả năng suy luận vượt trội hơn mô hình suy luận R1 của DeepSeek trong một vài đánh giá về toán học và ngôn ngữ. Cogito 70B khi tắt khả năng suy luận cũng vượt qua mô hình Llama 4 Scout mới ra mắt của Meta trên LiveBench, một bài kiểm tra AI đa năng.

Hiệu suất của Cogito 1 so với các mô hình AI mã nguồn mở phổ biến khác

(Nguồn ảnh: Deep Cogito)

Deep Cogito có kế hoạch phát hành các mô hình quy mô lớn hơn trong những tháng tới, bao gồm các biến thể mixture-of-expert ở quy mô 109B, 400B và 671B tham số. Công ty cũng sẽ tiếp tục cập nhật các điểm kiểm tra mô hình hiện tại của mình với quá trình huấn luyện mở rộng.

Công ty định vị phương pháp IDA của mình là một con đường dài hạn hướng tới khả năng tự cải thiện có thể mở rộng, loại bỏ sự phụ thuộc vào các mô hình thầy tĩnh hoặc con người.

Arora nhấn mạnh rằng mặc dù các điểm chuẩn hiệu suất rất quan trọng, nhưng tính hữu dụng và khả năng thích ứng trong thế giới thực mới là những thử nghiệm thực sự cho các mô hình này — và công ty chỉ mới bắt đầu những gì họ tin là một đường cong tăng trưởng dốc.

Các đối tác nghiên cứu và cơ sở hạ tầng của Deep Cogito bao gồm các nhóm từ Hugging Face, RunPod, Fireworks AI, Together AI và Ollama. Tất cả các mô hình đã phát hành đều là mã nguồn mở và hiện đã có sẵn.

(Nguồn: VentureBeat)