Nvidia ra mắt mô hình mở Nemotron 3.5 dành cho đại lý doanh nghiệp và PC AI địa phương

Báo cáo đầy đủ

Vào ngày 15 tháng 10, Nvidia đã phát hành dòng Nemotron 3.5 gồm các mẫu có trọng lượng mở được thiết kế cho các tác nhân luôn hoạt động và điện toán biên. Flagship Nemotron 3.5 Super VL chứa 120 tỷ tham số trong kiến ​​trúc hỗn hợp các chuyên gia chỉ kích hoạt khoảng 12 tỷ tham số trên mỗi mã thông báo. Nvidia cho biết nó phù hợp với độ chính xác của mô hình lý luận lớn hơn của nó, Nemotron 3 Ultra, về các tác vụ tác nhân sử dụng công cụ và làm theo hướng dẫn.

Công ty cũng tuyên bố Super VL hoàn thành các nhiệm vụ tác nhân sau đào tạo nhanh hơn các mô hình tương đương từ Anthropic và OpenAI (Opus 5, GPT 6.1 Sol) và đứng đầu bảng xếp hạng Phân tích nhân tạo với thông lượng lên tới gấp 5 lần — loại tuyên bố đi kèm với mọi lần ra mắt của nhà cung cấp và cần xác minh độc lập. Nvidia liệt kê những người dùng doanh nghiệp sớm bao gồm Skydance, EY, Ramp, Crowdstrike, Perplexity và Salesforce; mô hình này có sẵn trên Hugging Face, OpenRouter, ModelScope và NVIDIA NIM.

Hai mẫu Bolt nhẹ hướng tới tính toán cục bộ: Nemotron 3.5 Bolt 74B-A9B sử dụng lượng tử hóa 2 bit gốc để phù hợp với 24GB bộ nhớ và chạy các tác vụ tác nhân (lý luận nhiều bước, gọi công cụ, duyệt web) cục bộ trên PC AI mới có chip Nvidia RTX Spark và máy trạm DGX Spark, hiện được vận chuyển thông qua các đối tác bao gồm Microsoft và Dell. Bolt E4B (4GB) nhỏ hơn, dành cho trợ lý giọng nói và tác nhân đàm thoại, sẽ ra mắt vào cuối tháng này.

Phó chủ tịch Mô hình và Phần mềm mở của Nvidia, Kari Briski, cho biết: "Bất kỳ tổ chức nào muốn điều hành các đại lý trên cơ sở hạ tầng Nvidia hiện đều có một mô hình mở, được tối ưu hóa cho cấp độ của họ mà không cần phải lựa chọn giữa khả năng và khả năng triển khai."