Cerebras Systems, một công ty có trụ sở tại California, vừa giới thiệu Wafer Scale Engine 3 (WSE-3), một chip trí tuệ nhân tạo (AI) mạnh hơn gấp đôi so với phiên bản WSE-2 ra mắt vào năm 2021.
Theo đó, vi xử lý WSE-3 được tạo ra trên công nghệ 5nm, bao gồm 4 tỷ transistor, tích hợp 900.000 nhân tính toán được tối ưu cho trí tuệ nhân tạo và có kích thước tương đương với một miếng wafer silic độc lập có kích thước 8.5 inch vuông.
Vi xử lý thế hệ thứ 3 này sẽ được áp dụng cho việc điều hành siêu máy tính AI Cerebras CS-3, cung cấp hiệu suất tối đa 125 petaflop cho các công việc AI và có khả năng huấn luyện các mô hình AI lên đến 24 nghìn tỷ tham số.
Cerebras cho biết rằng có thể lưu trữ 24 nghìn tỷ tham số trong một vùng nhớ logic đơn, giúp đơn giản hóa quy trình huấn luyện và tăng tốc năng suất cho lập trình viên. Cerebras cũng tuyên bố rằng việc huấn luyện một mô hình 1 nghìn tỷ tham số trên CS-3 đơn giản như việc huấn luyện một mô hình 1 tỷ tham số trên các GPU thông thường.
Khi chúng tôi khởi đầu chuyến hành trình này 8 năm trước, mọi người đều cho rằng việc phát triển bộ xử lý quy mô wafer là một công việc khó khăn. Chúng tôi rất tự hào khi giới thiệu thế hệ thứ ba của chip AI quy mô wafer đột phá,” Andrew Feldman, CEO và đồng sáng lập của Cerebras cho biết. “WSE-3 là chip AI nhanh nhất trên thế giới, được thiết kế đặc biệt cho các ứng dụng AI tiên tiến nhất. Chúng tôi rất hạnh phúc khi đưa WSE-3 và CS-3 ra thị trường để giải quyết những thách thức lớn nhất của AI hiện nay.”
Công ty đã thông báo rằng so với GPU tiêu thụ năng lượng cao, CS-3 có hiệu suất gấp đôi nhưng vẫn duy trì mức tiêu thụ điện năng tương đương. Nó cũng yêu cầu ít hơn 97% mã code so với GPU để chạy các mẫu ngôn ngữ lớn. Ví dụ, việc triển khai tiêu chuẩn của một mô hình có kích thước GPT-3 chỉ cần 565 dòng lệnh trên Cerebras.
Cerebras đã hợp tác với một số đối tác quan trọng, trong đó có G42, một công ty phát triển trí tuệ nhân tạo. G42 hiện đang phát triển siêu máy tính Condor Galaxy 3, với 64 "khối xây dựng" hệ thống AI Cerebras CS-3 được trang bị chip WSE-3. Khi hoàn thành, siêu máy tính 8 exaFLOP này sẽ nâng cao tổng công suất tính toán AI của G42 lên 16 exaFLOP.
