Wafer-Scale Engine от Cerebras задним числом можно назвать не только смелым технологическим экспериментом, но и весьма удачной ставкой с учётом того, как развивается рынок ИИ. AMD и NVIDIA сейчас ищут способы заметно ускорить инференс. NVIDIA получила эксклюзивные права на использование LPU Groq и планирует интегрировать их в свои системы, а AMD объявила о сотрудничестве с Cerebras.

Теперь Cerebras представила четвёртое поколение своей системы — CS-4. Каждая CS-4 использует три WSE (Wafer Scale Engine), которые компания называет WSE-3 Turbo. Название хорошо отражает суть: архитектурно это всё та же WSE-3, но Cerebras оптимизировала её для более высокой производительности.

Размер чипа и количество вычислительных блоков не изменились. WSE-3 Turbo по-прежнему включает 900.000 ИИ-ядер, 44 ГБ SRAM и 4 трлн транзисторов. Производство также остаётся на 5-нм техпроцессе TSMC. Судя по характеристикам, Cerebras повысила рабочие частоты и ускорила внутренние тракты передачи данных.

Компания заявляет удвоение вычислительной производительности со 125 до 250 PFLOPS без увеличения количества ИИ-ядер. Однако здесь нужно учитывать методику расчёта: Cerebras указывает производительность для разреженных матриц, то есть с использованием sparsity.

Пропускная способность SRAM выросла с 21 до 43,2 ПБ/с, то есть более чем вдвое. Пропускная способность внутрикристальной сети увеличилась со 214 до 428 Пбит/с. Таким образом, WSE-3 Turbo ускорили не за счёт новой архитектуры или дополнительных ядер, а прежде всего благодаря более быстрым внутренним соединениям и, вероятно, повышенным частотам.

При этом основные физические параметры остались прежними: 5-нм техпроцесс TSMC, площадь 46.225 мм², 4 трлн транзисторов, 900.000 ИИ-ядер и 44 ГБ SRAM. WSE-3 Turbo — скорее форсированная версия WSE-3, чем новое поколение Wafer Scale Engine.

CS-4 объединяет три WSE-3 Turbo. Сложную систему питания и охлаждения Wafer Scale Engine мы подробно рассматривали ещё на примере первого поколения. Три WSE-3 Turbo соединены отдельным I/O-интерконнектом с пропускной способностью 7,2 Тбит/с.

Благодаря огромному объёму SRAM непосредственно рядом с вычислительными ядрами CS-4 может работать с моделями размером до 10 трлн параметров, сохраняя при этом низкую задержку и высокую скорость генерации токенов. Для GPT-OSS Cerebras приводит 2.308 токенов/с на CS-3 и 4.465 токенов/с на CS-4.

CS-4 рассчитана на гетерогенные ИИ-инфраструктуры и поддерживает disaggregated inference — раздельное выполнение двух основных фаз инференса на разных вычислительных платформах.

На этапе prefill специализированная система обрабатывает входной промпт и формирует состояние модели, необходимое для дальнейшей генерации. Затем его передают на CS-4, которая выполняет декодирование и генерирует токены с минимальной задержкой.

Такой подход даёт возможность сочетать CS-4 с разными платформами для prefill. В качестве одного из вариантов Cerebras и AMD уже официально объявили связку с AMD Helios: Helios обрабатывает промпты и длинный контекст, а Wafer-Scale Engine Cerebras отвечает за низколатентное декодирование и генерацию токенов.

Для prefill также можно использовать другую GPU- или ASIC-инфраструктуру, а CS-4 специализировать на декодировании. Идея заключается в том, чтобы распределить разные стадии инференса между теми вычислительными архитектурами, которые лучше всего подходят для конкретной задачи. Похожий принцип NVIDIA намерена применять с LPU Groq.

Cerebras планирует начать поставки первых систем CS-4 ещё в текущем квартале.

Подписывайтесь на группу Hardwareluxx ВКонтакте и на наш канал в Telegram (@hardwareluxxrussia).