"NVIDIA Blackwell против H100: Производительность в реальном мире"

Недавний анализ, проведённый компанией NVIDIA, предоставил уникальную возможность сравнить производительность грядущих ускорителей Blackwell с уже зарекомендовавшим себя H100 в реальных условиях тренировки моделей машинного обучения. Результаты, представленные в рамках тестирования MLPerf, подтвердили ожидания экспертов: производительность Blackwell оказалась почти в 2,2 раза выше. Эта статья углубляется в подробности, раскрывая причины столь внушительного скачка производительности и показывая, как Blackwell меняет правила игры в мире высокопроизводительных вычислений.

Значительный прирост производительности

Тестирование показало, что системы DGX B200, основанные на ускорителях Blackwell, демонстрируют производительность, превышающую показатели H100 почти в два с половиной раза. Такой результат достигается благодаря сочетанию факторов, главным из которых является повышенная пропускная способность памяти. Пропускная способность Blackwell достигает 8 ТБ/с, что значительно превышает показатели H100, обеспечивая ускорителю свободу действий в работе с большими объёмами данных.

В ходе тестов Blackwell смог показать двукратное увеличение производительности при предварительной подготовке модели GPT-3 175B, а также более чем двукратный прирост производительности при точной настройке Llama 2 70B. Это подтверждает, что Blackwell идеально подходит для работы с большими языковыми моделями, требующими интенсивных вычислений и большого объёма данных.

Оптимизированная архитектура памяти

NVIDIA подчеркнула важность повышенной пропускной способности памяти в ускорителе Blackwell. В отличие от H100, Blackwell способен задействовать всего 64 графических процессора для достижения максимальной производительности, тогда как H100 требовал целых 256 графических процессоров для аналогичных показателей. Такая архитектурная особенность позволила Blackwell достигать высокой эффективности при минимальных затратах ресурсов, что крайне важно в контексте высокопроизводительных систем, таких как суперкомпьютер Nvidia Nyx.

Масштабируемость и производительность

Насколько хорошо Blackwell справляется с задачами, зависящими от масштабируемости? Ответ на этот вопрос частично скрыт в тумане, так как точные технические характеристики системы Nyx не были раскрыты. Известно, что система состоит из модулей, содержащих по восемь графических процессоров на узел, но количество узлов и особенности межсоединения остаются загадкой. Тем не менее, результаты тестов показывают, что масштабируемость Blackwell весьма высока, что делает его перспективным кандидатом для применения в крупных кластерах и дата-центрах.

Заключение

Blackwell от NVIDIA доказывает своё право считаться лидером в области высокопроизводительных ускорителей для задач машинного обучения. Его повышенная пропускная способность и продуманная архитектура позволяют добиться значительной производительности в различных сценариях, связанных с глубоким обучением и обработкой больших массивов данных. В то время как мы ждём дальнейших деталей о системе Nyx и её масштабировании, очевидно, что NVIDIA уверенно движется вперёд, устанавливая новые стандарты в отрасли.