Сегодня Meta, материнская компания Facebook, объявила о сотрудничестве с NVIDIA в создании суперкомпьютера для исследований в области искусственного интеллекта. Они назвали новую машину RCS, что расшифровывается как AI Research SuperCluster.
Строительство суперкомпьютера будет завершено в конце этого года, и компания заявила в пресс-релизе, что ожидает, что он "станет самым быстрым [суперкомпьютером ИИ] в мире, когда будет полностью построен в середине 2022 года".
Meta заявила, что суперкомпьютер поможет ее исследователям подавать больше данных в модели ИИ, которые позволяют им работать на нескольких языках для совместного анализа текста, изображений и видео, потенциально для целей перевода или выявления вредоносного контента. Meta уже начала обучать эти компьютеры обработке естественного языка и компьютерному зрению.
Исследователи компании написали в блоге, что, по их мнению, эта технология может в один прекрасный день обеспечить перевод в режиме реального времени для международной группы людей, работающих, например, над AR-игрой или исследовательским проектом. Она также может быть использована для разработки новых инструментов, которые могут быть интегрированы в дополненную и виртуальную реальность.
Неудивительно, что новый мощный кластер призван помочь компании создать метавселенную. "Опыт, который мы создаем для метавселенной, требует огромной вычислительной мощности (квинтиллионы операций в секунду), - сказал в своем заявлении генеральный директор Meta Марк Цукерберг, - и RSC позволит создать новые модели ИИ, которые смогут учиться на триллионах примеров, понимать сотни языков и многое другое".
Первые исследования RSC показали, что он "выполняет рабочие процессы компьютерного зрения в 20 раз быстрее, запускает библиотеку коллективных коммуникаций NVIDIA (NCCL) более чем в девять раз быстрее и обучает крупномасштабные модели NLP в три раза быстрее", чем предыдущие системы, которые использовала Meta. "Это означает, что модель с десятками миллиардов параметров может завершить обучение за три недели по сравнению с девятью неделями ранее", - пишут исследователи.
Компания давно стремилась создать инфраструктуру, способную принимать наборы данных размером в эксабайт, что, по словам компании, равносильно "36 000 лет высококачественного видео". Суперкомпьютер Meta RCS сегодня содержит 760 систем NVIDIA DGX A100 в качестве вычислительных узлов, в общей сложности 6 080 графических процессоров (GPU) - и их цель состоит в том, чтобы увеличить это число до 16 000 в этом году.
Кроме того, GPU "объединены в сеть NVIDIA Quantum 200Gb/s InfiniBand для обеспечения производительности TF32 в 1,895 петафлопс", - уточняет NVIDIA в сопроводительном пресс-релизе.
Meta заявила, что эта новая модель обучения защищает конфиденциальность и использует "зашифрованные данные, созданные пользователями, которые расшифровываются только перед самым обучением". Система также "изолирована от большого интернета, без прямых входящих и исходящих соединений".