Нехватка графических процессоров
В связи с ростом спроса на генеративный ИИ, который часто обучается и работает на графических процессорах, наблюдается дефицит GPU. Сообщается, что самые производительные чипы Nvidia распроданы до 2024 года. Генеральный директор производителя чипов TSMC был менее оптимистичен, предположив, что нехватка графических процессоров от Nvidia, а также от конкурентов Nvidia, может продлиться до 2025 года.
Разработка собственных чипов
Чтобы снизить зависимость от графических процессоров, компании, которые могут себе это позволить (то есть технологические гиганты), разрабатывают и в некоторых случаях предлагают клиентам специализированные чипы, адаптированные для создания, модификации и коммерческого использования моделей ИИ. Одной из таких компаний является Amazon, которая сегодня на своей ежегодной конференции re:Invent представила последнее поколение своих чипов для обучения моделей и вывода (то есть запуска обученных моделей).
Новое поколение чипов от Amazon
Первый из двух, AWS Trainium2, предназначен для обеспечения до 4-х кратного улучшения производительности и 2-х кратного улучшения энергоэффективности по сравнению с первым поколением Trainium, представленным в декабре 2020 года, говорится в сообщении Amazon. Предполагается, что Trainium2 будет доступен в экземплярах EC Trn2 в кластерах из 16 чипов в облаке AWS и может масштабироваться до 100 000 чипов в продукте EC2 UltraCluster от AWS.
Производительность новых чипов
Сто тысяч чипов Trainium обеспечивают 65 эксафлопсов вычислительной мощности, говорит Amazon, что эквивалентно 650 терафлопсам на один чип. ("Эксафлопсы" и "терафлопсы" измеряют, сколько вычислительных операций в секунду может выполнить чип.) Вероятно, есть усложняющие факторы, делающие эту прикидку не очень точной. Но предполагая, что один чип Tranium2 действительно может обеспечить ~200 терафлопсов производительности, это ставит его значительно выше емкости пользовательских чипов для обучения ИИ от Google около 2017 года.
Обучение моделей ИИ на новых чипах
Amazon говорит, что кластер из 100 000 чипов Trainium может обучить большую языковую модель ИИ с 300 миллиардами параметров за недели, а не месяцы. ("Параметры" - это части модели, изученные из обучающих данных, и они, по сути, определяют навыки модели в решении проблемы, например, генерации текста или кода.) Это примерно в 1,75 раза больше, чем размер GPT-3 от OpenAI, предшественника текстогенерирующего GPT-4.
Второй чип от Amazon
Второй чип, который Amazon объявила сегодня утром, Arm-based Graviton4, предназначен для вывода. Четвертое поколение в семействе чипов Graviton Amazon (как подразумевает "4" в конце "Graviton"), он отличается от другого чипа Amazon для вывода, Inferentia.
Производительность и безопасность Graviton4
Amazon утверждает, что Graviton4 обеспечивает до 30% лучшую вычислительную производительность, на 50% больше ядер и на 75% больше пропускной способности памяти, чем один процессор предыдущего поколения Graviton, Graviton3 (но не более новый Graviton3E), работающий на Amazon EC2. В отличие от Graviton3, все физические аппаратные интерфейсы Graviton4 "зашифрованы", говорит Amazon, предположительно, лучше обеспечивая безопасность рабочих нагрузок и данных обучения ИИ для клиентов с повышенными требованиями к шифрованию. (Мы спросили у Amazon, что именно подразумевается под "зашифрованным", и обновим эту статью, как только получим ответ.)
Доступность новых чипов
Graviton4 будет доступен в экземплярах Amazon EC2 R8g, которые доступны в предварительной версии сегодня, с общей доступностью, запланированной на ближайшие месяцы. Amazon не сообщила, когда экземпляры Trainium2 станут доступны для клиентов AWS, кроме как "в течение следующего года". Мы будем следить за появлением дополнительной информации.