Сколько на самом деле стоит инференс GPT-4o?
Почему-то многие думают, что провайдеры больших языковых моделей продают API чуть ли не себе в убыток. Я бы хотел поделиться прикидками о том, почему это совсем не так, и заодно помечтать о том, сколько параметров мы можем себе позволить тратить на модель, которая сможет заменить человека в работе.
Все расчёты можно воспроизвести в колабе, меняя цифры, как вам захочется. Выводы остаются неизменны.
Для расчётов нам нужно сделать несколько допущений:
1. Количество активированных параметров в модели. Для GPT 4 Turbo широко ходили слухи про 200 миллиардов параметров, так что 4o должна быть меньше. По данным Artificial Analysis, пропускная способность GPT-4o – 95 tok/s, что находится между LLama 3.1 7b (182 tok/s) и 70b (80 tok/s). Для наших целей предположим, что в 4o 100 миллиардов активированных параметров, делая скидку на то, что в OpenAI инференсом занимаются крайне толковые люди. Кстати, Gemini Flash 1.5 с последним обновлением выдаёт 330 tok/s.
2. Амортизированная стоимость сервера с 8 H100. Чтобы не сильно расстраиваться, возьмём оценку сверху как цену такого сервера на AWS – на сегодняшний день $39.33 в час. На рынке цены могут быть минимум в пять раз меньше.
3. MFU – какой процент вычислений используется эффективно. Стандартом является 30-50%, для наших прикидок возьмём 30%.
При таких допущениях (а с другими вы можете поиграть в колабе), стоимость инференса миллиона токенов получается $0.23. Сравним это с официальной ценой в $2.5 за input и $10 за output и получим наценку API в ~50 раз. И это – оценка сверху со всеми допущениями в сторону удорожания. С другой стороны, кому-то же надо скидываться Саме на Koenigsegg. 😮💨
Заодно мы можем посчитать, насколько дешевле модели в сравнении с кожаными мешками. Взяв минимальную зарплату в Нью-Йорке ($16) и производительность в 100 токенов в минуту (среднее у людей примерно 50 слов в минуту), получим стоимость миллиона токенов в $2666.67. Даже o1 со своими $60 / Mtok тут рядом не стоит. Есть, куда расти!
От слов к делу — Microsoft подписали контракт на покупку любого количества энергии, производимой на американской АЭС Three Mile Island, в следующие 20 лет. Эта АЭС — как Чернобыльская станция в СССР: в 1979-м году там произошла авария на одном из двух блоков. Это была крупнейшая авария в истории коммерческой атомной энергетики США, которая усилила уже существовавший кризис и вызвала всплеск антиядерных настроений в обществе. Хотя всё это и не привело к мгновенному прекращению роста атомной энергетической отрасли США, её историческое развитие было остановлено. После 1979 и до 2012 года ни одной новой лицензии на строительство АЭС не было выдано, а ввод в строй 71 ранее запланированной станции был отменён — ушла эпоха.
Первый (из двух) блоков станции в порядке, он работал до 2019-го года (на ЧАЭС тоже после выхода из строя четвертого блока продолжалась выработка энергии на остальных трёх — вплоть до 2000-го года). Но его решено было остановить по экономическим причинам: столько энергии не было нужно, да и в США появились более дешёвые источники выработки.
Старющий реактор в штате Пенсильвания должны перезапустить к 2028-му, на АЭС вернутся ~600 специалистов — и всё это для того, чтобы получить лишние 835 мегаватт энергии для подпитки датацентров. Этого примерно хватит для содержания 700'000 домов в США, но всё уйдет на обучение GPT-N+1 и генерацию картинок 😐
Google не отстаёт — буквально на днях СЕО Alphabet Sundar Pichai хвастался, что у них уже в работе гигаваттный датацентр, и что его хотят подпитывать современными небольшими модульными ядерными реакторами. Ну и новости про Oracle/Amazon не забываем — те тоже ударились в ядерку.
Кажется, AI гонка и нехватка энергии для будущих датацентров подстегнули развитие атомной энергетики в США как никто другой в последние 40 лет. Интересно, что в планах дальше у OpenAI x Microsoft и Co?
Подпись к мему:
Я не против ядерной энергетики, но перезапуск THREE MILE ISLAND, потому что Sam Altman нужно больше гигаватт, чтобы выяснить, сколько букв «r» в слове «strawberry» — это знаменательная веха в раздутии пузыря искусственного интеллекта.
Sama 🤝 Мирный Атом
В Калифорнии подписан сенатский законопроект 976, который не только запрещает "каналы, вызывающие привыкание", но и по сути требует не показывать нотификации несовершеннолетним пользователям с 12 до 6 утра. Не, звучит разумно, но как это реализовывать, я совсем не понимаю.
Бывший министр иностранных дел от партии Авода, профессор Шломо Бен-Ами: «Идея создания палестинского государства больше неосуществима. Палестинскую проблему нужно связывать с Иорданией, а не с Израилем».
Такова должна быть официальная позиция государства Израиль и она не должна быть зависима от того какая политическая сила приходит к власти, так как территория суверенного государства не может быть предметом торга.
Тем кто очень хочет предоставить государство джихадистам в угоду их колониальных амбиций, могут сделать это взяв часть территории Иордании которой не существовало до 1947 года и которая также изначально была частью региона «палестина» или просто переименовать Иорданию в «палестина».
—
ЛЕВИАТАН — телеграм-канал для думающих иначе t.me/israelvoice
