Когда у CEO Nvidia брали интервью после презентации новых чипов, он хвастался, что разработка прототипов (включая исследования) обошлась в более чем десять миллиардов долларов. Также он отметил, что получение именно такой производительной GPU возможно лишь с использованием AI — то есть методы машинного обучения позволяют делать железки более крутыми.
Другие производители железа тоже не дремлют, вот Google занимается применением Reinforcement Learning к задаче дизайна чипов уже более четырёх лет. За это время вышло три поколения TPU (аналог GPU, заточенный конкретно под нейронки), в каждом из которых использовались аналогичные ИИ оптимизации.
Компьютерные чипы состоят из множества взаимосвязанных блоков, соединенных проводами. Существует также множество сложных и взаимосвязанных ограничений проектирования финальной компоновки, которые необходимо соблюдать (все сразу). AlphaChip — подход Google — формулирует эту проблему как игру, как было с Го или шахматами. Начиная с пустой платы, AlphaChip размещает по одному компоненту, как бы делая «ходы», пока не закончит размещение всех частей.
Затем решение оценивается некоторым способом в зависимости от качества макета. Этот процесс повторяется много-много раз, и в конце концов нейронка обретает интуицию того, какие компоновки лучше, какие — хуже.
На картинке вы видите разницу в длине проводов в чипах трёх поколений, посчитанную между компоновкой, предложенной командой инженеров, и найденной алгоритмом. В последнем рабочем поколении TPU она составляет более 6%. Это очень важно, ведь чем меньше длина, тем меньше времени нужно, чтобы передать сигнал, так что тут речь не только об экономии на материалах.
И сам процесс дизайна выходит несравненно быстрее: несколько часов, а не недель или месяцев усилий команды высокооплачиваемых инженеров.
Также Google в конце блогпоста пишет, что будущие версии уже находятся в разработке, и, вероятно, стоит ждать бОльших оптимизаций в TPU следующих поколений.
Оригинальная статья 2020-го года с описанием подхода.
