Data центр в вашем телефоне!
Центры обработки данных активно используют FPGA для ускорения ИИ. Почему бы не сделать то же самое для периферийных приложений с низким энергопотреблением со встроенными FPGA (eFPGA)?
Всем, кто связан с индустрией облачных вычислений, хорошо известно, что центры обработки данных в значительной степени полагаются на FPGA для программируемых ускорителей, обеспечивающих высокопроизводительные вычисления для обучения ИИ и инференса (Инференсом называется непрерывная работа какой-либо нейронной сети на конечном устройстве. Инференс выполняется для совершенно разных нейронных сетей, например — для распознавания марок, моделей транспортных средств, лиц, голосов, анализа текстовых материалов и много другого. То есть, это процесс исполнения сети, когда она уже готова к проведению полезной работы). Эти гетерогенные вычислительные решения развились из-за снижения производительности при уменьшении узлов процессов. Подобный разнородный прирост производительности также можно получить с помощью ASIC, ASSP (applications specific standard parts) и микроконтроллеров с eFPGA (embedded FPGA).
Разработчики микросхем для краевого IoT, потребительских и мобильных устройств всегда стремятся к максимальной производительности при минимальном энергопотреблении. Однако нехватка мощности сильно ограничивает производительность в SoC, она возникает по многим причинам, таким как техпроцесс, инвестиции в программное обеспечение вокруг архитектуры процессора или имплементации и затрудняют обновление до процессора с более высокой производительностью (если он есть) или добавление большего числа параллельных процессов. А может процессор просто не лучший вычислительный механизм для выполнения сложных рабочих нагрузок, таких как вывод, параллельная обработка, фильтрация и сжатие, которые требуют много тактовых циклов (и потребляют много энергии) для выполнения этой функции?
С такими ограничениями проектировщики могут позаимствовать у архитекторов Data-центров план действий, для интеграции eFPGA в свои ASIC. В конце концов, если немного напрячь воображение, SoC — это крошечный центр обработки данных. Сегодня большинство SoC не используют возможности программируемых ускорителей на основе FPGA, а это означает, что существует множество возможностей значительно повысить производительность систем на чипе без необходимости радикального изменения производственного цикла чипа, аппаратной или программной архитектуры.
eFPGA созданный для ускорения ИИ, например, может быть решением для широкого спектра требований. Для решений, ориентированных на ЦП, набор инструкций процессора может быть дополнен инструкциями, настроенными для конкретной модели инференса. Для повышения производительности и более традиционного подхода можно интегрировать более крупную структуру eFPGA для выполнения сложных механизмов инференса, разработанных и используемых в FPGA. В последнем случае, даже если мощность SoC может увеличиться, общая мощность системного решения уменьшится, поскольку набор энергоемких SerDes удаляется при удалении микросхемы FPGA, не говоря уже о стоимости и пространстве на плате.
Для приложений, которым не требуется высокая степень точности, более подходящим может быть универсальное решение, заключающееся в подключении небольшого количества eFPGA к системной шине и программировании его с помощью XNOR или бинарной нейронной сети, которая использует минимальное количество LUT.
Здесь вы можете увидеть демонстрацию модели XNOR, распознающей символы всего с 200 LUT. Если он не используется для ускорения ИИ, его можно запрограммировать и с другими ускорителями рабочей нагрузки, не ориентированными на ИИ, или отключить его для экономии энергии.
Благодаря наличию проверенных микросхем eFPGA во многих технологических узлах разработчики могут использовать вычислительную мощность центра обработки данных в своих SoC для периферийных приложений и решать задачи ускорения гетерогенных вычислений или искусственного интеллекта, независимо от того, большие они или малые.
Теперь вы тоже можете поместить центр обработки данных в свой телефон!
Оригинал
PS: кстати eFPGA можно и в отечественные микросхемы интегрировать, но @KeisN13 расскажет об этом чуточку позже
