Запуск нейросетей на ПЛИС. Краевой ИИ. Академическая деятельность.

В тридцать втором выпуске «Битовых масок» Антон Афанасьев и Алина Галичина разбираются в краевом искусственном интеллекте вместе с Иваном Дейнекой — заведующим лабораторией Высшей инженерно-технической школы ИТМО. Иван совмещает три роли сразу: инженерную, научную и преподавательскую, а его команда размещает нейросети на ПЛИС и SoC.

00:01:01 - Как тройка по физике привела Ивана в ИТМО и оптику

00:08:06 - Как совмещать три роли: инженер, преподаватель, научный сотрудник

00:18:27 - Как изменился студент и что ИИ-ассистенты делают с образованием

00:30:07 - Стек лаборатории: Qt, ПЛИС и собственные функциональные модули

00:35:22 - Редкие баги и идея ловить их нейросетью прямо в ПЛИС

00:48:46 - Почему DSP-процессоры — вымирающий вид

00:54:50 - На каких ПЛИС учить студентов и почему стоит попробовать несколько

01:18:28 - Оптимизация проекта: время компиляции, площадь и ресурс-балансинг

01:35:47 - Что такое краевой ИИ и зачем алгоритм переносят к источнику данных

01:41:39 - Какие модели размещают на ПЛИС

01:50:26 - Память как главное ограничение ПЛИС по сравнению с GPU

01:56:39 - Локальные LLM в лаборатории: экономия токенов и защита данных

02:03:14 - Как обучали свою сверточную сеть на синтетических данных

Полезные ссылки: 

GitHub лаборатории Высшей инженерно-технической школы ИТМО: https://github.com/debreti/nirsii-fpgai

доклад Ивана Дейнеки «Edge AI на ПЛИС: тенденции и руководство по размещению»: https://www.youtube.com/watch?v=iG6lkyFEBVg

выпуск «Битовых масок» о верификации, open source и AI с Богданом Колбовым: https://engineer.yadro.com/podcast/kogerentnost-avtomatizacziya-ml-dlya-rtl-i-verifikaczii/

выпуск «Битовых масок» о спецпроцессорах с Петром Советовым: https://engineer.yadro.com/podcast/dsl/

телеграм-канал «Битовых масок»: https://t.me/bitemask

телеграм-канал «Истового инженера»: https://t.me/ultimate_engineer