GPU и акселераторы для нейросетей / Тензорные компиляторы / Инференс LLM

В новом выпуске «Битовых масок» главной темой стали нейросети — и, конечно же, системное программирование и аппаратная разработка в этой области. К Елене Лепилкиной и Антону Афанасьеву присоединился Андрей Камаев. Андрей стартовал в ИИ-разработке с популярнейшей библиотеки компьютерного зрения OpenCV еще в те времена, когда этим занималась независимая компания Itseez.

Затем он продолжил карьеру в Intel, а сейчас является экспертом по разработке ПО искусственного интеллекта YADRO.

В ходе выпуска Андрей рассказал об истории развития современных нейросетей и осветил текущий рынок «железа» для ИИ. После этого разговор перешел к специфике разработки LLM «изнутри» и завершился полезными советами для тех, кто только начинает искать место разработчика и боится конкуренции с нейросетями. Основные темы подкаста:

как сфера искусственного интеллекта пришла к LLM и другим современным концепциям;

как устроены гонки на рынке больших языковых моделей сегодня;

как поделен рынок «железа» для тренировки LLM;

почему в лидеры ИИ-железа не вышла AMD;

почему сложно сделать специальный аппаратный акселератор для LLM, как для криптовалюты;

что особенного в компиляторах для нейросетей;

почему любая нейросеть — это вредный джинн;

что важно разработчикам-джунам для успешной конкуренции с LLM.