#85 - Роман Гребенников - Lucene, Scala и стейтслесс поиск

В 85 выпуске подкаста Javaswag в гостях Роман Гребенников, инженер с огромным опытом в разработке поисковых движков (Findify, Delivery Hero) и создатель open-source проектов Metarank и Nixie Search.

Мы обсудили эволюцию поиска от “просто возьми Elastic” до хайпа по векторным базам данных и обратно. Поговорили о том, почему Scala всё еще жива, зачем нужен GraalVM в 2024 году, и как построить свой поисковый движок поверх S3 и AWS Lambda.

00:00 — Начало

04:44 — Findify: скраперы на C++, переход на Scala

13:25 — Эволюция поиска - ElasticSearch

19:37 — Elasticsearch vs OpenSearch

22:50 — Apache Lucene Deep Dive

28:53 — Как выбрать поиск для своего проекта?

38:40 — Spark vs Apache Flink

48:30 — MetaRank

53:48 — Почему Scala

01:05:25 — Python в ML

01:13:41 — Стартапы vs Корпорации

01:21:17 — Nixie Search

01:36:58 — Рынок векторных БД: Qdrant, Meilisearch, TurboPuffer

01:47:15 — Опыт с GraalVM: Как засунуть Scala и Lucene в AWS Lambda с холодным стартом в 20 мс

01:57:24 — Непопулярное мнение

Гость: https://twitter.com/public_void_grv

Ссылки:

• Nixie Search https://github.com/nixiesearch/nixiesearch
• MetaRank https://github.com/metarank/metarank
• Apache Lucene https://lucene.apache.org/
• Apache Flink https://flink.apache.org/
• GraalVM https://www.graalvm.org
• Qdrant https://qdrant.tech/

Ссылки на подкаст:

• Сайт - https://javaswag.github.io/
• Телеграм - https://t.me/javaswag
• Youtube - https://www.youtube.com/@javaswag
• Linkedin - https://www.linkedin.com/in/volyihin/
• X - https://x.com/javaswagpodcast