Проект “НаВстрече!” Интеллектуальный сервис записи и анализа онлайн-встреч
Задача
Создать удобный и масштабируемый сервис, который позволяет подключать бота-записывателя к встречам в популярных платформах видеосвязи, таких как Google Meet, Yandex Телемост, Zoom, TrueConf, IVA и Контур Meet. Сервис должен записывать встречи, автоматически генерировать видео с субтитрами и таймкодами, а также отчет с ключевыми тезисами, подготовленный нейросетью. Пользователи могут задавать вопросы ИИ по содержанию встречи. Записи разделяются по контекстам (личные, корпоративные, командные) через поддомены, а архитектура должна масштабироваться для обработки большого числа пользователей и встреч.
Решение
Мы разработали веб-приложение с интерактивным интерфейсом и функциональным ВКС-ботом. Фронтенд, построенный на React, TypeScript, Tailwind, RadixUI, Vite и i18n, включает личный кабинет для управления встречами и ботами. Интерактивный видеоплеер отображает видео с субтитрами и таймкодами, а отчет встречи формируется в один клик. Чат с ИИ позволяет уточнять детали встречи. Записи разделяются по поддоменам для личных, корпоративных и командных контекстов.
ВКС-бот реализован как монолитное Node.js-приложение с разделением на компоненты. Broker, использующий Node.js, TypeScript, Knex (MySQL), Redis, BullMQ, Express и Zod, валидирует задачи, управляет очередями и может прерывать или запрещать запись. Worker, построенный на Node.js, JavaScript, Playwright, Knex, Redis, BullMQ и Axios, автоматически подключается к встречам через браузер, записывает видео с помощью FFMPEG и PulseAudio, сохраняет данные для субтитров и отслеживает активность участников. Хранилище на MySQL и Redis обеспечивает надежность данных, а масштабируемость достигается за счет репликации Worker’ов.
Использованные технологии включают Node.js, TypeScript, Playwright, Express и Knex для бэкенда, MySQL, Redis и BullMQ для работы с данными, FFMPEG и PulseAudio для обработки видео и звука, а также React, TypeScript, Tailwind, Vite и i18n для фронтенда. Интеграция с ИИ отвечает за генерацию отчетов и ответы на вопросы.
Результаты и преимущества
Сервис поддерживает запись встреч в более чем шести платформах видеосвязи, автоматически создавая видео, субтитры с таймкодами и отчеты с ключевыми тезисами на основе нейросети. Архитектура позволяет обрабатывать десятки и сотни встреч одновременно, обеспечивая высокую отказоустойчивость. Пользователи получают четкое разделение записей по личным, корпоративным и командным контекстам. Удобный видеоплеер, AI-отчеты, чат для уточнений и интеграция с популярными ВКС-платформами делают сервис универсальным и гибким.