Библиотеки и модели для распознавания речи: 7 вариантов

Рынок технологий распознавания голоса сейчас оценивается почти в $15 млрд. И это только начало — эксперты прогнозируют рост до $42 млрд в ближайшие годы. Почему такой бум? Всё просто: люди хотят управлять сервисами голосом, это удобно и естественно.

Если вы разрабатываете продукт и думаете о внедрении голосовых функций, то не нужно изобретать велосипед. Есть готовые библиотеки для транскрибации речи — достаточно вызвать нужную функцию в коде или отправить запрос через API. Какие решения есть на рынке и что из этого подойдёт именно вам — в статье.

Начнём с open source. Их главное преимущество — можно использовать и модифицировать код под свои задачи бесплатно. Хотите адаптировать модель под медицинскую терминологию или специфику вашей отрасли? Исходный код в вашем распоряжении.

DeepSpeech изначально разработала Mozilla, но с 2020 года проект живёт силами сообщества разработчиков. В основе — рекуррентная нейронная сеть, которая принимает звуковой поток и превращает его в последовательность символов нужного вам языка.

Технологии машинного обучения позволяют отказаться от ручной настройки всех этих фонемных словарей, фильтров шумов и реверберации. Система достаточно точно распознаёт человеческую речь, а точность можно повысить, обучив модель на ваших собственных данных.

Библиотека работает быстро даже на не самых мощных устройствах. Правда, есть нюанс: при использовании напрямую придётся создавать собственный API. Но зато есть готовые обёртки для разных языков программирования, что упрощает интеграцию.

По точности: показатель ошибок на уровне слов (WER) составляет до 32%, а на уровне символов (CER) — до 13%. Не идеально, но для многих задач вполне приемлемо.

Kaldi — это серьёзный инструмент, который используют и в научных исследованиях, и в коммерческих проектах. Здесь применяют скрытые марковские модели и глубокие нейронные сети.

Библиотека даёт огромную свободу: создавайте и настраивайте модели для разных языков, акцентов и диалектов. Можете запускать её в кластерных системах для параллельной обработки данных. Хотите добавить свои алгоритмы? Без проблем, расширяйте функциональность как угодно.

Но учтите: Kaldi требует глубокой настройки и большого объёма данных для обучения. Это решение для тех, кто готов потратить время на доводку системы под свои нужды.

Работает как обёртка над несколькими движками сразу: Google Web Speech API, Sphinx, Bing Speech API, Google Cloud Speech API и другими.

Библиотеку легко интегрировать в скрипты на Python, внутри удобный интерфейс. Можете работать с разными системами — Windows, macOS, Linux. Выбирайте облачные сервисы или офлайн-движки в зависимости от того, нужен ли доступ к интернету.

Для практического применения системы распознавания речи это один из самых простых вариантов. Нужные функции вызываются прямо из кода, а поддержка множества платформ даёт дополнительную гибкость при выборе технологий для конкретного проекта.

Vosk построен на усовершенствованном ядре Kaldi, но при этом гораздо удобнее в использовании. Главная фишка — работает офлайн даже на слабых устройствах.

Языковая модель занимает всего 50 Мб, но распознаёт точнее, чем DeepSpeech с моделью более 1 Гб. Поддерживает больше 20 языков, включая русский, английский, французский, немецкий. Работает на ПК, смартфонах, даже на Raspberry Pi.

Установка простая — одна команда pip3 для компьютера, установочные файлы для мобильных устройств. Может обрабатывать потоковый звук, что отлично подходит для голосовых помощников с мгновенной реакцией на команды. Легко интегрируется в Java, JavaScript, C#.

Есть даже возможность идентифицировать говорящего для распознавания диалогов, правда, это требует дополнительной настройки.

Платные библиотеки окупаются простотой использования и широкой функциональностью. Не нужно тратить недели на настройку — всё уже работает из коробки.

Яндекс рекомендует своё решение для голосовых ассистентов, автоматизации работы колл-центров, контроля менеджеров в CRM. Распознавание устной речи происходит на серверах Яндекса, что обеспечивает высокую скорость и точность.

Библиотека транскрибирует речь на русском, английском и других языках с учётом диалектов и стилистических особенностей. Может работать в режиме реального времени — подключайте её как голосового ассистента или бота службы поддержки.

Легко интегрируется с другими сервисами Яндекса, взаимодействие происходит через API.

Инструмент, который используется в контакт-центре самого Т-Банка и доступен как коммерческое решение.

Показатели впечатляют: точность до 96%, быстрая транскрибация даже с посторонними шумами и дефектами произношения. Система определяет пол говорящего, синтезирует голос на основе записи диктора или ваших пожеланий.

Библиотека легко адаптируется под бизнес-задачи — можете обучить языковые модели под специфику вашей отрасли. Применяется для автоматизации контакт-центров, речевой аналитики, озвучивания контента, голосового управления умным домом.

Решение от Google работает в облаке и использует машинное обучение. Новые пользователи получают кредиты для тестирования.

Модель обучили на миллионах часов аудиозаписей, без привязки к специфике конкретного языка. Это позволяет точнее распознавать речь с акцентом, дефектами произношения, различные диалекты.

Speech-to-Text поддерживает более 125 языков и их вариантов. Выбирайте готовую обученную модель для вашей сферы или настраивайте её под себя. Можете адаптировать языковую модель, расширить словарный запас дополнительным словарём, отфильтровать шумы.

Библиотека распознаёт как потоковую речь от микрофона, так и предварительно записанное аудио. Используйте её для крупных проектов с поддержкой большого количества языков — голосовых интерфейсов, ботов, транскрибации звонков.

Выбор зависит от ваших конкретных задач. Разберём несколько сценариев.

Нужна максимальная точность и готовы настраивать — берите DeepSpeech или Kaldi. Они очень точно распознают голос на разных языках и предоставляют полную гибкость. Правда, придётся правильно настроить их и обучить собственные модели.

Работаете с Python и хотите быстро начать — SpeechRecognition легко встраивается в скрипты. Распространяется по open source-лицензии, хотя существуют и готовые коммерческие решения на её основе.

Нужно работать офлайн на слабых устройствах — Vosk. Небольшая по размеру библиотека отлично работает даже на Raspberry Pi.

Создаёте корпоративный сервис или масштабируемый проект — посмотрите на SpeechKit от Яндекса, VoiceKit от Т-Банка или Cloud Speech-to-Text. Это готовые коммерческие решения с поддержкой и документацией.

Один из наших клиентов, который тестировал голосового ассистента Notificore, решил использовать DeepSpeech для расшифровки телефонных звонков. На тестировании количество ошибок превысило 50% из-за фоновых шумов. Расшифрованный текст невозможно было нормально анализировать.

Компания переключилась на коммерческое API для транскрибации звонков. Количество ошибок упало до 7–18% в зависимости от качества записи. Анализ расшифровок позволил найти проблемы в работе менеджеров и устранить их. Часть звонков начали переводить на Notificore, чтобы полностью автоматизировать рутинные вызовы.

Цифры говорят сами за себя:

Если создаёте голосовых роботов, обратите внимание и на документацию Notificore. Платформа позволяет быстро создавать и запускать роботов; можете использовать их для обработки входящих звонков, подтверждения заказов, напоминаний о платежах. Платформа также включает сервисы SMS-рассылок, транзакционных email-рассылок и отправки кодов подтверждения через Telegram API. Всё это можно интегрировать в единую систему коммуникаций.

Не нужно создавать собственное решение на базе ИИ с нуля. Доступны готовые библиотеки — и бесплатные, и платные. Выбирайте в зависимости от ваших задач, бюджета и технических возможностей команды.

Open source-решения вроде DeepSpeech, Kaldi, SpeechRecognition и Vosk дают максимальную гибкость и контроль над системой. Коммерческие платформы от Яндекса, Т-Банка и Google экономят время и предоставляют готовые решения с поддержкой.

Более того, у платформ для омниканальных коммуникаций есть готовые API для распознавания голоса. Достаточно вставить в код вызов программного интерфейса с нужными параметрами — и всё работает.