skysilver

<<< Назад

Мой взгляд на вопрос голосового управления в MajorDoMo

Мнение об использовании голосового управления в MajorDoMo, а также разборка массива микрофонов из PlayStation Eye.

Очень часто задаваемый вопрос на форуме и в чате Telegram - как прикрутить голосовое управление к MajorDoMo?

Лично я в своем УД управление голосом в повседневном режиме практически не использую. Пара раз в качестве теста или wow-эффекта для гостей не в счет. Но, видимо, уже настало время подстроиться под современные тренды, поэтому начинаю постепенно погружаться в эту тему.

В MajorDoMo уже есть как минимум три способа управления голосом:

  1. Приложение для android MajorDroid.
  2. Расширение для браузеров ChromeGateMJD.
  3. Telegram-bot + штатный голосовой набор клавиатуры в android или ios.

В принципе все они вполне могут использоваться на практике. Но в то же время имеют ряд недостатков, которые ограничивают возможности их практического применения.

Основой любого голосового управления является правильное преобразование речи в текст (распознавание, speech to text - STT), которое в свою очередь напрямую зависит от качества аудио записи, полученной с микрофона. Соответственно можно сделать вывод, что все упирается в качество микрофона. Использовать для этих целей встроенный микрофон, usb-микрофон и т.п. одноканальные микрофоны - тупиковый вариант. Перспективный и, имхо, единственно верный вариант - это применять массив микрофонов с последующей цифровой обработкой сигнала с помощью специализированного сигнального процессора (DSP). Именно такой подход применяется в коммерческих продуктах таких, как Amazon Echo (Alexa) и Google Home (Ok, Google).

Массив микрофонов (4 и более микрофона) совместно с DSP обеспечивают шумоподавление, эхоподавление, АРУ, бимформинг, определение направления на источник звука.

Для любителей DIY на рынке есть несколько KIT-решений для самостоятельной сборки аналогов Amazon Echo и Google Home:

  • Seeed ReSpeaker Mic Array;
  • Conexant 4-Mic Development Kit;
  • Microsemi AcuEdge;
  • MATRIX Creator;
  • MiniDSP UMA-8.

Хороший сравнительный обзор и тестирование этих микрофонных массивов приведены в Benchmarking Microphone Arrays.

Помимо специализированных массивов в тестировании также участвовала usb-камера от Sony PlayStation 3 - PlayStation Eye. Данная камера имеет на борту микрофонный массив из 4-х микрофонов (4х16-bits/channel, 48kHz, SNR 90db) и по результатам тестирования показала на удивление хорошие результаты, несмотря на то, что в ней отсутствует специализированный DSP. Поэтому для начала остановился именно на ней.

В настоящий момент PlayStation Eye официально не продается, но ее вполне можно найти на барахолках, avito, в ломбардах. Мне удалось купить ее за 600 р. в местном клубе любителей PlayStation.

ps_eye_1
ps_eye_2
ps_eye_3
ps_eye_4
ps_eye_5

Продолжение следует...

P.S. Пользователем форума immortal разрабатывается шилд голосового ассистента, подробности о котором можно узнать в чате Telegram

Обсуждение (3) (16)

Смотрите так же:
20.06.2019 MajorDoMo и Яндекс Алиса. Алиса, измени цвет бра на красный.
18.06.2019 MajorDoMo и Яндекс Алиса. Алиса, сделай ярче настольную лампу.
17.06.2019 MajorDoMo и Яндекс Алиса. Алиса, включи свет на кухне.
10.06.2019 MajorDoMo и Яндекс Алиса. Модуль Yandex Home.
06.06.2019 MajorDoMo и Яндекс Алиса. Объединение аккаунтов.
05.06.2019 MajorDoMo и Яндекс Алиса. Регистрация приватного навыка.
03.06.2019 Загрузка PHP-расширения PDO MySQL в Windows
01.06.2019 MajorDoMo и Яндекс Алиса. Публикация вебхуков.
29.05.2019 MajorDoMo и Яндекс Алиса. Общие сведения.
22.05.2019 Экспресс контроль состояния циклов в Linux
08.05.2019 Сценарий контроля состояния SSL сертификатов сайтов
26.02.2019 Экспорт графиков в PNG-файл в модуле Charts
26.01.2019 Мультисерийный кастомный график в модуле Charts
30.12.2018 Личные итоги 2018 года
13.12.2018 График с цветовой индикацией выхода величины за пределы
12.11.2018 Кастомный график в модуле Charts
15.08.2018 Кронштейн NB F120 (North Bayou)
18.07.2018 WiFi-информер на светодиодных матрицах MAX7219 и ESP8266. Часть 3.
20.06.2018 WiFi-информер на светодиодных матрицах MAX7219 и ESP8266. Часть 2.
15.06.2018 WiFi-информер на светодиодных матрицах MAX7219 и ESP8266. Часть 1.
20.05.2018 Кросс-компиляция ядра для Banana Pi M2U
14.05.2018 Ссылки на ресурсы по MajorDoMo
02.03.2018 Знакомство и тестирование Banana Pi M2U
21.02.2018 Распаковка Banana Pi M2U
14.02.2018 Одноплатный ПК для MajorDoMo
14.08.2018 Заметки по железу
17.01.2018 Обзор цен на устройства Xiaomi
24.12.2017 Гирлянда на ESP8266 и WS2812
20.12.2017 Блог им. skysilver

Киров, Россия

На форуме: skysilver

Веб-сайт:
http://connect.smartliving.ru/profile/461