ESP32向けMultiNet代替：1つのTFLiteモデルで複数コマンド

ESP-SR MultiNetはオフライン音声コマンドのアーキテクチャです。Voicuteも1つのコンパクトなINT8 TFLiteモデルで複数キーワードを区別し、ESP32ファームウェアへcommand IDを返します。

対応する7言語

現在のVoicuteの言語は中国語、英語、日本語、フランス語、ドイツ語、スペイン語、ヒンディー語です。選択した言語で複数の固定コマンドを1つのMulti-Keywordモデルで認識できます。

1つのモデルで複数コマンドを認識

Multi-Keywordは単一キーワードモデルの寄せ集めではありません。特徴抽出を共有し、1回の推論で設定されたコマンドを区別してcommand IDを出力します。

ESP32へのTFLite Micro実装

対応するINT8 TFLiteモデルとoutput headを一緒に出力し、16 kHzモノラルの特徴処理を維持してESP-IDFへ組み込みます。ウェイク後にモデルが固定コマンドを認識します。

ESP32 demo deployment

git clone https://github.com/voicute/onnx-wakeword.git\ncd onnx-wakeword/esp32/examples/esp32s3_hmi_devkit\nidf.py set-target esp32s3\nidf.py build

Start with the open-source ESP32 example and the public multi-keyword demo model. Validate the final microphone, enclosure, noise conditions, recall, false triggers, latency and RAM before shipping.