MultiNet-Alternative für ESP32: Ein TFLite-Modell, mehrere Befehle

ESP-SR MultiNet ist eine Offline-Architektur für Sprachbefehle. Voicute bietet ein ähnliches Geräteprinzip: Ein kompaktes INT8-TFLite-Modell erkennt mehrere Keywords und gibt eine Command-ID an die ESP32-Firmware zurück.

Die 7 unterstützten Sprachen

Die aktuelle Voicute-Matrix umfasst Chinesisch, Englisch, Japanisch, Französisch, Deutsch, Spanisch und Hindi. Ein Multi-Keyword-Modell kann mehrere feste Befehle in einer ausgewählten Sprache erkennen.

Ein Modell für mehrere Befehle

Multi-Keyword ist kein Bündel unabhängiger Einzelmodelle. Die Keywords teilen die Merkmalsextraktion; ein Inferenzlauf unterscheidet die konfigurierten Befehle und erzeugt unterschiedliche Command-IDs.

ESP32-Bereitstellung mit TFLite Micro

Exportieren Sie das passende INT8-TFLite-Modell und den Output-Head, behalten Sie die 16-kHz-Mono-Pipeline bei und integrieren Sie beide gemeinsam in ESP-IDF. Nach dem Wake-up erkennt das Modell die Befehle.

ESP32 demo deployment

git clone https://github.com/voicute/onnx-wakeword.git\ncd onnx-wakeword/esp32/examples/esp32s3_hmi_devkit\nidf.py set-target esp32s3\nidf.py build

Start with the open-source ESP32 example and the public multi-keyword demo model. Validate the final microphone, enclosure, noise conditions, recall, false triggers, latency and RAM before shipping.