Alternative à MultiNet pour ESP32 : un modèle TFLite, plusieurs commandes

MultiNet d’ESP-SR propose une architecture de commandes hors ligne. Voicute offre le même schéma fonctionnel avec une autre distribution : un modèle INT8 TFLite compact reconnaît plusieurs mots-clés et renvoie un identifiant de commande au firmware ESP32.

Les sept langues prises en charge

La matrice actuelle de Voicute comprend le chinois, l’anglais, le japonais, le français, l’allemand, l’espagnol et l’hindi. Un modèle Multi-Keyword peut reconnaître plusieurs commandes fixes dans une langue sélectionnée.

Un modèle pour remplacer plusieurs détecteurs

Multi-Keyword n’est pas un ensemble de modèles indépendants. Les mots partagent l’extraction des caractéristiques et une seule inférence distingue l’ensemble configuré. La sortie est convertie en identifiant de commande, comme dans le rôle de commande de MultiNet.

Déploiement ESP32 avec TFLite Micro

Exportez le modèle INT8 TFLite et sa tête de sortie, conservez le pipeline mono 16 kHz et intégrez les deux dans ESP-IDF. Un détecteur de réveil peut lancer l’interaction, puis le modèle Multi-Keyword reconnaît les commandes.

Couverture linguistique

Si MultiNet ne propose pas le modèle de langue requis, un modèle TFLite entraîné pour la langue cible est préférable à une simple traduction de la liste de commandes. Les sept langues Voicute suivent ce même chemin.

Démonstration

Commencez par l’exemple ESP32 open source et le modèle multi-commandes de démonstration, puis mesurez rappel, faux déclenchements, latence et RAM sur le matériel final.

ESP32 demo deployment

git clone https://github.com/voicute/onnx-wakeword.git\ncd onnx-wakeword/esp32/examples/esp32s3_hmi_devkit\nidf.py set-target esp32s3\nidf.py build

Start with the open-source ESP32 example and the public multi-keyword demo model. Validate the final microphone, enclosure, noise conditions, recall, false triggers, latency and RAM before shipping.