Skip to content

voice input #45

Open
Open

Description

@Thio007

Body — voice input (Vosk STT, optional)
WARN no Vosk model — voice input stays off (nox-voice exits cleanly)
↳ optional: download from https://alphacephei.com/vosk/models, set VOSK_MODEL_PATH

Where to do that?
I have models, certainly not config to find path

Activity

  1. rockywuest commented on Oct 9, 2026

    @rockywuest
    Owner

    Tu as raison — c'était un trou dans la doc : le README n'avait aucune section sur l'entrée vocale, et rien ne disait où mettre VOSK_MODEL_PATH. Corrigé dans #47 (nouvelle section « 🎤 Talking to the Dog » + body/nox.env.example documenté ; l'issue s'est fermée avec le merge, rouvre-la si besoin).

    La réponse courte : ça se met dans body/nox.env, sur le robot.

    # 1. Sur le robot — un modèle pour TA langue (c'est lui qui décide ce que le chien comprend) :
    mkdir -p ~/vosk-models && cd ~/vosk-models
    wget https://alphacephei.com/vosk/models/vosk-model-small-fr-0.22.zip && unzip vosk-model-small-fr-0.22.zip
    
    # 2. Dans ~/pidog-embodiment/body/nox.env, ajoute (chemin complet, systemd ne comprend pas ~) :
    VOSK_MODEL_PATH=/home/cat1/vosk-models/vosk-model-small-fr-0.22
    
    # 3. Puis :
    cd ~/pidog-embodiment && git pull
    sudo systemctl restart nox-voice nox-body nox-bridge
    journalctl -u nox-voice -n 20 --no-pager   # le modèle doit se charger

    Il faut un micro USB branché sur le robot (le service le détecte tout seul). Ensuite : dis « Nox », puis ta commande — « Assieds-toi ! », « Aboie ! »… Le mot d'éveil reste « Nox » quelle que soit la langue du modèle.

    Mets aussi à jour la machine du brain (git pull && sudo systemctl restart nox-brain) : on a corrigé au passage deux choses qui te concernent directement — si ton Ollama refuse le response_format OpenAI, le brain réessaie sans (avant, tout le chemin LLM semblait mort) ; et si un petit modèle répond en texte au lieu de JSON, le chien exécute quand même ta commande au lieu de la réciter.

    ./scripts/doctor.sh te dit maintenant exactement ce qui manque (modèle ou micro). Dis-moi si le chien t'entend ! 🎤🐕

  2. Thio007 commented on Oct 9, 2026

    @Thio007
    Author

    Not exactly working, see log and diag

    VoiceInput1.txt

    Voice-DiagBody.txt

  3. Thio007 commented on Oct 9, 2026

    @Thio007
    Author

    but micro is working by using direct dog mic
    cat1@Cat1:~/pidog/examples $ sudo python3 test_stt_vosk1.py
    Parles stp
    final: bonjour
    Parles stp
    final: stop
    Parles stp
    final: knox
    Parles stp
    ^CTraceback (most recent call last):
    File "/home/cat1/pidog/examples/test_stt_vosk1.py", line 7, in
    for result in vosk.listen(stream=True):
    ~~~~~~~~~~~^^^^^^^^^^^^^
    File "/usr/local/lib/python3.13/dist-packages/sunfounder_voice_assistant/stt/vosk.py", line 309, in _listen_streaming
    data = q.get(timeout=0.5)
    File "/usr/lib/python3.13/queue.py", line 213, in get
    self.not_empty.wait(remaining)
    ~~~~~~~~~~~~~~~~~~~^^^^^^^^^^^
    File "/usr/lib/python3.13/threading.py", line 363, in wait
    gotit = waiter.acquire(True, timeout)
    KeyboardInterrupt

  4. rockywuest commented on Oct 9, 2026

    @rockywuest
    Owner

    Merci pour les logs — ils montraient tout ! Ton modèle français se charge parfaitement. Deux autres choses clochaient, les deux de notre côté, corrigées dans #51 :

    1. La détection du micro ne cherchait que des cartes « USB » — or ton micro est celui intégré au HAT du robot (la carte sndrpigooglevoi, la même que le haut-parleur). Faute de l'avoir trouvé, le code se rabattait sur plughw:3,0… qui n'existe sur aucun PiDog. arecord mourait aussitôt et la boucle s'arrêtait sans explication. Maintenant le micro du HAT est détecté, et s'il n'y a vraiment pas de micro, le log le dit clairement.
    2. doctor.sh disait « no Vosk model » alors que ton modèle tournait : il ne lisait pas VOSK_MODEL_PATH dans nox.env. Corrigé — et il vérifie maintenant le modèle et le micro séparément.
    cd ~/pidog-embodiment && git pull
    sudo systemctl restart nox-voice
    journalctl -u nox-voice -n 15 --no-pager
    # attendu :  [voice-v2] Microphone: plughw:2,0 (capture card 2:sndrpigooglevoi)
    #            [voice-v2] Listening...

    Puis dis « Nox », une pause, et ta commande : « Assieds-toi ! ». Le petit modèle Vosk n'est pas parfait sur le mot « Nox » — articule-le bien, ou essaie « hé Nox ». Si rien ne se passe, journalctl -u nox-voice -f montre en direct ce qu'il comprend.

  5. Thio007 commented on Oct 9, 2026

    @Thio007
    Author

    "Oct 09 17:35:12 Cat1 python3[11841]: [voice-v2] Wake word! Processing: 'de inox innovantes stan lee'
    Oct 09 17:35:14 Cat1 python3[11841]: [voice-v2] Echo suppression active for 8s
    Oct 09 17:35:17 Cat1 python3[11841]: [voice-v2] Echo suppressed: 'snob coucher'
    Oct 09 17:35:23 Cat1 python3[11841]: [voice-v2] Heard: 'merci'
    Oct 09 17:35:23 Cat1 python3[11841]: [voice-v2] Continuing conversation. Processing: 'merci'
    Oct 09 17:35:32 Cat1 python3[11841]: [voice-v2] Echo suppression active for 8s
    Oct 09 17:35:38 Cat1 python3[11841]: [voice-v2] Echo suppressed: 'stanley est un héros mais je vais d'abord trouver une source d'énergie avant de discuter de senlis attention ma batterie est presque vide'
    "

    Seems to work, i will try maybe by changing the wake word, not easy to find, working only without charging

    Seems to send false value about battery

    in fact, better with the journal -u nox-voice -f, but seems tu not understand as well with test on sunfournder, there was a parameter to get one langage?

  6. rockywuest commented on Oct 9, 2026

    @rockywuest
    Owner

    Bravo — ton log montre une vraie conversation : réveil, commande, réponse, suppression d'écho. 🎉 Tes trois observations, dans l'ordre :

    1. « False value about battery » — bug réel, corrigé dans #52. Quand la lecture de la tension échoue un instant, le daemon renvoie la chaîne "error" — et le brain écrivait littéralement Battery: errorV dans le contexte du LLM. Le modèle en déduisait « ma batterie est presque vide » en pleine réponse, exactement ce que montre ton log. Maintenant : valeur illisible = rien dans le contexte, pas d'invention.

    2. Le mot d'éveil, corrigé/configurable dans #52. Le modèle Vosk français entend « Nox » comme « inox » ou « knox » (ton log !). Deux options après git pull :

    • rien faire : « inox » et « knox » réveillent maintenant le chien par défaut ;
    • ou choisir ton propre mot, un que le modèle français connaît bien, dans body/nox.env :
      WAKE_WORD=milou
      
      puis sudo systemctl restart nox-voice. Les variantes à une lettre près et « hé milou » marchent aussi.

    3. « A parameter to get one language? » — non, rien à régler : la langue, c'est le modèle Vosk lui-même. Ton vosk-model-small-fr-0.22 ne transcrit que le français ; le paramètre que tu as vu chez SunFounder choisit quel modèle ils téléchargent. Pour mieux comprendre : le modèle « small » est léger mais limité — le vosk-model-fr-0.22 complet (1,4 Go, le Pi 4 le charge) comprend nettement mieux, au prix d'un démarrage plus lent.

    « Working only without charging » : très probablement du parasitage électrique du chargeur sur le micro (même rail d'alimentation) — matériel, pas logiciel. Parler au chien sur batterie est la config prévue.

    Mise à jour : robot git pull + sudo systemctl restart nox-voice, machine brain git pull + sudo systemctl restart nox-brain. Merci pour cette série de tests — grâce à toi, la chaîne complète voix→LLM→action marche désormais chez quelqu'un d'autre que nous. 🐕

  7. Thio007 commented on Oct 9, 2026

    @Thio007
    Author

    after test with larger voice model here is error with my nox.env, please tell if you find something

    diagNoxEnv.txt

    I had to remove sd card then modify nox.env directly because infinite loop...

  8. rockywuest commented on Oct 9, 2026

    @rockywuest
    Owner

    Désolé pour la galère de la carte SD — c'était un mauvais conseil de ma part. Le modèle complet de 1,4 Go ne tient pas dans la RAM du Pi 4 à côté de la vision et du bridge : le système le tuait, systemd le relançait, le modèle se rechargeait… d'où ta « boucle infinie » qui a rendu le Pi injoignable. Reste sur le modèle small — c'est le bon choix sur ce matériel.

    Trois protections ajoutées dans #54 pour que ça ne puisse plus arriver :

    1. Le service vocal a maintenant une limite mémoire (comme la vision) : un modèle trop gros tue le service, plus jamais le Pi — et après 4 échecs il s'arrête proprement au lieu de boucler. journalctl -u nox-voice dira pourquoi.
    2. Le FAIL PLACEHOLDER de ton doctor n'était pas de ta faute : nos propres commentaires d'exemple (/home/<you>/…) déclenchaient le contrôle. Il ignore désormais les commentaires et, s'il trouve un vrai problème, il affiche la ligne exacte au lieu du conseil trompeur « edit BRAIN_HOST ».
    3. Le double message contradictoire (PASS Vosk model + WARN no Vosk model dans le même rapport) était un doublon obsolète — supprimé.

    À faire chez toi :

    # dans body/nox.env : remettre le petit modèle
    VOSK_MODEL_PATH=/home/cat1/vosk-models/vosk-model-small-fr-0.22
    
    cd ~/pidog-embodiment && git pull
    sudo ./scripts/install-body.sh      # réinstalle l'unité nox-voice avec la limite mémoire
    ./scripts/doctor.sh                 # doit être propre maintenant

    (Et tu peux libérer 1,4 Go : rm -rf ~/vosk-models/vosk-model-fr-0.22.) Pour une meilleure reconnaissance sans gros modèle : parler à ~1 m du micro et choisir un WAKE_WORD que le modèle connaît bien font plus de différence que la taille du modèle.

  9. 35 remaining items

  10. Thio007 commented on Oct 17, 2026

    @Thio007
    Author

    En effet dans nox.env j'ai tjrs laissé BRAIN_HOST sur la machine "brain" ici Shyrka, mais je ne vois pas de difference, voir log ou j'ai re basculé sur brain local pour essai

    J'ai constaté en installant webui via docker qu'un fichier nox-brain.service sous /etc/systemd/system existe, est-ce tjrs normal, il semble que c'est la via nano nox-brain.service qu'il soit possible d'ouvrir le port pour ollama en ajoutant Environment= sous [service], via sudo systemctl edit ollama il semblerai que cela ne soit pas sauvegardé une difference?

    voiceInput9.txt

  11. Thio007 commented on Oct 17, 2026

    @Thio007
    Author

    mais finalement, aucun ordre recus sont envoyés maintenant...

  12. rockywuest commented on Oct 17, 2026

    @rockywuest
    Owner

    Excellent, ton log 9 répond à la grande question : le LLM sur Shyrka fonctionne. 🎉 llm_check.py montre llama3.2 qui répond en 0,6 à 9 s, avec un JSON parfait et les bonnes actions (sit, wag_tail), aussi bien via 127.0.0.1 que via 192.168.1.98. Ollama est donc bien joignable depuis le réseau.

    ⚠️ D'abord, une étape unique : l'historique git du dépôt a été réécrit. Un simple git pull va échouer. Sur chaque machine (Cat1 et Shyrka), une seule fois :

    cd ~/pidog-embodiment
    git fetch origin && git reset --hard origin/main
    

    Tes réglages ne sont pas touchés : body/nox.env n'est pas suivi par git, et /etc/default/nox-brain est hors du dépôt. (Si tu as modifié toi-même des fichiers du dépôt, fais d'abord git stash, car le reset les écraserait.)

    Ce que ton log montre encore :

    1. qwen3-VL : 55 s pour une réponse… vide. qwen3 est un modèle qui « réfléchit » avant de répondre et peut épuiser tout son budget de tokens dans cette réflexion. Le chien disait alors « je réfléchis encore », sans aucune explication dans le journal, et llm_check.py affirmait à tort « le chien va dire ça ». C'est corrigé : le brain journalise maintenant « LLM returned an empty answer » avec la raison, et l'outil le signale comme un échec. Reste sur llama3.2 (ou qwen2.5) pour le chien.

    2. Tes questions sur les services :

      • /etc/systemd/system/nox-brain.service est normal : c'est le service du brain, créé par install-brain.sh. Mais ce n'est pas le bon endroit pour OLLAMA_HOST : il configurerait le brain, pas Ollama. Tu peux retirer cette ligne.
      • sudo systemctl edit ollama ouvre un fichier presque entièrement en commentaires. Il faut écrire tes lignes ENTRE les deux commentaires « ### Anything between here… » et « ### Lines below this comment… », sinon systemd jette tout sans prévenir. C'est le piège classique. Mais d'après ton log, Ollama écoute déjà sur le réseau. Pour vérifier :
        ss -ltn | grep 11434      # 0.0.0.0:11434 ou *:11434 = OK
        
    3. « BRAIN_HOST sur Shyrka… » et « aucun ordre reçu n'est envoyé maintenant » : si le chien n'exécute plus rien, il y a deux causes possibles, et chacune se voit dans un journal :

      • Cat1 n'arrive pas à joindre Shyrka (mauvaise IP dans BRAIN_HOST, ou pare-feu de Shyrka qui bloque le port 8889) → sur Cat1 : journalctl -u nox-bridge -n 30 | grep "Brain push" affiche alors « Brain push to … failed ».
      • Shyrka reçoit la phrase mais ne sait pas où renvoyer la réponse → PIDOG_HOST, voir ci-dessous.

      Maintenant que le LLM de Shyrka répond, refais un essai avec le chien : BRAIN_HOST=<IP de Shyrka> dans body/nox.env sur Cat1, puis sudo systemctl restart nox-bridge nox-voice. Vérifie aussi que, sur Shyrka, /etc/default/nox-brain contient PIDOG_HOST=cat1.local, sinon le brain ne sait pas où renvoyer la réponse. Si Cathy répond encore « je réfléchis encore », envoie-nous journalctl -u nox-brain -n 40 de Shyrka, pris juste après ta phrase : on y verra la cause exacte.

  13. Thio007 commented on Oct 17, 2026

    @Thio007
    Author

    llm on dog is ok even if some words still get because of dog answers, maybe just a simple ok instead of d'accord

    llm on brain not ok, i wil try later

    voiceInput10.txt

  14. rockywuest commented on Oct 17, 2026

    @rockywuest
    Owner

    « LLM on dog is ok » 🎉 Merci pour le log 10, et pour ta suggestion :

    1. « OK » au lieu de « d'accord » : adopté. Vosk transcrivait le « D'accord ! » du chien en « dakar ». Aucun anti-écho ne peut reconnaître ça comme ses propres mots, donc le chien répondait à « dakar dakar » (« dakar, c'est le nom de mon pilote » 😄). Le chien dit maintenant « OK ! », et un « ok » entendu en retour est déjà ignoré comme mot de remplissage.

    2. « llm on brain not ok » : ton log contient la réponse. Sur Shyrka, llm_check.py fonctionne avec 127.0.0.1 (0,6 s), mais est refusé avec 192.168.1.98. Si 192.168.1.98 est Shyrka elle-même (vérifie avec hostname -I), tu n'as pas besoin de l'IP réseau : quand le brain et Ollama tournent sur la même machine, mets simplement dans /etc/default/nox-brain de Shyrka :

    OPENAI_URL=http://127.0.0.1:11434/v1/chat/completions
    

    puis sudo systemctl restart nox-brain. OLLAMA_HOST ne sert que si le brain tourne sur une autre machine qu'Ollama. (Ça marchait via .98 dans le log 9 ; une mise à jour ou un redémarrage d'Ollama a sans doute remis l'écoute en local seulement. Avec 127.0.0.1, ça n'a plus d'importance.) llm_check.py détecte maintenant exactement ce cas et te le dit.
    Ensuite, pour que le chien utilise ce brain : BRAIN_HOST=<IP de Shyrka> dans body/nox.env sur Cat1, et PIDOG_HOST=cat1.local dans /etc/default/nox-brain sur Shyrka (voir mon message précédent).

    3. « Actions étranges, hurlements, marche… sans commande » : deux sources différentes.

    • Le hurlement ne vient pas du mode autonome (il ne hurle jamais). Il vient du LLM : le chien lui envoyait ses propres échos mal transcrits (« dakar dakar », « à marrakech… ») et le LLM y répondait avec des actions. Avec « OK ! », ces faux messages devraient beaucoup diminuer. Si tu veux que seuls tes ordres fassent bouger le chien : NOX_MODE=commands dans /etc/default/nox-brain (mots-clés uniquement, sans conversation).
    • La marche sans ordre, c'est le mode autonome (patrouille, petits comportements). Pour le couper complètement : NOX_NO_AUTO=1 dans body/nox.env, puis sudo systemctl restart nox-bridge. Sinon, depuis le correctif Autonomous Behaviors #68, chacun de tes ordres le met en pause 60 s.

    4. Les daemon error: Connection refused au démarrage de chaque log : sans gravité (le service voix démarrait avant le daemon), et maintenant silencieux.

    Pour récupérer tout ça : n'oublie pas l'étape unique git fetch origin && git reset --hard origin/main (l'historique a été réécrit, voir plus haut), car un simple git pull ne suffit plus.

  15. Thio007 commented on Oct 30, 2026

    @Thio007
    Author

    voiceInput11.txt

    Still some "daccord" understand as dakar, but seems better.

    I have to try with llm on brain...

  16. rockywuest commented on Nov 21, 2026

    @rockywuest
    Owner

    EN

    Thanks for log 11. It shows the good news first: you are on the latest version, and the new parts are doing their job. 🐕

    • Grammar: 'assis' (full model heard 'ainsi'): the second, command-only decoder rescued a command the big model got wrong.
    • cathy allongé → wake word and command in one go.
    • Most of the dog's own sentences are caught (Self-echo suppressed).

    The remaining "dakar". The built-in confirmations now say "OK !". But in chat mode the LLM writes its own sentences, and it can still choose to say "d'accord" by itself. I can't see from this log what the dog actually said at 17:31:48, because that is in the brain's journal, not the voice one. Two options:

    1. If you mainly want commands: NOX_MODE=commands in /etc/default/nox-brain, then sudo systemctl restart nox-brain. The replies are then ours ("OK !"), never the LLM's.
    2. If you want to keep the conversation: send journalctl -u nox-brain --since "5 min ago" taken right after a "dakar", and we'll see the exact sentence.

    One small thing in the log: Energy gate dropped: 'piscine' (1 chunk(s) above level 300, need 2). Your voice was just below the gate. If that happens often, try ENERGY_THRESHOLD=200 in body/nox.env, then sudo systemctl restart nox-voice. Lower means more sensitive, and also more background noise.

    No hurry with "LLM on brain". When you try it, run sudo python3 scripts/llm_check.py on the brain machine first; it names the cause if something fails. The 3 steps for Claude Code in #53 are still waiting for you, too.


    FR

    Merci pour le log 11. D'abord la bonne nouvelle : tu es sur la dernière version, et les nouveautés font leur travail. 🐕

    • Grammar: 'assis' (full model heard 'ainsi') : le second décodeur, limité aux commandes, a rattrapé un ordre mal compris par le grand modèle.
    • cathy allongé → mot d'éveil et ordre en une seule fois.
    • La plupart des phrases du chien sont bien filtrées (Self-echo suppressed).

    Le « dakar » qui reste. Les confirmations intégrées disent maintenant « OK ! ». Mais en mode conversation, c'est le LLM qui écrit ses propres phrases, et il peut encore choisir de dire « d'accord » tout seul. Ce log ne me permet pas de voir ce que le chien a réellement dit à 17:31:48 : c'est dans le journal du brain, pas dans celui de la voix. Deux possibilités :

    1. Si tu veux surtout des ordres : NOX_MODE=commands dans /etc/default/nox-brain, puis sudo systemctl restart nox-brain. Les réponses sont alors les nôtres (« OK ! »), jamais celles du LLM.
    2. Si tu veux garder la conversation : envoie journalctl -u nox-brain --since "5 min ago" pris juste après un « dakar », et on verra la phrase exacte.

    Un détail dans le log : Energy gate dropped: 'piscine' (1 chunk(s) above level 300, need 2). Ta voix était juste sous le seuil. Si ça arrive souvent, essaie ENERGY_THRESHOLD=200 dans body/nox.env, puis sudo systemctl restart nox-voice. Plus bas, c'est plus sensible, mais aussi plus de bruit de fond.

    Rien ne presse pour le « LLM on brain ». Quand tu essaieras, lance d'abord sudo python3 scripts/llm_check.py sur la machine brain : il nomme la cause si quelque chose échoue. Les 3 étapes pour Claude Code dans #53 t'attendent aussi.

  17. rockywuest commented on Nov 21, 2026

    @rockywuest
    Owner

    EN Small follow-up: the "dakar" source I described is now fixed in the code (#82). When the LLM writes "d'accord" in conversation mode, the dog says "OK" instead, so there is nothing left for the microphone to hear back as "dakar". To get it:

    cd ~/pidog-embodiment   # wherever your checkout is, on the brain machine
    git pull
    sudo systemctl restart nox-brain
    

    You can stay in conversation mode; NOX_MODE=commands is no longer needed for this. If "dakar" still shows up after the update, the cause is something else, and journalctl -u nox-brain --since "5 min ago" right after it happens will show the sentence.

    FR Petit complément : la source du « dakar » que je décrivais est maintenant corrigée dans le code (#82). Quand le LLM écrit « d'accord » en mode conversation, le chien dit « OK » à la place : le micro n'a donc plus rien à réentendre comme « dakar ». Pour l'avoir :

    cd ~/pidog-embodiment   # là où se trouve ton dépôt, sur la machine brain
    git pull
    sudo systemctl restart nox-brain
    

    Tu peux rester en mode conversation ; NOX_MODE=commands n'est plus nécessaire pour ça. Si « dakar » apparaît encore après la mise à jour, la cause est ailleurs, et journalctl -u nox-brain --since "5 min ago" juste après montrera la phrase.

Sign up for free to join this conversation on GitHub. Already have an account? Sign in to comment

Metadata

Metadata

Assignees

No one assigned

    Labels

    No labels
    No labels

    Projects

    No projects

      Milestone

      No milestone

      Relationships

      None yet

      Development

      No branches or pull requests

      Issue actions