Voix et Téléphonie

Entrée et sortie vocales en temps réel. Quatre canaux couvrent l’ensemble des cas : appels entrants, activation par microphone local, synthèse vocale sortante et conversation en temps réel de qualité SIP.

ClawdTalk (SIP en temps réel)

Voix SIP en duplex intégral propulsée par Telnyx. L’agent parle au cours d’un véritable appel téléphonique (entrant ou sortant). Prend en charge l’interruption (barge-in), l’utilisation d’outils en milieu de tour de parole et l’approvisionnement de numéros régionaux.

zeroclaw config set channels.clawdtalk.<alias>.allowed_destinations <value>

export ZEROCLAW_channels__clawdtalk__<alias>__allowed_destinations=

zeroclaw config set channels.clawdtalk.<alias>.api_key <value>

export ZEROCLAW_channels__clawdtalk__<alias>__api_key=

zeroclaw config set channels.clawdtalk.<alias>.connection_id <value>

export ZEROCLAW_channels__clawdtalk__<alias>__connection_id=

zeroclaw config set channels.clawdtalk.<alias>.excluded_tools <value>

export ZEROCLAW_channels__clawdtalk__<alias>__excluded_tools=

zeroclaw config set channels.clawdtalk.<alias>.from_number <value>

export ZEROCLAW_channels__clawdtalk__<alias>__from_number=

zeroclaw config set channels.clawdtalk.<alias>.webhook_secret <value>

export ZEROCLAW_channels__clawdtalk__<alias>__webhook_secret=

api_key (Telnyx) et webhook_secret sont des secrets :

channels.clawdtalk.<alias>.api_key est un secret. Stocké chiffré, jamais en clair dans config.toml. Définissez-le via l’une de ces méthodes, qui chiffrent à l’écriture :

zeroclaw config set channels.clawdtalk.<alias>.api_key    # demande une saisie masquée, stocke de manière chiffrée

À associer avec : un fournisseur de modèle telnyx pour le cerveau, et assurez-vous que votre compte Telnyx dispose d’une connexion SIP avec l’URL de webhook correcte pointant vers la passerelle ZeroClaw.

Appel vocal (Twilio / Telnyx / Plivo)

Voix opérateur traditionnelle : l’agent décroche, transcrit l’appelant, répond avec la synthèse vocale (TTS). Latence plus élevée que ClawdTalk mais fonctionne avec n’importe quel numéro de téléphone classique et ne nécessite pas le provisionnement d’un trunk SIP. Les appels sortants utilisent from_number et nécessitent l’approbation d’un opérateur lorsque require_outbound_approval est activé.

zeroclaw config set channels.voice_call.<alias>.account_id <value>

export ZEROCLAW_channels__voice_call__<alias>__account_id=

zeroclaw config set channels.voice_call.<alias>.auth_token <value>

export ZEROCLAW_channels__voice_call__<alias>__auth_token=

zeroclaw config set channels.voice_call.<alias>.excluded_tools <value>

export ZEROCLAW_channels__voice_call__<alias>__excluded_tools=

zeroclaw config set channels.voice_call.<alias>.from_number <value>

export ZEROCLAW_channels__voice_call__<alias>__from_number=

zeroclaw config set channels.voice_call.<alias>.max_call_duration_secs <value>

export ZEROCLAW_channels__voice_call__<alias>__max_call_duration_secs=

zeroclaw config set channels.voice_call.<alias>.model_provider <value>

export ZEROCLAW_channels__voice_call__<alias>__model_provider=

zeroclaw config set channels.voice_call.<alias>.require_outbound_approval <value>

export ZEROCLAW_channels__voice_call__<alias>__require_outbound_approval=

zeroclaw config set channels.voice_call.<alias>.transcription_logging <value>

export ZEROCLAW_channels__voice_call__<alias>__transcription_logging=

zeroclaw config set channels.voice_call.<alias>.tts_voice <value>

export ZEROCLAW_channels__voice_call__<alias>__tts_voice=

zeroclaw config set channels.voice_call.<alias>.webhook_base_url <value>

export ZEROCLAW_channels__voice_call__<alias>__webhook_base_url=

zeroclaw config set channels.voice_call.<alias>.webhook_port <value>

export ZEROCLAW_channels__voice_call__<alias>__webhook_port=

Réveil vocal (mot d’éveil local)

S’exécute localement, écoute via le microphone et déclenche l’interaction avec l’agent lorsqu’il entend le mot d’éveil. Utile pour :

• Assistants vocaux physiques sur les SBC
• Flux de travail de bureau « mot-clé → demande »
• Agents d’automatisation domestique à écoute permanente

L’agent n’envoie l’audio nulle part ; la détection du mot de réveil est locale. Seule la parole post-réveil est capturée et (séparément) transcrite avant d’atteindre le LLM.

zeroclaw config set channels.voice_wake.<alias>.energy_threshold <value>

export ZEROCLAW_channels__voice_wake__<alias>__energy_threshold=

zeroclaw config set channels.voice_wake.<alias>.excluded_tools <value>

export ZEROCLAW_channels__voice_wake__<alias>__excluded_tools=

zeroclaw config set channels.voice_wake.<alias>.max_capture_secs <value>

export ZEROCLAW_channels__voice_wake__<alias>__max_capture_secs=

zeroclaw config set channels.voice_wake.<alias>.silence_timeout_ms <value>

export ZEROCLAW_channels__voice_wake__<alias>__silence_timeout_ms=

zeroclaw config set channels.voice_wake.<alias>.wake_word <value>

export ZEROCLAW_channels__voice_wake__<alias>__wake_word=

Option de compilation : Voice Wake est conditionné par la fonctionnalité Cargo voice-wake sur zeroclaw-channels. Compilez avec --features voice-wake pour l’inclure. Sur Android, Voice Wake nécessite Android 8 (niveau d’API 26) ou une version ultérieure.

TTS (synthèse vocale sortante)

TTS est un service de sortie que les canaux appellent, et non un canal entrant à part entière. Les valeurs par défaut globales se trouvent sous tts. Les instances de fournisseurs TTS sont configurées sous providers.tts.<type>.<alias> (OpenAI, ElevenLabs, Google, Edge, Piper) et sélectionnées par agent via le paramètre tts_provider de l’agent. Consultez Model Providers pour les entrées de fournisseurs et la configuration par agent. Les clés API des fournisseurs sont des secrets ; définissez-les via la passerelle, zerocode ou zeroclaw config set, jamais en texte clair.

Budget de latence

La parole semble en temps réel en dessous de ~500 ms de bout en bout. Budgets pratiques :

ClawdTalk simplifie plusieurs de ces étapes en maintenant le flux audio en direct ; un appel voice_call standard implique STT + LLM + TTS de manière séquentielle.

STT

La reconnaissance vocale est configurée séparément des canaux vocaux ; consultez la configuration [transcription] dans la Référence de configuration. Les canaux vocaux invoquent le fournisseur de transcription actif lorsqu’ils doivent convertir l’audio en texte.

Notes matérielles

Pour la voix en continu sur un SBC :

• Micro USB : tout micro compatible UAC fonctionne. arecord -l pour vérifier que le système d’exploitation le détecte.
• Haut-parleur : soit la sortie audio USB, soit la prise jack intégrée du SBC ; sélectionnez le périphérique par défaut du système d’exploitation pour l’utilisateur sous lequel le démon s’exécute.
• Les microphones avec AEC (annulation d’écho acoustique) intégrée améliorent considérablement la fiabilité du réveil lorsque le haut-parleur est à proximité.

Voir Matériel → Android pour la configuration audio spécifique à Android.