titel: Was man beim Audio-Agenten (Server 09) noch bauen könnte — Recherche und Reihenfolge
erstellt: 2026-10-31
status: Recherche abgeschlossen, Vorschlagsliste mit Aufwand
betrifft: Server 09 (grok-audio-voice), xAI Realtime, Marktvergleich DACH
tags: [recherche, features, audio-agent, roadmap]
Grundlage: die Anbieter-Dokumentation von xAI (Voice-API) und der Funktionsumfang
etablierter deutschsprachiger KI-Telefonassistenten (Stand 31.10.2026).
Aus der xAI-Dokumentation (docs.x.ai — Voice):
| Fähigkeit | Stand |
|---|---|
Speech-to-Speech grok-voice-latest | Echtzeit über WebSocket, Tool-Nutzung ausdrücklich unterstützt, ~0,08 $/Minute |
| Text-to-Speech | mehrsprachige, ausdrucksstarke Stimmen, Speech-Tags, Telefonie-Codecs, eigene Stimmen („Custom Voices") |
| Speech-to-Text | 38+ Sprachen, Batch und Streaming |
| Werkzeuge | Function Calling, Web Search, X Search, Code Execution, Collections Search (RAG), Remote-MCP |
Damit sind Live-Recherche, Kalender-/CRM-Anbindung und Wissensdatenbank **technisch
vorgesehen** — es fehlt nur die Verkabelung bei uns.
Die Anbieter (fonial, Placetel, IONOS Momentum, HalloMia) bewerben fast
deckungsgleich (fonial.de,
Was wir davon schon haben: Recap-Mail mit Aufnahme, eigene Dokumente als
Wissen (Text), 14 Rollen mit eigenem Ton, Grenzen und Protokolle.
| # | Feature | Nutzen | Aufwand | Abhängigkeit |
|---|---|---|---|---|
| 1 | Themenfragen-Knöpfe (typische Fragen zum Anklicken) | Anrufer kommt sofort ins Gespräch, ohne zu überlegen | erledigt 31.10. | — |
| 2 | Live-Recherche (Web Search) | „Was kostet Feuchtigkeitssanierung?" beantwortet er mit Quellen | erledigt 31.10. (Wegwerf 09 geprüft; Produktion 09 noch nicht) | Werkzeug web_search → Browser ruft /api/websearch → serverseitig POST /v1/responses mit tools:[{type:'web_search'}], Modell grok-4.3 |
| 3 | Terminbuchung im Kalender | Anrufer bucht wirklich, nicht nur „Rückruf notiert" | 2–4 h | Function Calling + CalDAV/Google-Kalender |
| 4 | Rückruf-Auftrag per Mail an den Betrieb | strukturierte Anfrage statt Zettel | 1 h | haben wir halb (Protokoll-Mail) |
| 5 | PDF/Word als Wissen | Preislisten, Prospekte direkt nutzbar | 1 h | pdf-parse ins Paket |
| 6 | RAG über große Wissensbestände (Collections Search) | Antworten aus Handbüchern, nicht nur aus 30 000 Zeichen | 3–5 h | xAI Collections plus Upload |
| 7 | Update des Wissens per Anruf („merk dir: …") | Franz kann unterwegs Fakten ergänzen | 1–2 h | Function Calling + Schreibrecht |
| 8 | Warme Übergabe an Menschen | Anrufer wird verbunden, wenn er es verlangt | 2–3 h | SIP/Telefonanlage (Server 01 hat livekit-sip) |
| 9 | Eigene Stimme je Rolle (Custom Voice) | Werkstatt kräftig, Sozialarbeit weiblich, Mental ruhig | 1 h + Stimmenerstellung | Custom Voices bei xAI |
| 10 | Mehrsprachig (EN/IT neben DE) | Gäste, Tourismus, internationale Kunden | 1 h | language_hint + Rollenfeld |
| 11 | Schlagwörter und Stimmung im Protokoll | Anrufe sortieren, ohne alles zu lesen | 1–2 h | Nachanalyse des Transkripts |
| 12 | Anrufbeantworter-Modus nachts | anderer Ton außerhalb der Zeiten | 1 h | Zeitfenster je Rolle |
| 13 | Warteschlange/Rückruf bei Überlast | kein verlorener Anruf | 2 h | Telefonanlage |
| 14 | Selbsttest-Knopf in der Verwaltung | „prüfe Stimme, Wissen, Mail" in 20 Sekunden | 1 h | wir haben die Bausteine |
| 15 | DSGVO-Bausteine (Löschfrist, Auskunft, Auftragsverarbeitung) | Pflicht vor Echtbetrieb | 2 h | Aufbewahrungsfristen, Löschknopf |
Welle 1 (heute sinnvoll, wenig Aufwand): 2 Live-Recherche, 5 PDF-Wissen,
9 eigene Stimme je Rolle, 14 Selbsttest.
Welle 2 (Geschäftsnutzen): 3 Terminbuchung, 4 Rückruf-Auftrag strukturiert,
10 Mehrsprachig, 12 Nacht-Modus.
Welle 3 (braucht Infrastruktur): 8 warme Übergabe (SIP), 6 RAG, 13 Warteschlange.
Pflicht vor Echtbetrieb: 15 DSGVO-Bausteine — Aufbewahrung, Löschung,
Auskunft, Auftragsverarbeitung. Ohne das darf der Assistent nicht mit echten
Anrufern sprechen.
Sätze; für Wort-für-Wort beim Anrufer wäre ein zweiter Erkennungsweg nötig,
der doppelt kostet und nichts verbessert.
bewusste Grenze in jeder Rolle.