--- titel: Was man beim Audio-Agenten (Server 09) noch bauen könnte — Recherche und Reihenfolge erstellt: 2026-10-31 status: Recherche abgeschlossen, Vorschlagsliste mit Aufwand betrifft: Server 09 (grok-audio-voice), xAI Realtime, Marktvergleich DACH tags: [recherche, features, audio-agent, roadmap] --- # Was beim Audio-Agenten noch fehlt — und was davon sinnvoll ist Grundlage: die Anbieter-Dokumentation von xAI (Voice-API) und der Funktionsumfang etablierter deutschsprachiger KI-Telefonassistenten (Stand 31.10.2026). ## 1. Was die Schnittstelle hergibt (belegt) Aus der xAI-Dokumentation ([docs.x.ai — Voice](https://docs.x.ai/developers/model-capabilities/audio/voice)): | Fähigkeit | Stand | |---|---| | Speech-to-Speech `grok-voice-latest` | Echtzeit über WebSocket, **Tool-Nutzung ausdrücklich unterstützt**, ~0,08 $/Minute | | Text-to-Speech | mehrsprachige, ausdrucksstarke Stimmen, **Speech-Tags**, Telefonie-Codecs, eigene Stimmen („Custom Voices") | | Speech-to-Text | 38+ Sprachen, Batch und Streaming | | Werkzeuge | **Function Calling**, **Web Search**, **X Search**, Code Execution, **Collections Search (RAG)**, Remote-MCP | Damit sind Live-Recherche, Kalender-/CRM-Anbindung und Wissensdatenbank **technisch vorgesehen** — es fehlt nur die Verkabelung bei uns. ## 2. Was der Markt im DACH-Raum als Standard zeigt Die Anbieter (fonial, Placetel, IONOS Momentum, HalloMia) bewerben fast deckungsgleich ([fonial.de](https://www.fonial.de/ki-telefonassistent/), [placetel.de](https://www.placetel.de/placetel-ai-ki-telefonassistenten), [IONOS/Hannover Messe](https://www.hannovermesse.de/produkt/ionos-momentum-ai-receptionist/503570/N1507374)): - Terminbuchung mit **Kalender**-Anbindung - Anbindung an **CRM und Webhooks** - **Recap-Mail** nach jedem Gespräch (haben wir schon, mit Aufnahme) - 24/7-Erreichbarkeit, mehrsprachig - Weiterleitung an Menschen („warme Übergabe") - Antworten **auf Basis eigener Dokumente und Website** **Was wir davon schon haben:** Recap-Mail mit Aufnahme, eigene Dokumente als Wissen (Text), 14 Rollen mit eigenem Ton, Grenzen und Protokolle. ## 3. Vorschlagsliste mit Aufwand | # | Feature | Nutzen | Aufwand | Abhängigkeit | |---|---|---|---|---| | 1 | **Themenfragen-Knöpfe** (typische Fragen zum Anklicken) | Anrufer kommt sofort ins Gespräch, ohne zu überlegen | **erledigt 31.10.** | — | | 2 | **Live-Recherche (Web Search)** | „Was kostet Feuchtigkeitssanierung?" beantwortet er mit Quellen | **erledigt 31.10.** (Wegwerf 09 geprüft; Produktion 09 noch nicht) | Werkzeug `web_search` → Browser ruft `/api/websearch` → serverseitig `POST /v1/responses` mit `tools:[{type:'web_search'}]`, Modell `grok-4.3` | | 3 | **Terminbuchung im Kalender** | Anrufer bucht wirklich, nicht nur „Rückruf notiert" | 2–4 h | Function Calling + CalDAV/Google-Kalender | | 4 | **Rückruf-Auftrag per Mail an den Betrieb** | strukturierte Anfrage statt Zettel | 1 h | haben wir halb (Protokoll-Mail) | | 5 | **PDF/Word als Wissen** | Preislisten, Prospekte direkt nutzbar | 1 h | `pdf-parse` ins Paket | | 6 | **RAG über große Wissensbestände** (Collections Search) | Antworten aus Handbüchern, nicht nur aus 30 000 Zeichen | 3–5 h | xAI Collections plus Upload | | 7 | **Update des Wissens per Anruf** („merk dir: …") | Franz kann unterwegs Fakten ergänzen | 1–2 h | Function Calling + Schreibrecht | | 8 | **Warme Übergabe an Menschen** | Anrufer wird verbunden, wenn er es verlangt | 2–3 h | SIP/Telefonanlage (Server 01 hat `livekit-sip`) | | 9 | **Eigene Stimme je Rolle** (Custom Voice) | Werkstatt kräftig, Sozialarbeit weiblich, Mental ruhig | 1 h + Stimmenerstellung | Custom Voices bei xAI | | 10 | **Mehrsprachig** (EN/IT neben DE) | Gäste, Tourismus, internationale Kunden | 1 h | `language_hint` + Rollenfeld | | 11 | **Schlagwörter und Stimmung im Protokoll** | Anrufe sortieren, ohne alles zu lesen | 1–2 h | Nachanalyse des Transkripts | | 12 | **Anrufbeantworter-Modus nachts** | anderer Ton außerhalb der Zeiten | 1 h | Zeitfenster je Rolle | | 13 | **Warteschlange/Rückruf bei Überlast** | kein verlorener Anruf | 2 h | Telefonanlage | | 14 | **Selbsttest-Knopf in der Verwaltung** | „prüfe Stimme, Wissen, Mail" in 20 Sekunden | 1 h | wir haben die Bausteine | | 15 | **DSGVO-Bausteine** (Löschfrist, Auskunft, Auftragsverarbeitung) | Pflicht vor Echtbetrieb | 2 h | Aufbewahrungsfristen, Löschknopf | ## 4. Empfohlene Reihenfolge **Welle 1 (heute sinnvoll, wenig Aufwand):** 2 Live-Recherche, 5 PDF-Wissen, 9 eigene Stimme je Rolle, 14 Selbsttest. **Welle 2 (Geschäftsnutzen):** 3 Terminbuchung, 4 Rückruf-Auftrag strukturiert, 10 Mehrsprachig, 12 Nacht-Modus. **Welle 3 (braucht Infrastruktur):** 8 warme Übergabe (SIP), 6 RAG, 13 Warteschlange. **Pflicht vor Echtbetrieb:** 15 DSGVO-Bausteine — Aufbewahrung, Löschung, Auskunft, Auftragsverarbeitung. Ohne das darf der Assistent nicht mit echten Anrufern sprechen. ## 5. Was ich ausdrücklich nicht empfehle - **Bild-/Videoauswertung im Telefonkanal**: am Telefon gibt es kein Bild. - **Eigene Spracherkennung nachbauen**: die vorhandene STT liefert nur fertige Sätze; für Wort-für-Wort beim Anrufer wäre ein zweiter Erkennungsweg nötig, der doppelt kostet und nichts verbessert. - **Preis- oder Rechtsauskünfte automatisieren**: bleibt gesperrt, das ist eine bewusste Grenze in jeder Rolle.