--- titel: Wer hört zu? Auswahl der Berater, Mikrofon und die drei Verbesserungswege erstellt: 2026-10-31 status: Stand heute gilt; Verbesserung beschlossen, aber noch nicht gebaut betrifft: agents.py (Tonannahme), AntwortBaum.tsx / MeetingAdvisors.tsx (Auswahl), docs/21 (Servergröße) tags: [sprache, mikrofon, auswahl, berater, entscheidung] --- # Wer hört zu — und warum erst nach einem Klick ## 1. Wie es heute läuft Ein Berater hört **erst zu, wenn er ausgewählt ist**. Im Code steht das in `/root/meeting-test-agents/agents.py`: ```python selected = json.loads(packet.data.decode()).get('selected', '') selected_for_me = selected == which # which = mia, ben, makler … session.input.set_audio_enabled(selected_for_me) if not selected_for_me: session.interrupt(force=True) # laufende Antwort abbrechen ``` Die Auswahl schickt die Oberfläche als Datenbotschaft auf dem Thema `meeting-selection` (`AntwortBaum.tsx`, `MeetingAdvisors.tsx`): ```ts await room.startAudio(); // Browser-Ton freischalten room.localParticipant.publishData( new TextEncoder().encode(JSON.stringify({ selected: which })), …) ``` **Was das für die Bedienung heißt:** 1. Berater antippen (Bild/Kachel) → **er** schaltet seine Tonannahme ein. 2. Erst dann wirkt Sprechen. Ohne Klick hört niemand zu — es passiert nichts. 3. Der Klick schaltet außerdem die Tonwiedergabe im Browser frei (Autoplay- Sperre). Auch deshalb kommt vor dem ersten Klick kein Ton. 4. Ein Wechsel auf einen anderen Berater schaltet den vorherigen stumm und bricht dessen laufende Antwort ab. ## 2. Warum das so gebaut ist Ohne Auswahl müssten **alle sechs** Berater dauerhaft Sprache erkennen: sechs Silero-VAD-Ketten plus sechs Spracherkennungs-Verbindungen (`openai.STT`, Modell `gpt-4o-transcribe`). Gemessen am 31.10.2026 auf dem Lernserver (`cx23`: 2 Kerne, 4 GB): | Messwert | Wert | |---|---| | Speicher belegt | 3 469 von 3 819 MB | | Last im Leerlauf | 0,11 | | Berater-Prozesse | 6 Dienste à 1 Prozess (Reserve 0) | Sechs Dauer-Erkennungen wären auf diesem Server nicht zu halten — und sie kosten laufend Geld, weil jede Erkennung pro Minute abgerechnet wird. Die Auswahl ist deshalb kein Versehen, sondern die billigste Lösung. ## 3. Die drei Verbesserungswege | Weg | Was passiert | Kosten/Aufwand | Auf diesem Server? | |---|---|---|---| | **A — so lassen** | Ein Klick wählt, wer zuhört | nichts | ja | | **B — ein Berater hört immer mit** (Vorschlag: Mia) | Mia erkennt dauerhaft Sprache, prüft, ob ein Name fällt, und gibt an den genannten Berater weiter | eine zusätzliche Dauer-Erkennung; Code in `agents.py` (Namensprüfung + Weiterleitung) | knapp; sauber ab 8 GB | | **C — alle hören immer** | jeder Berater erkennt dauerhaft, antwortet nur, wenn er angesprochen wird | sechs Dauer-Erkennungen: Rechenlast und Kosten pro Minute | nein, würde stocken | **Beschlossen am 31.10.2026 (Franz):** vorerst **Weg A** beibehalten, die Optionen hier festhalten. **Weg B** wird der nächste Schritt — sinnvoll zusammen mit dem Wechsel auf `cx33` (4 Kerne, 8 GB, 10,19 € statt 6,59 €, siehe `docs/21-NAECHSTER-AUFBAU-PERFORMANCE.md`). ## 4. Was Weg B konkret braucht 1. `session.input.set_audio_enabled(True)` dauerhaft für **einen** Berater (Mia), die anderen bleiben wie heute. 2. In Mias Transkript nach den Namen der anderen Berater suchen („Ben", „Makler", „Investor", „Fischer", „Handwerker") — Groß-/Kleinschreibung und Sprachvarianten beachten. 3. Fällt ein Name, schickt Mia die Auswahl weiter (dieselbe Datenbotschaft `meeting-selection`, die heute der Browser sendet) und beantwortet die Frage nicht selbst. 4. Prüfsteine: (a) „Mia, kannst du mich hören" → Mia antwortet ohne Klick; (b) „Ben, was meinst du" → Ben antwortet, Mia nicht; (c) Last bleibt unter der Schwelle `berater_last_schwelle`, sonst schickt LiveKit niemanden mehr. ## 5. Was Ansible dabei nicht prüfen kann Die Abnahme prüft Dienste, Ports, Raum und Zertifikat — **nicht**, ob ein Mensch gehört wird. Ein Probeanruf bleibt Handarbeit: antippen, sprechen, Antwort abwarten. Steht auch in `docs/19-…`, Abschnitt Abnahme.