Dokumentation / KI-Konfiguration
Auto-send
Kurz gesagt: Auto-send ist die Möglichkeit, einen Entwurf von aishaa ohne menschliche Kontrolle zu versenden. Diese Möglichkeit ist derzeit plattformweit ausgeschaltet: aishaa versendet nie selbstständig, jeder Entwurf wartet auf eine Kollegin oder einen Kollegen. Die Seite Auto-Send-Konfiguration dient jetzt der Vorbereitung und der Schattenauswertung. Du wählst eine Strategie, und aishaa zeigt auf Basis aktueller Tickets, was mit diesen Einstellungen automatisch versendet worden wäre, wie oft das gut gegangen wäre und welche Prüfungen Entwürfe zurückhalten.
Wo du das findest
Gehe zu Organisation > Auto-Send & Taxonomie > Auto-Send-Konfiguration. Die Seite hat die Erläuterung Passen Sie die Auto-Send-Strategie der Organisation an und sehen Sie sich die Auswirkungen auf die aktuellen Post-Send-Ergebnisse an. Mit dem Fragezeichen oben rechts (Auto-Send-Hilfe) öffnest du Erklärungen zu Strategie, Simulation und Golden Samples.
Wer: ab der Rolle Organisationsadministrator. Die Konfiguration gilt pro Organisation.
Die Seite Auto-Send-Konfiguration mit den drei Strategieschaltflächen Sicher, Ausgewogen und Hohe Automatisierung, dem deaktivierten Schalter Aktives Senden, dem blauen Hinweis, dass die Live-Aktivierung vorerst gesperrt ist, und der Karte Strategieeinstellungen, Menü Organisation > Auto-Send & Taxonomie > Auto-Send-Konfiguration.
Der tatsächliche Stand: Auto-send ist ausgeschaltet
Der Schalter Aktives Senden ist aus und lässt sich nicht einschalten. Unter der Karte Strategieeinstellungen steht der Hinweis Das Aktivieren von Live-Auto-Send ist vorerst gesperrt. Diese Einstellungen werden für die Shadow-Auswertung und die Vorbereitung der Einführung gespeichert.
Was das in der Praxis bedeutet:
- aishaa erstellt Entwürfe, eine Kollegin oder ein Kollege prüft und versendet sie.
- Alles, was du auf dieser Seite einstellst, wird gespeichert und in der Schattenauswertung verwendet, wirkt sich aber nicht darauf aus, was an Kunden geht.
- Bei jeder versendeten Antwort hält aishaa im Nachhinein fest, ob ihr ursprünglicher Entwurf automatisch hätte versendet werden dürfen (das sogenannte Post-Send-Ergebnis). Darauf baut die Schattenauswertung auf.
Wenn Auto-send verfügbar wird, regelt das aishaa-Team die Aktivierung. Wende dich dafür an das aishaa-Team über den aishaa-Support-Chat in aishaa (Menü Chat, Unterhaltung aishaa support) oder per E-Mail an support@aishaa.nl.
Eine Strategie wählen
Oben stehen drei Schaltflächen. Klicke auf eine Strategie, um alle Schwellen auf einmal zu setzen. Passe danach bei Bedarf die erweiterten Einstellungen an. Sobald du einen Wert manuell änderst, gilt die Konfiguration als eigene (angepasste) Strategie.
| Einstellung | Sicher | Ausgewogen (Standard) | Hohe Automatisierung |
|---|---|---|---|
| Minimaler Entscheidungsscore | 95 | 90 | 85 |
| Minimales Eignungsvertrauen | 95 | 90 | 85 |
| Minimales Composer-Vertrauen | 95 | 90 | 85 |
| Minimales Taxonomie-Vertrauen | 0,90 | 0,80 | 0,70 |
| Zulässige Taxonomie-Richtlinienstufen | Entspannt | Entspannt, Normal | Entspannt, Normal, Streng |
| Minimale Themenwissen-Belege | 3 | 2 | 1 |
| Zurückhalten bei Wissenskonflikt | an | an | an |
Rechts neben den Strategieschaltflächen steht der Chip Überarbeitung mit der Nummer der gespeicherten Version.
Golden Samples sammeln
Unter Golden Samples sammeln legst du mit Nach dem Senden fragen fest, wann Kolleginnen und Kollegen gebeten werden, eine versendete Antwort als Golden Sample zu bewerten. Was ein Golden Sample ist, liest du unter Golden Samples bewerten.
| Option | Bedeutung | Zusätzliches Feld |
|---|---|---|
| Aus (Standard) | Nach dem Versenden erscheint keine Frage. | |
| Bei jeder geeigneten Antwort fragen. | Bei jeder Antwort, die infrage kommt, erscheint die Frage. | |
| Fragen, wenn zusätzliche Samples nützlich sind. | Die Frage erscheint nur, solange das Thema des Tickets noch weniger Golden Samples hat als das Ziel. | Ziel pro Taxonomie-Bereich (1 bis 500, Standard 20) |
| Nach Stichprobenanteil fragen | Die Frage erscheint bei ungefähr dem angegebenen Prozentsatz der geeigneten Antworten. | Stichprobenanteil (1 bis 100, Standard 20) |
Name, Beschreibung und Grund
- Name und Beschreibung: ein eigener Name und eine Erläuterung für diese Konfiguration.
- Interne Notizen: freie Notizen für dein Team.
- Änderungsgrund: wird im Prüfprotokoll für eine spätere Kontrolle gespeichert. Fülle das bei jeder Änderung aus, damit du später nachvollziehen kannst, warum eine Schwelle angepasst wurde.
Klicke auf Speichern. Du siehst Auto-Send-Konfiguration gespeichert. Jedes Speichern erzeugt eine neue Revision.
Erweiterte Einstellungen
Klappe Erweiterte Einstellungen auf, um die Schwellen unabhängig von der Strategie zu setzen.
| Einstellung | Bereich | Bedeutung |
|---|---|---|
| Minimaler Entscheidungsscore | 0 bis 100 | Die Gesamtbewertung, die ein Entwurf mindestens erreichen muss. Höher ist sicherer und strenger, niedriger lässt mehr Kandidaten durch. |
| Minimales Eignungsvertrauen | 0 bis 100 | Wie sicher die separate Eignungsanalyse sein muss, bevor Auto-send durchgelassen wird. |
| Minimales Composer-Vertrauen | 0 bis 100 | Wie sicher sich aishaa bei der Selbstprüfung ihres eigenen Entwurfs sein muss, dass die Antwort sicher und belegt ist. |
| Minimales Taxonomie-Vertrauen | 0 bis 1, Schritte von 0,05 | Wie sicher sich aishaa beim Thema der Frage sein muss. Pro Thema kann eine strengere Schwelle gelten (siehe Auto-send pro Thema). Die strengere der beiden gewinnt. |
| Zulässige Taxonomie-Richtlinienstufen | Streng, Normal, Entspannt | Welche Richtlinienstufen von Themen durchgelassen werden. Themen mit Kein automatisches Senden bleiben immer gesperrt. |
| Minimale Themenwissen-Belege | 0 bis 25 | Wie viele bestätigte Wissensquellen das Fachgedächtnis für das Thema mindestens haben muss. Themen mit einer ausdrücklichen Anweisung pro Thema erfüllen das immer. 0 schaltet diese Anforderung aus. |
| Zurückhalten bei Wissenskonflikt | an/aus | Solange das Fachgedächtnis für ein Thema widersprüchliche Informationen enthält, bleiben Entwürfe zu diesem Thema bei deinem Team. |
Die Prüfungen hinter einer Entscheidung
Ein Entwurf kommt nur infrage, wenn er alle Prüfungen besteht. Bei einem gesperrten Entwurf zeigt die Schattenauswertung pro Prüfung einen Grundcode. Die Tabelle unten übersetzt diese Codes in normale Sprache.
Selbstprüfung von aishaa am Entwurf
| Grundcode | Bedeutung |
|---|---|
missing_composer_self_check |
aishaa hat ihre Selbstprüfung nicht (vollständig) durchgeführt. |
composer_self_check_not_safe |
aishaa hält es selbst nicht für sicher, diese Antwort automatisch zu versenden. |
composer_self_check_not_grounded |
Die Antwort beruht nicht vollständig auf nachgeschlagenen Fakten. |
composer_self_check_missing_required_information |
Es fehlen Informationen, die für eine gute Antwort nötig sind. |
composer_self_check_policy_or_money_decision |
Die Antwort enthält eine Richtlinien- oder Geldentscheidung. |
composer_self_check_requires_human_review |
aishaa möchte, dass ein Mensch mitschaut. |
composer_self_check_requires_operational_action |
Es muss etwas getan werden, nicht nur geantwortet. |
composer_self_check_confidence_too_low |
Die Sicherheit der Selbstprüfung liegt unter Minimales Composer-Vertrauen. |
Tool-Nutzung
| Grundcode | Bedeutung |
|---|---|
missing_tool_usage_gate |
Es ist nicht festgehalten, ob aishaa die nötigen Abfragen durchgeführt hat. |
tool_usage_gate_failed |
aishaa hat die nötigen Abfragen (zum Beispiel Bestelldaten) nicht oder nicht richtig genutzt. |
Antwort nötig
| Grundcode | Bedeutung |
|---|---|
missing_reply_need_signal |
Es gibt keine Einschätzung, ob eine Antwort nötig ist. |
reply_need_not_required |
Laut aishaa ist überhaupt keine Antwort nötig. |
reply_need_unclear |
aishaa kann nicht bestimmen, ob eine Antwort nötig ist. |
Eignung
| Grundcode | Bedeutung |
|---|---|
missing_eligibility_assessment |
Die Eignungsanalyse fehlt. |
eligibility_not_candidate |
Die Unterhaltung ist kein Kandidat für automatisches Versenden. |
risk_not_low |
Das Risiko der Unterhaltung ist nicht niedrig. |
critical_blocker_present |
Es wurde ein kritisches Hindernis gefunden. |
required_facts_missing |
Nötige Fakten fehlen. |
policy_sensitive |
Die Unterhaltung berührt richtliniensensible Themen. |
customer_sentiment_risk |
Der Ton des Kunden erfordert menschliche Aufmerksamkeit. |
eligibility_confidence_too_low |
Die Sicherheit der Eignungsanalyse liegt unter Minimales Eignungsvertrauen. |
Themenrichtlinie
| Grundcode | Bedeutung |
|---|---|
taxonomy_policy_no_auto_send |
Das Thema hat die Richtlinie Kein automatisches Senden. |
taxonomy_policy_not_allowed_for_config |
Die Richtlinienstufe des Themas gehört nicht zu den zulässigen Stufen der Strategie. |
taxonomy_confidence_missing |
Zur Sicherheit beim Thema ist nichts festgehalten. |
taxonomy_confidence_too_low |
Die Sicherheit beim Thema liegt unter der strengeren Schwelle aus Strategieschwelle und Themenschwelle. |
Fachgedächtnis
| Grundcode | Bedeutung |
|---|---|
taxonomy_memory_conflict |
Das Fachgedächtnis für dieses Thema widerspricht sich selbst (nur wenn Zurückhalten bei Wissenskonflikt eingeschaltet ist). |
taxonomy_memory_missing |
Es gibt noch kein Fachgedächtnis für (eines der) Themen dieser Unterhaltung. |
taxonomy_memory_insufficient_evidence |
Das Fachgedächtnis hat weniger bestätigte Wissensquellen als Minimale Themenwissen-Belege. Ein Thema mit einer Anweisung pro Thema erfüllt das immer. |
Entscheidungsbewertung
| Grundcode | Bedeutung |
|---|---|
strategy_score_below_threshold |
Die gewichtete Gesamtbewertung liegt unter Minimaler Entscheidungsscore. |
missing_feature_snapshot |
Die für die Entscheidung nötige Momentaufnahme fehlt. |
Die Entscheidungsbewertung ist eine gewichtete Summe aus der Sicherheit der Selbstprüfung, der Eignungsanalyse, dem Thema, der Richtlinienstufe des Themas, der Tool-Nutzung, der Einschätzung, ob eine Antwort nötig ist, und dem Stand des Fachgedächtnisses.
Schattenauswertung ausführen
In der Karte Shadow-Ergebnisvorschau (Was mit den aktuellen Einstellungen auf den letzten Tickets passiert wäre.) stellst du ein, welche Tickets einbezogen werden, und klickst auf Simulation durchführen.
| Feld | Bedeutung |
|---|---|
| Simulationsumfang | Alle Samples: alle verfügbaren versendeten Antworten. Wo ein Golden Sample existiert, zählt dessen Label, sonst die automatische Einschätzung nach dem Versenden. Nur Golden Samples: nur Antworten, die ihr selbst bewertet habt, praktisch, um auf euer eigenes Urteil abzustimmen. |
| Von | Startdatum der einbezogenen Tickets. |
| Ergebnisvertrauen (0 bis 100) | Minimale Sicherheit der automatischen Einschätzung nach dem Versenden. Wird bei Nur Golden Samples ignoriert. |
| Stichprobenlimit (10 bis 500) | Wie viele Risiko- und Sperrbeispiele zurückkommen. 100 ist ein guter Standard, 250 bis 500 für tiefere Reviews. |
| Analysefilter > Zweifelsfälle einbeziehen | Bezieht auch Einschätzungen ein, die nicht zuverlässig genug sind. Nur für die Untersuchung von Mustern gedacht, nicht für die normale Kalibrierung. |
Solange du noch nichts ausgeführt hast, steht dort Es wurde noch keine Simulation durchgeführt.
Die Karte Shadow-Ergebnisvorschau mit den vier Prozentwerten Auto-Übertragung, Überprüfung, Perfekt und Unsicher, der Auto-Send-Qualitätsaufteilung und der Tabelle Bereitschaft pro Thema, Menü Organisation > Auto-Send & Taxonomie > Auto-Send-Konfiguration.
Das Ergebnis lesen
Oben stehen Chips zum Datensatz: die Anzahl ausgewerteter Samples, die Anzahl zuverlässiger Einschätzungen nach dem Versenden (mit Prozentsatz), die Anzahl Golden Samples und die Anzahl verfügbarer Zweifelsfälle. Darunter vier Werte:
| Wert | Bedeutung |
|---|---|
| Auto-Send | Prozentsatz der Entwürfe, die mit diesen Einstellungen automatisch versendet worden wären. |
| Überprüfung | Prozentsatz, der bei deinem Team geblieben wäre. |
| Perfekt | Prozentsatz der automatisch versendeten Entwürfe, die im Nachhinein als perfekt bewertet wurden. |
| Unsicher | Prozentsatz der automatisch versendeten Entwürfe, die im Nachhinein als unsicher bewertet wurden. Diesen Wert willst du bei null halten. |
Die Auto-Send-Qualitätsaufteilung verteilt die Entwürfe, die versendet worden wären, auf Perfekt, Akzeptabel, Besser prüfen lassen, Unsicher, Unklar und Unzureichende Nachweise.
Wäre mit diesen Einstellungen nichts versendet worden, steht dort Mit diesen Einstellungen würde keine Antwort automatisch gesendet werden.
Bereitschaft pro Thema
Die Tabelle Bereitschaft pro Thema zeigt pro Supportbereich, was diese Konfiguration automatisch versendet hätte und wie sicher das war. Die Einschätzung verwendet ein statistisches Worst-Case-Szenario: Ein Thema wird erst bereit, sobald es genug saubere Belege gibt, nie nur deshalb, weil wenig Daten vorhanden sind.
Spalten: Thema (mit der Anzahl ausgewerteter Unterhaltungen), Bereitschaft, Würde automatisch senden, Worst-Case-Unsicherheitsquote (darunter, wie viele unsichere Fälle beobachtet wurden) und Von Menschen bestätigt (die Anzahl Golden Samples).
| Bereitschaft | Bedeutung |
|---|---|
| Bereit für Auto-Send | Keine unsicheren Beispiele, Worst-Case-Risiko unter der strengen Latte, mit genug Volumen und von Menschen bestätigten Beispielen. |
| Vielversprechend, mehr Belege nötig | Es wurde nichts Unsicheres gefunden, aber es gibt noch zu wenige Beispiele, um ein Risiko auszuschließen, oder das Worst-Case-Risiko liegt noch nicht unter der Latte, oder es gibt noch zu wenige von Menschen bestätigte Beispiele. |
| Bei menschlicher Prüfung belassen | Mindestens ein Entwurf, der versendet worden wäre, wurde als unsicher bewertet. |
| Noch nicht genug Daten | Weniger als 10 Entwürfe würden zu diesem Thema versendet. Eine Einschätzung ist noch nicht möglich. |
Fahre mit der Maus über den Bereitschafts-Chip, um den genauen Grund zu sehen. Gibt es noch keine Themendaten, siehst du Für diesen Zeitraum sind noch keine Themendaten verfügbar.
Blocker und Risiko-Samples
- Wichtigste Blocker: die Grundcodes, die die meisten Entwürfe zurückgehalten haben. Klicke auf einen Chip, um rechts die Blocker im Detail mit der Anzahl gesperrter Tickets, Beispielen und ihrer Qualitätsaufteilung zu öffnen.
- Würde Risiko-Samples senden: bis zu 12 Beispiele von Entwürfen, die versendet worden wären, im Nachhinein aber nicht perfekt waren, mit Ticketnummer, Ergebnis, Entscheidungsbewertung und Zusammenfassung. Klicke auf ein Beispiel für die Ergebnissignale, Entscheidungssignale und Taxonomiesignale (unter anderem Composer-Selbstprüfung, Composer-Vertrauen, Tool-Nutzung, Supportbereich und Query Pattern).
Konfigurationsprotokoll
Unten steht das Konfigurationsprotokoll mit den letzten 25 gespeicherten Revisionen: Datum, Überarbeitung, Aktion (Erstellt oder Aktualisiert), Konfigurationszusammenfassung (Schwelle und minimale Taxonomie-Vertrauenswürdigkeit) und der angegebene Grund. Dieselben Revisionen erscheinen auf der Seite Änderungen unter dem Typ Auto-Send-Konfiguration.
Gut zu wissen
- aishaa versendet derzeit nie selbstständig. Auch ein Entwurf, der in der Schattenauswertung als Würde senden markiert ist, wartet in der Praxis auf eine Kollegin oder einen Kollegen.
- Die einzige Ausnahme ist ein Schlummern mit aishaa übernehmen lassen, wenn die Schlummerzeit abläuft, bei dem du selbst ankreuzt, dass aishaa die Antwort direkt versenden darf. Das ist eine bewusste Entscheidung pro Ticket und hat nichts mit Auto-send zu tun.
- Die Schattenauswertung betrachtet versendete Antworten, für die eine Einschätzung nach dem Versenden oder ein Golden Sample existiert. Je mehr Golden Samples, desto zuverlässiger die Werte pro Thema.
- Eine strengere Schwelle (höherer Wert) sperrt mehr, eine niedrigere Schwelle lässt mehr durch. Unsicher sollte auch bei einer lockeren Strategie bei null bleiben.
- Pro Thema kannst du strenger oder lockerer sein als die Strategie, siehe Auto-send pro Thema abweichend festlegen. Kein automatisches Senden gewinnt immer.