Dokumentation / KI-Konfiguration
Golden Samples bewerten
Kurz gesagt: Ein Golden Sample ist eine Bewertung durch einen Menschen des ursprünglichen Entwurfs, den aishaa für ein Ticket geschrieben hat: War er inhaltlich gut, passte der Stil, und hätte er so automatisch versendet werden dürfen? Mit diesen Bewertungen baust du pro Thema einen Benchmark auf, der zeigt, wo aishaa bereit für Auto-send ist und wo nicht. Du bewertest auf der Seite Golden Samples oder, wenn das eingestellt ist, direkt beim Versenden einer Antwort.
Wo du das findest
Gehe zu Organisation > Auto-Send & Taxonomie > Golden Samples. Die Seite hat die Erläuterung Überprüfen Sie echte gesendete Antworten, um einen organisationsspezifischen Auto-Send-Benchmark zu erstellen. und darunter Verwenden Sie die Bewertungswarteschlange unten, um Kandidaten-Samples zu suchen, zu filtern und zu labeln.
Wer: ab der Rolle Teamleiter. Golden Samples gelten pro Organisation. Ohne die passende Rolle siehst du Sie haben keine Berechtigung, Golden Samples zu bewerten.
Die Seite Golden Samples mit der Karte Abdeckung, dem Baum Taxonomieabdeckung und der Bewertungswarteschlange mit der Filterauswahl Zu bewerten, Menü Organisation > Auto-Send & Taxonomie > Golden Samples.
Was du bewertest
Du bewertest immer den ursprünglichen Entwurf von aishaa, nicht die Antwort, die schließlich versendet wurde. Die versendete Antwort (oft von einer Kollegin oder einem Kollegen angepasst) dient als Beleg: Sie zeigt, was nach eurer Einschätzung sehr wohl richtig war. Der Entwurf steht auf der Seite unter KI-Entwurf zur Beurteilung mit der Erläuterung Dies ist die Antwort, die automatisch gesendet worden wäre.; in der Unterhaltung darüber hat die Nachricht, die die Analyse gestartet hat, den Chip Auslöser und die schließlich versendete Nachricht den Chip Endgültig gesendet.
Du gibst drei Urteile getrennt ab: über den Inhalt, über den Stil und über die operative Bereitschaft. Darüber hinaus fragt das Formular, wo nötig, nach einem Hauptgrund und nach den Aktionen, die nötig waren. Aus diesen Urteilen zusammen leitet aishaa ab, ob dieser Entwurf automatisch versendet werden hätte dürfen; ein zusammenfassendes Ergebnis wählst du nicht selbst.
Abdeckung pro Thema
Oben auf der Seite steht die Karte Golden Samples sammeln mit dem aktuellen Stand von Nach dem Senden fragen, dem Ziel pro Taxonomie-Bereich und einer Schaltfläche zur Auto-send-Konfiguration.
Die Karte Abdeckung (Wie gut eure Golden Samples über die Taxonomie-Bereiche verteilt sind.) zeigt Labels gesamt, Durchschnittliche Abdeckung, Unter Ziel und Noch benötigt, dazu Chips mit Ziel n nach Taxonomie, n Taxonomie-Scopes auf Ziel und n Labels ohne Taxonomie. Das Ziel ist der Wert Ziel pro Taxonomie-Bereich aus der Auto-send-Konfiguration (Standard 20).
Der Baum Taxonomieabdeckung (Scopes mit den größten Sample-Lücken werden zuerst angezeigt.) setzt die Themen mit den größten Lücken nach oben. Pro Supportbereich und Query Pattern siehst du die Abdeckung, Ziel erreicht oder (n) benötigt, und Chips mit der Verteilung der Urteile: Korrekt, Kleine Verbesserungspunkte, Falsch, Qualität unklar, Versendbar, Aufmerksamkeit vor dem Versand, Aktion nach dem Versand und Bereitschaft unklar. Ohne Bewertungen steht dort Es ist noch keine Taxonomie-Abdeckung verfügbar. Kennzeichnen Sie ein paar Golden Samples, um die Abdeckung zu messen.
Die Bewertungswarteschlange
Die Bewertungswarteschlange zeigt versendete Antworten, die infrage kommen. Verwende das Suchfeld und den Filter Warteschlange:
| Option | Was du siehst |
|---|---|
| Zu bewerten (Standard) | Antworten ohne Golden Sample. |
| Alle Samples | Alles. |
| Bewertet | Antworten mit Golden Sample. |
Pro Zeile siehst du die Ticketnummer, den Versandzeitpunkt, den Kunden, das vorhandene Urteil (oder den Chip Nicht gekennzeichnet) und den Chip Würde senden oder Würde prüfen lassen: was die aktuelle Auto-send-Strategie mit diesem Entwurf getan hätte. Bei einer bewerteten Zeile steht der Stil als Stil: (Urteil). Die Liste zeigt 10 Zeilen pro Seite. Klicke auf eine Zeile, um zu bewerten. Mit Vorheriges Sample und Nächstes Sample gehst du durch die Warteschlange. Gibt es keine Zeilen, steht dort Keine Golden-Sample-Kandidaten für diese Filter gefunden.
Ein Golden Sample festhalten
Der Bewertungsbereich Golden-Sample-Bewertung mit der Unterhaltung, dem Block KI-Entwurf zur Beurteilung und darunter dem Formular Golden-Sample-Label mit den Feldern Inhalt der Antwort, Stil der Antwort, Operative Bereitschaft und Hauptgrund, Menü Organisation > Auto-Send & Taxonomie > Golden Samples.
Der Bereich Golden-Sample-Bewertung (Bewerten Sie den ursprünglichen AI-Entwurf, wobei Sie die endgültige gesendete Antwort und den Ticketkontext als Beweis heranziehen.) öffnet mit der Ticketnummer, den eventuell vorhandenen Urteilen als Chips und dem Versandzeitpunkt. Darunter steht die Unterhaltung, dann der Block KI-Entwurf zur Beurteilung, und dann das Formular Golden-Sample-Label (Menschliches Urteil über den ursprünglichen AI-Entwurf, nicht über die endgültige menschliche Antwort.). Bewerte Inhalt, Stil und die operative Abwicklung getrennt voneinander; die Gründe und Aktionen in den Auswahllisten sind auf eure Branche abgestimmt.
- Wähle bei Inhalt der Antwort, ob der Entwurf stimmte.
- Wähle bei Stil der Antwort, ob der Stil passte. Bei Stilproblemen wählst du bei Was stimmt mit dem Stil nicht? eine oder mehrere Ursachen.
- Wähle bei Operative Bereitschaft, ob die Antwort direkt hätte versendet werden können oder ob vorher oder nachher etwas passieren musste.
- Wähle, wenn das Formular danach fragt, einen Hauptgrund und gegebenenfalls Erforderliche Aktionen.
- Klicke auf Speichern. Du siehst Golden-Sample-Label gespeichert. Mit Löschen entfernst du ein bestehendes Label.
Inhalt der Antwort
| Option | Bedeutung |
|---|---|
| Korrekt | Inhaltlich richtig. |
| Korrekt mit kleinen Verbesserungspunkten | Richtig, aber es ging noch etwas besser. |
| Inhaltlich falsch | Es steht etwas darin, das nicht stimmt. |
| Unklar | Nicht zu beurteilen. |
Stil der Antwort
| Option | Bedeutung |
|---|---|
| Passend zu unseren Richtlinien | Der Stil passt zum gewünschten Ton, zur Markenstimme und zur Darstellung. |
| Kleine Stilprobleme | Es ging besser, war aber versendbar. |
| Ohne Anpassung inakzeptabel | So hätte es nicht versendet werden dürfen. |
| Unklar | Nicht zu beurteilen. |
Bei Kleine Stilprobleme und Ohne Anpassung inakzeptabel wählst du bei Was stimmt mit dem Stil nicht? aus: Keine, Zu lang oder zu ausführlich, Unklar oder nicht direkt genug, Ton, Markenstimme oder Empathie, Struktur oder Formatierung, Sprache oder Formulierung und Sonstiges (mit einer Pflichterläuterung bei Beschreiben Sie das andere Stilproblem, maximal 500 Zeichen). Ältere Bewertungen können noch die Auswahl Empathie (früheres Label), Professionalität (früheres Label) und Direktheit (früheres Label) zeigen. Eine alte Bewertung ohne Stilurteil steht auf Nicht bewertet (historisches Label), mit der Meldung Dieses historische Label enthält noch kein Stilurteil. Wählen Sie eine Stilbewertung, um Änderungen zu speichern. Du musst dann zuerst eine Stilbewertung wählen, bevor du speichern kannst.
Operative Bereitschaft
| Option | Bedeutung |
|---|---|
| Direkt versendbar | Die Antwort konnte so raus. |
| Aktion vor dem Versand | Zuerst musste etwas passieren (zum Beispiel eine Bestellung anpassen). |
| Prüfung nötig | Etwas musste zuerst geprüft werden. |
| Menschliche Entscheidung nötig | Ein Mensch musste eine Entscheidung treffen (zum Beispiel über eine Kulanz). |
| Folgeaktion nach dem Versand | Nach dem Versenden musste noch etwas passieren. |
| Unklar | Nicht zu beurteilen. |
Hauptgrund und Aktionen
Ein Hauptgrund ist Pflicht, sobald der Inhalt nicht Korrekt ist oder die Bereitschaft Prüfung nötig, Menschliche Entscheidung nötig oder Unklar ist. Die Erläuterung beim Feld sagt es so: Der wichtigste Grund, warum diese Antwort nicht vollständig korrekt und direkt versendbar ist. Die Auswahlliste ist auf eure Branche abgestimmt und enthält Gründe wie einen fehlenden oder nicht belegten Fakt, eine sensible Entscheidung, ein Datenschutz- oder Sicherheitsrisiko oder eine Prüfung bei einer externen Partei. Passt kein einziger Grund, wähle Andere und fülle die Pflichterläuterung bei Beschreiben Sie den anderen Grund aus (maximal 500 Zeichen).
Erforderliche Aktionen sind Pflicht bei Aktion vor dem Versand und Folgeaktion nach dem Versand. Du wählst eine oder mehrere Aktionen aus der Liste, die wie die Gründe auf eure Branche abgestimmt ist. Bei Andere beschreibst du die Aktion bei Beschreiben Sie die andere Aktion (maximal 500 Zeichen).
Ist der Inhalt Korrekt und die Bereitschaft Direkt versendbar, steht dort Diese Antwort ist korrekt und direkt versendbar, ein Grund oder eine Aktion ist nicht nötig.
Schnelles Golden Sample beim Versenden
Steht in der Auto-send-Konfiguration Nach dem Senden fragen nicht auf Aus, kann beim Versenden einer Antwort der Dialog Schnelles Golden Sample erscheinen (Bewerte den KI-Entwurf, solange dieses Ticket noch frisch ist.). Du siehst die Ticketnummer, dieselbe Erklärung (Beurteile, ob der ursprüngliche AI-Entwurf automatisch versendet werden durfte. Die endgültig gesendete Nachricht ist nur unterstützendes Beweismaterial.) und dasselbe Formular wie auf der Seite.
Der Dialog Schnelles Golden Sample, der beim Versenden einer Antwort erscheint, mit dem Bewertungsformular und den Schaltflächen Heute nicht mehr und Überspringen.
- Fülle das Formular aus und klicke auf Speichern: Das Label wird zusammen mit deiner Antwort gespeichert.
- Überspringen: Du versendest ohne Label.
- Heute nicht mehr.: Du versendest ohne Label und bekommst die Frage heute auf diesem Gerät nicht mehr.
Wann die Frage erscheint, hängt vom gewählten Modus ab (Bei jeder geeigneten Antwort fragen., Fragen, wenn zusätzliche Samples nützlich sind. oder Nach Stichprobenanteil fragen), siehe Auto-send.
Gut zu wissen
- Bewerte den KI-Entwurf, nicht die Antwort, die deine Kollegin oder dein Kollege schließlich versendet hat. Ein Label über die menschliche Antwort verfälscht den Benchmark.
- Golden Samples fallen in der Schattenauswertung von Auto-send stark ins Gewicht: in der Spalte Von Menschen bestätigt und beim Simulationsumfang Nur Golden Samples.
- Ein Golden Sample ist etwas anderes als Feedback zu einem Ticket. Feedback geht an das aishaa-Team, ein Golden Sample ist euer eigener Benchmark.
- Die Gründe und Aktionen in den Auswahllisten sind auf eure Branche abgestimmt. Du kannst sie nicht selbst anpassen. Verwende Andere mit einer Erläuterung, wenn keine passende Auswahl dabei ist.