Was bedeutet Evaluation von KI?
Evaluation untersucht, ob eine KI-Anwendung die Anforderungen ihres konkreten Einsatzes erfüllt. Dazu gehören geeignete Prüffälle, klare Bewertungskriterien und die Analyse von Fehlern. Ein allgemeiner Modellbenchmark beantwortet diese Frage nur teilweise.
Was heißt das für Public Affairs?
Für ein Public-Affairs-Briefing können Quellenrichtigkeit, korrekter Verfahrensstatus, Abdeckung und angemessene Unsicherheitskennzeichnung geprüft werden. Das Testmaterial sollte typische und schwierige reale Dokumentarten abbilden. Änderungen an Modell oder Prompt erfordern eine passende erneute Prüfung.
Worauf kommt es an?
Eine hohe Durchschnittsleistung kann seltene, aber folgenreiche Fehler verdecken. Einzelne gute Demonstrationen sind kein belastbarer Qualitätsnachweis.
Drei Fragen für die Praxis
- Sind Prüffälle repräsentativ?
- Welche Fehler sind besonders folgenreich?
- Wurde die neue Version gegen die bisherige verglichen?
Originalquellen & Vertiefung
Die Quellen erläutern den Begriff oder seinen fachlichen Rahmen. Die Anwendungshinweise und das fiktive Beispiel sind eigenständige Ausarbeitungen dieses Glossars.
- NIST: AI Risk Management Framework, freiwilliger Risikomanagementrahmen
- NIST (2024): Generative AI Profile, NIST AI 600-1
Fachbegriffe werden verständlich eingeordnet; berufliche Arbeitsbegriffe sind keine gesetzlichen Definitionen. Bei Rechtsfragen sind die einschlägige Fassung und der konkrete Einsatz maßgeblich.