Feedback geven aan AI: hoe voorkom je herhaalde fouten?
Feedback geven aan AI werkt beter met een vaste verbetercyclus. Leg fout, oorzaak en wijziging vast en test of dezelfde correctie echt minder vaak nodig is.
Bruikbare AI-feedback beschrijft een concrete fout, de gewenste uitkomst en de vermoedelijke oorzaak. Verwerk die feedback in de juiste bron, instructie of processtap en test opnieuw. Ga er niet van uit dat een AI-systeem automatisch blijvend leert van iedere correctie.
Je herkent het misschien: je team corrigeert voor de derde keer dezelfde verkeerde levertijd. Het antwoord wordt aangepast, iedereen gaat verder en bij een volgende opdracht staat de fout er weer. Beter feedback geven aan AI begint daarom niet bij een strengere opmerking, maar bij een vaste werkwijze voor kwaliteitsverbetering.
Waarom is een correctie nog geen leerproces?
Een correctie herstelt één antwoord. Een verbeterproces verandert de omstandigheden waardoor dat antwoord ontstond. Dat verschil bepaalt of je dezelfde fout blijft herstellen of de kans op herhaling daadwerkelijk verkleint.
Een reactie als ‘dit bedoelde ik niet’ vertelt nauwelijks wat er moet veranderen. Zelfs een duidelijke correctie in een chat is niet vanzelf beschikbaar bij een volgende taak, voor een andere collega of in een geautomatiseerde workflow. Dat hangt af van de inrichting van het systeem.
Maak daarom onderscheid tussen:
- Het antwoord herstellen: de huidige tekst of uitkomst corrigeren.
- De werkwijze aanpassen: bijvoorbeeld een verouderde bron vervangen of een vaste instructie verduidelijken.
- De verbetering controleren: nagaan of nieuwe opdrachten beter gaan, zonder eerdere goede resultaten te verslechteren.
Een aangepast antwoord is nog geen bewijs van een verbeterde werkwijze. Daarvoor moet je weten wat is gewijzigd en wat die wijziging bij volgende taken oplevert.
Hoe vind je de oorzaak achter een terugkerende AI-fout?
Onderzoek eerst welke informatie en instructies het systeem werkelijk heeft gebruikt. Dezelfde zichtbare fout kan verschillende oorzaken hebben. Een verkeerde levertijd kan bijvoorbeeld komen uit een oud document, maar ook uit een mislukte gegevensopvraag waarna AI zelf een termijn invult.
Gebruik vier categorieën om je onderzoek te richten:
| Mogelijke oorzaak | Wat controleer je? | Waar voer je de verbetering door? |
|---|---|---|
| Broninformatie | Is de informatie juist, actueel en beschikbaar bij deze taak? | In het brondocument, de kennisbank of de manier waarop informatie wordt opgehaald |
| Instructie | Is duidelijk welke regel geldt en wat moet gebeuren bij ontbrekende informatie? | In de vaste taak- of rolinstructie |
| Vorm | Klopt de inhoud, maar niet de toon, lengte of indeling? | In het sjabloon, de stijlafspraken of goedgekeurde voorbeelden |
| Proces | Ontbreekt een opvraagstap, controle of goedkeuring? | In de workflow, koppeling of taakverdeling |
Vraag niet alleen aan AI waarom iets misging. Zo’n verklaring is een aanwijzing, geen technisch bewijs. Vergelijk de uitkomst met de werkelijk gebruikte bronnen, instructies en beschikbare loggegevens.
Staat de juiste regel al in de instructie? Voeg dan niet meteen dezelfde regel nog eens toe. Controleer eerst of de taak die instructie daadwerkelijk meekrijgt en of een andere afspraak ermee botst.
Hoe werkt dit bij een verkeerde levertijd?
Stel: een fictief team laat AI conceptantwoorden op klantvragen maken. In een antwoord staat ‘binnen twee werkdagen’, terwijl de actuele bron voor dit product ‘vijf werkdagen’ vermeldt.
Dan zijn er verschillende gerichte oplossingen:
- Gebruikt het systeem een oude brochure? Vervang of markeer die bron als vervallen en controleer of de actuele versie wordt opgehaald.
- Krijgt AI de actuele termijn niet mee? Herstel de gegevensopvraag.
- Vult AI bij ontbrekende informatie zelf een termijn in? Leg vast dat het systeem geen levertijd mag verzinnen en de vraag moet doorzetten voor controle.
‘Voortaan vijf werkdagen noemen’ is hier te breed. Voor een ander product kan een andere termijn gelden. De herbruikbare regel gaat over de juiste bron gebruiken, niet over één antwoord onthouden.
Hoe maak je een bruikbare feedbackkaart?
Leg per terugkerende fout vast wat fout ging, wat de juiste uitkomst is en welke aanpassing je wilt testen. Geef die aanpassing ook een eigenaar. Zo wordt feedback een uitvoerbare werkafspraak in plaats van een losse opmerking.
Onderstaande feedbackkaart is een voorgesteld werkblad, geen automatische functie of bestaand AIMAZE-product. Je kunt hem in een gedeeld document of takenbord gebruiken. Het ingevulde voorbeeld is fictief.
| Veld | Ingevuld voorbeeld |
|---|---|
| Taak en foutvoorbeeld | Conceptantwoord over product A noemt twee werkdagen; bewaar de opdracht en de foutieve passage |
| Gewenste uitkomst | Vijf werkdagen noemen op basis van de actuele productbron |
| Vermoedelijke oorzaak | Een oude brochure wordt mogelijk nog als bron gebruikt |
| Voorgestelde wijziging | Oude brochure uit de actieve bronset halen en de actuele productbron beschikbaar maken |
| Regel bij ontbrekende gegevens | Geen termijn invullen; aangeven dat controle nodig is |
| Eigenaar | De productverantwoordelijke controleert de bron; de beheerder past de inrichting aan |
| Hertest | Oorspronkelijke vraag, nieuwe formuleringen, een ander product en een vraag zonder beschikbare termijn |
| Besluit en versie | Datum, aangepaste bron- of instructieversie, testuitkomsten en akkoord vastleggen |
Verwijder persoonsgegevens die niet nodig zijn om de fout te begrijpen. Beperk toegang tot het correctielog wanneer er vertrouwelijke bedrijfsinformatie in staat.
Welke feedback is concreet genoeg?
Concrete feedback maakt zichtbaar welk gedrag moet veranderen en wanneer de nieuwe regel geldt. Vergelijk deze twee reacties:
Dit klopt niet. Let voortaan beter op levertijden.
En:
In dit concept staat ‘twee werkdagen’. De actuele productbron vermeldt voor product A vijf werkdagen. Controleer welke bron is gebruikt en pas de bronselectie zo nodig aan. Gebruik bij ontbrekende levertijd geen schatting, maar zet het antwoord door voor controle. Test ook product B, waarvoor een andere termijn geldt.
De tweede reactie bevat een fout, een controleerbare gewenste uitkomst, een onderzoeksvraag en een test. Daarmee kan een collega of beheerder daadwerkelijk verder.
Hoe controleer je of het de volgende keer beter gaat?
Test de wijziging op het oorspronkelijke foutvoorbeeld én op andere situaties. Alleen het verbeterde antwoord opnieuw lezen is onvoldoende: dan weet je nog niet of de regel ook werkt buiten dat ene geval.
Deze aanpak sluit aan bij OpenAI’s richtlijnen voor het evalueren van AI-systemen. Daarin staan taakgerichte tests, voorbeelden uit de praktijk, menselijke beoordeling en opnieuw testen na wijzigingen centraal. OpenAI wijst er ook op dat dezelfde invoer verschillende uitkomsten kan opleveren.
1. Bepaal vooraf wanneer een antwoord slaagt
Maak de beoordeling concreet. In het fictieve levertijdvoorbeeld slaagt een antwoord als het de actuele termijn voor het juiste product gebruikt, geen termijn verzint bij ontbrekende gegevens en de afgesproken controlestap volgt.
2. Vergelijk de oude en nieuwe werkwijze
Gebruik dezelfde testvragen vóór en na de aanpassing. Verander bij voorkeur één onderdeel tegelijk, zodat je beter kunt beoordelen wat het verschil veroorzaakt.
Neem drie soorten voorbeelden mee:
- Eerdere fouten: gaat het oorspronkelijke probleem nu goed?
- Nieuwe varianten: werkt de verbetering ook bij anders geformuleerde vragen?
- Eerder goede gevallen: blijft een ander product zijn eigen juiste levertijd houden?
Herhaal belangrijke tests. Eén geslaagd antwoord bewijst geen stabiele verbetering.
3. Meet fouten én controlewerk
Houd bij hoeveel antwoorden de afgesproken criteria halen, welke nieuwe fouten ontstaan en hoeveel tijd menselijke controle kost. Noteer aantallen met hun context: ‘twee fouten in twaalf testvragen’ zegt meer dan ‘het werkt bijna altijd’.
Een kleine testreeks is een praktisch begin, geen betrouwbaarheidsgarantie. Laat bij belangrijke toezeggingen de menselijke goedkeuring staan zolang de werking onvoldoende is aangetoond. Ontstaan nieuwe fouten? Herstel de vorige versie of scherp de wijziging aan voordat je die breder gebruikt.
Hoe maakt AIMAZE feedback onderdeel van de samenwerking?
Bij AIMAZE combineren we in de eerste periode briefing, inrichting, feedback en bijschaven. Een Digitale Medewerker wordt ingericht rond een rol, taken, kennis, tone of voice en werkafspraken. Je team levert de inhoudelijke richting; de inrichting en begeleiding helpen die afspraken bruikbaar te maken in het dagelijkse werk.
Een evaluatie na de eerste weken en daarna periodiek helpt om taken, kwaliteit en de mate van zelfstandigheid bij te stellen. Dat betekent niet dat iedere chatcorrectie automatisch tot blijvend leren leidt. Spreek juist af wie feedback verzamelt, waar wijzigingen worden verwerkt en wie beoordeelt of ze werken.
Wil je zien hoe een digitale collega binnen zo’n werkwijze past? Bekijk de digitale medewerkers van AIMAZE. Neem als vertrekpunt één correctie die je team nu steeds opnieuw uitvoert.
Hoe geef je herbruikbare feedback aan AI?
Leg vast wat fout ging, wat de juiste uitkomst is en of de oorzaak in broninformatie, instructie, vorm of proces zit. Verwerk de wijziging op de juiste plek, wijs een eigenaar aan en test met nieuwe én eerdere voorbeelden. Een losse chatcorrectie is niet vanzelf een blijvende verbetering.
Begin klein: kies deze week één terugkerende fout en doorloop de hele cyclus. De winst zit niet in méér feedback geven, maar in feedback die zichtbaar iets verandert aan de volgende taak.