Een AI-assistent kan helpen bij een duidelijk afgebakende taak, maar de productiviteit moet worden gemeten samen met de mensen die het werk uitvoeren. Een zinvolle proef gaat er niet van uit dat gegenereerde tekst automatisch tijdwinst oplevert. Er wordt rekening gehouden met de configuratie, beoordeling, correctie en het onderhoud, en er wordt gecontroleerd of het eindresultaat nog steeds aan de kwaliteitsnorm van het team voldoet.
Kies één taak en leg een uitgangsniveau vast
Begin met een taak die een duidelijke invoer, uitvoer en beoordelaar heeft. Een assistent kan bijvoorbeeld een eerste antwoord op een supportvraag opstellen aan de hand van het huidige artikel in het helpcentrum en het bericht van de klant. De assistent moet de gebruikte bron vermelden, ontbrekende informatie aanduiden en het verzenden overlaten aan een medewerker.
Neem vóór de introductie van de assistent een steekproef van het normale werk. Registreer de verstreken tijd, de actieve verwerkingstijd, correcties, escalaties en eindkwaliteit. Gebruik vergelijkbare gevallen en voldoende waarnemingen om normale variaties zichtbaar te maken. Vraag medewerkers welke onderdelen eentonig zijn, welke een beoordeling vereisen en waardoor de tool onveilig of onbruikbaar zou worden.
Meet de netto tijdwinst en eindkwaliteit
Neem tijdens de pilot de configuratie van prompts of sjablonen, de voorbereiding van bronnen, de beoordeling, correcties, bijscholing of het onderhoud van regels en de tijd die aan het afhandelen van fouten wordt besteed mee in de meting. Vergelijk definitief goedgekeurde antwoorden, niet de onbewerkte concepten. Kwaliteitscontroles kunnen betrekking hebben op feitelijke juistheid, naleving van beleid, volledigheid, toon en de vraag of het geval correct werd geëscaleerd.
In de versie van november 2023 van NBER Working Paper 31161 werden 5.179 klantenservicemedewerkers onderzocht. Het onderzoek meldde een gemiddelde stijging van 14% in het aantal afgehandelde problemen per uur, waarbij de effecten verschilden naargelang de ervaring van de medewerker. Dit is een resultaat binnen een specifieke supportomgeving, geen implementatie door Intyb en evenmin een voorspelling van een algemeen rendement voor verschillende functies of gereguleerde sectoren.
Maak deelname en menselijke tussenkomst praktisch
Vertel medewerkers wat er wordt gemeten en voorkom dat de proef verandert in verborgen individueel toezicht. Vraag toestemming of volg het passende proces op de werkplek, nodig medewerkers uit om feedback te geven en maak het eenvoudig om een concept zonder nadelige gevolgen af te wijzen. De opleiding moet behandelen hoe bronnen worden geverifieerd, onzekerheid wordt herkend en gevallen die een menselijke beoordeling vereisen correct worden doorgestuurd.
Wijs een verantwoordelijke aan voor inhoudelijke updates en onderhoud. Als goedgekeurd beleid verandert, moet ook de kennis van de assistent worden aangepast. Definieer een stopvoorwaarde voor herhaalde feitelijke fouten of gebrekkige escalaties. Een tool die tijd bespaart bij het opstellen van teksten, maar tot meer klachten of correctiewerk leidt, heeft de taak niet verbeterd.
Raadpleeg voor de werking van workflows, zoals afgebakende machtigingen en overdracht aan een medewerker, de checklist voor verantwoorde AI-agents.