Waarom 'automation rate' geen doel is, en wat dan wél?

Vrijwel elke vendor van AI-customer-support gooit het cijfer in je gezicht: 73% van je tickets wordt geautomatiseerd. 87%. 92%. De boodschap is duidelijk, hoe hoger, hoe beter. Maar wie er even langer over nadenkt ziet dat automation rate als KPI zo lek is als een mandje.

Onze stelling is simpel: automation rate is een meting, geen doel. Wie 'm tot doel verheft, optimaliseert voor het verkeerde en verliest precies datgene waar customer support voor bestaat, vertrouwen.

Waarom de KPI lekt

Automation rate is gedefinieerd als 'percentage gesprekken dat zonder menselijke tussenkomst is opgelost'. Daar zitten drie problemen in.

1. Wat tellen we als 'opgelost'? Een gesprek waarin de bot zegt 'ik kan je daar niet mee helpen, neem contact op met support' heeft technisch nul mens-betrokkenheid, maar lost niets op.
2. Wat tellen we als 'gesprek'? Iemand die om 23:00 vraagt waar zijn order is en het juiste antwoord krijgt, telt als één. Iemand met een complexe garantieclaim die in drie sessies vier afdelingen passeert, telt als drie. De moeilijke cases, waar het écht om gaat, wegen mee als één-op-één met de makkelijke.
3. Wat tellen we niet? Mensen die het na één botbericht opgeven en je nooit meer benaderen. Voor de bot is dat een succes (geen handoff), voor je bedrijf is dat een verloren klant.

De drie KPI's die wél wat zeggen

Bij Conveya kijken we naar drie metrics in combinatie. Geen daarvan zegt op zichzelf genoeg, samen vertellen ze het echte verhaal.

1. Resolution rate (per kanaal, per categorie)

Niet 'is het gesprek beëindigd zonder mens', maar 'heeft de klant gekregen wat hij of zij zocht'. Operationeel meet je dat door 24 uur na het gesprek een single-question survey te sturen: 'Heb je antwoord gehad op je vraag?', ja/nee/deels. Combineer dat met het aantal heropende cases binnen 7 dagen.

2. CSAT van geautomatiseerde gesprekken (versus humane gesprekken)

Vraag na een gesprek naar tevredenheid op een 1-5 schaal. Vergelijk de AI-gesprekken met je humane gesprekken in dezelfde periode. Een gezonde benchmark: AI-CSAT mag maximaal 0.3 punt lager liggen dan humaan-CSAT. Daaronder verlies je goodwill.

3. Cost-per-resolution

Alle kosten (LLM-tokens, infra, menselijke tijd bij escalaties) gedeeld door het aantal opgeloste cases. Dit is de KPI die je CFO begrijpt. En het is de enige die laat zien of automatisering geld bespaart of alleen werk verschuift.

Hoe je de juiste KPI-mix opzet

1. Splits je cases per categorie (order-status, refund, productvraag, anders). Per categorie heb je een andere optimale automation rate. 'Order-status' kan en mag 95% zijn. 'Refund' hoort ergens tussen 30-50% te zitten omdat je daar menselijke afweging wilt.
2. Stel een minimum-CSAT-gate in. Zodra de CSAT van een categorie onder een drempel zakt (wij hanteren 4.2 op 5), gaat de bot weer ondersteunend werken in plaats van afhandelend.
3. Meet weekly, niet daily. Daily fluctuaties zeggen niets en leiden tot paniek-tuning.
4. Stop met VP-bonussen op automation rate. Geef ze bonussen op resolution rate × CSAT × kostenreductie. Dan krijg je een team dat naar het juiste optimaliseert.

Wat dit voor je vendor-keuze betekent

Als een vendor in z'n verkooppraatje zwaait met automation rate zonder de resolution + CSAT + cost-componenten erbij, weet je genoeg. Vraag in je RFP standaard om alle vier de cijfers, en weiger demos waarin alleen het automation-percentage staat. De vendors die kunnen leveren laten het zien. De rest niet.