Waarom 'ik weet het niet' de belangrijkste zin is in een AI-systeem

De waarde van een AI-antwoord wordt bepaald door wat het systeem weigert te zeggen, niet door wat het zegt.

De meeste AI-systemen kunnen niet zeggen dat ze het antwoord niet weten. Die zijn er immers op getraind om zo hulpvaardig mogelijk te zijn. En dat kan soms ernstige gevolgen hebben.

Ik werd onlangs geconfronteerd met een situatie waarbij een klant een heel gerichte vraag had gesteld aan de chatbot. De chatbot verzekerde de klant op zijn beurt ervan dat dit zeker kon. De klant begon zelfzeker te experimenteren met de software, enkel om uiteindelijk te ontdekken dat de software helemaal niet kan wat beloofd was. Hij keerde daarna terug naar de chatbot en wees hem daar op. Hij kreeg gewoon dezelfde, stellige bevestiging dat het zeker wel gaat. Maar het kon helemaal niet, en de chatbot verzon zijn antwoord gewoon.

Dat noemen we een hallucinatie. De AI-agent fabriceert zijn antwoord omdat die hulpvaardig wil zijn. Dat is immers zo aangeleerd geweest in de trainingsfase. Chatbots worden vaak verkocht op basis van hun resolutie-percentage: de hoeveelheid vragen de AI zelfstandig kan beantwoorden zonder er een mens bij te betrekken. Zo'n percentage staat goed op een dashboard. Het zegt alleen niet of de antwoorden die de chatbot gaf ook daadwerkelijk klopten. Een chatbot die 95% van de vragen beantwoordt klinkt nu eenmaal veel indrukwekkender dan een chatbot die 'maar' 75% van de vragen beantwoordt.'

Maar de vraag is niet hoeveel vragen heeft mijn chatbot beantwoordt, maar hoeveel klanten of gebruikers zijn echt verder geholpen geweest door de chatbot? Dat is een veel lastiger cijfer om op een productpagina te zetten, want dan moet je eerlijk toegeven dat je chatbot niet alles oplost. Wie 'ik weet het niet' serieus neemt als mogelijk antwoord, ontwerpt automatisch een pad nar een mens.

Voor mij was het voor Sarrai een voorwaarde dat de chatbot over alles kon meepraten - als het met de software te maken had. Gedichtjes schrijven over de kwaliteit van je software, of een levertermijn verzinnen die nergens aangeboden wordt, dat is niet serieus. En dat is geen kwaliteit. Dus Sarrai werkt anders. Een antwoord zonder bron is bij ons geen antwoord. Sarrai mag niets zeggen dat niet in de databank staat. Als de knowledgebase de informatie niet bevat, dan zegt Sarrai dat ook. De escalatie naar een menselijke operator is op zo'n moment automatisch. En wanneer die de vraag juist beantwoordt wordt de knowledgebase van Sarrai bijgewerkt met de juiste informatie. Zo wordt je knowledgebase steeds beter, zonder dat je daar zelf ontzettend veel tijd in moet steken.'

Een AI die altijd antwoordt lijkt indrukwekkender dan een AI die soms zwijgt. Maar je wil geen 'indrukwekkende' chatbot op je klanten loslaten, daar is je klantencommunicatie je te dierbaar voor. Je wil de menselijke ervaring benaderen, en mensen? Die zeggen het als ze het niet weten gewoon eerlijk, en zoeken het dan uit. Dat is precies wat Sarrai ook doet.