AI en fotoclassificatie als nieuwe leden van de klantenservice

Als er een bedrijf is dat digitale transformatie belichaamt, is het Picnic wel. Als volledig digitaal bedrijf in het supermarktlandschap is het zaak om voorop te blijven lopen. Vandaar dat er een AI-challenge werd georganiseerd - en daar had Info Support wel oren naar.

Picnic is de eerste Nederlandse digitale supermarkt. Hoewel er meerdere supermarkten zijn waarbij er online boodschappen kan worden gedaan, is Picnic bijzonder in de zin dat er geen enkele fysieke vestiging is. Hoewel dat in de non-food sector eerder regel dan uitzondering is, is dat bij de verkoop van verse producten als groente, fruit, vlees en zuivel echt uniek. En dat maakt het bedrijfsmodel anders. Met de focus op online, is het in feite geen supermarkt maar een IT-bedrijf – en dat merk je.

Slimme klantenservice
Nu het bedrijf al bijna vier jaar op volle toeren bezig is, is het inmiddels gegroeid naar een bedrijf van formaat, met honderden medewerkers. Een aanzienlijk deel daarvan bevindt zich op de afdeling klantenservice. Klanten kunnen zich melden met defecte of beschadigde producten – wat wordt ondersteund met bewijs in de vorm van fotomateriaal. Door een foto van het product op te sturen, wordt een medewerker van de klantenservice aan het werk gezet om te beoordelen of de klacht terecht is en of er een vergoeding of nieuw product tegenover mag staan. De analyse van de foto, beoordeling van het product en afhandeling van de klacht brengen aanzienlijk wat werk met zich mee. Hieruit ontstond de vraag van Picnic voor een slimmere variant van dit proces: kan dit niet op een of andere manier geautomatiseerd worden?

Meer innovatie, minder fouten
Het idee van een challenge zag al snel het levenslicht. De uitdaging luidde als volgt: ontwerp een innovatieve oplossing om – met behulp van de dataset, bestaande uit een deel van de verzameling foto’s tot nu toe – producten die op de afbeelding te zien zijn te classificeren. Wanneer dat mogelijk is, kan uiteindelijk de klantenservice worden ondersteund, wat niet alleen een enorme efficiencyslag met zich meebrengt, maar ook fouten vermindert. Hoewel dit niet al te ingewikkeld klinkt, had het meer voeten in aarde dan op het eerste ogenblik leek. Immers, producten kunnen op talloze manieren beschadigd of bedorven raken. Bovendien worden de foto’s ook nog eens gemaakt door consumenten – die niet altijd even behendig zijn met de camera en belichting, laat staan dat de (telefoon)camera zelf van voldoende kwaliteit is. Zodoende was de mate van herkenning soms ver te zoeken. Info Support durfde de uitdaging wel aan; uit puur enthousiasme ontstond spontaan een team.

Supermodel
Omdat dit een ideale case was om afstudeerders een stapje dichterbij de realiteit van het werkveld te brengen, werd er gewerkt met drie duo’s met daarin steeds één student. Elk duo bedacht een oplossing; daarbij was de combinatie van enerzijds het creatieve denkvermogen van de afstudeerder en anderzijds de kennis en ervaring van de Info Support-medewerker ideaal. De drie modellen werden uiteindelijk naast elkaar gelegd, getest en uiteindelijk verenigd tot één ‘supermodel’. Data scientist en deelnemer Christel Geurts licht het proces toe. “Ik heb inmiddels ontdekt dat een tomaat op honderd manieren stuk kan zijn”, lacht ze. “Er waren vaak foto’s die meerdere producten bevatten en er zodoende niet goed te herleiden viel om welk product het precies ging. Zo hebben we ook meteen weer ingezien hoe belangrijk het is om een goede dataset te hebben. We zijn eenvoudig begonnen om te kijken wat werkt, en hebben het zo steeds verder uitgebouwd.”

Dat leidde tot drie modellen die goed functioneerden. “Als eerste maakten we modellen in TensorFlow, wat relatief ingewikkeld is en dicht tegen de wiskunde aan ligt. Daarna zijn we overgegaan op FastAI, wat eigenlijk een manier is om het trainen van Neurale Netwerken makkelijker en minder wiskunde-focused te maken. Dat bleek super te werken. Tot slot hebben we ook een custom computer vision model gemaakt, omdat dat heel simpel te implementeren is en we wilden aantonen dat het voor bedrijven niet altijd nodig is om een eigen oplossing uit te vinden, aangezien er gewoon goede producten voor bestaan. Bovendien zat er in custom computer vision ook een model dat voorgetraind was op het ‘Food’ domein, wat ervoor zorgde dat het model eigenlijk prima werkte met minimale inspanning. Uiteindelijk bleek de combinatie van deze drie het beste resultaat te geven.”

Top-5
Met de oplossing wist Info Support in de top 5 te belanden, van uiteindelijk 205 deelnemende partijen, met als eindscore 87 procent nauwkeurigheid. Dat zo’n top 5 dicht bij elkaar ligt, zo blijkt; de winnaar behaalde een score van 89 procent. Of de oplossing in de praktijk zal worden gebruikt is nog niet duidelijk. Aan Info Support zal het niet liggen.