Beeldherkenningssoftware gebruikt ‘machine learning’, een vorm van kunstmatige intelligentie. De herkenning gebeurt op basis van de korte karakteriseringen (hashtags) die mensen zelf maken als ze hun foto’s op Instagram zetten

Hashtags kunnen relevante infomatie geven over een afbeelding, maar lang niet altijd. Lees ook de serie De Formule: hoe algoritmes het dagelijks leven beïnvloeden Het techbedrijf maakte vorige week op zijn eigen congres F8 bekend dat de software 85,4 procent van de beelden in een trainingsset goed beschrijft. Op basis van heel veel voorbeelden leert het algoritme, door analyse van de pixelpatronen op de foto’s, om op nieuwe foto’s katten te herkennen. Facebookonderzoekers hebben het artikel gepubliceerd op preprintserver arXiv. Throwback thursday
Dit nieuwe algoritme van Facebook werd echter niet getraind met gelabelde foto’s, maar met foto’s en hun bijbehorende hastags van dochterbedrijf Instagram. Dat staat voor ‘throwback thursday’ en wordt gebruikt voor nostalgische foto’s. „Door hashtags slim te selecteren kon het effect van deze ‘ruis’ voldoende gereduceerd worden”, schrijft Laurens van der Maaten, een Nederlandse machinelearning-wetenschapper bij Facebook die betrokken was bij het onderzoek, in een e-mail. Het vorige record was 83,1 procent, dat eerder dit jaar werd behaald door een onderzoeksgroep van Google. Software van Facebook kan nu beter ‘zien’ wat er op foto’s staat dan die van de concurrentie. Bij een foto van een kat kan de hashtag #cat staan, maar er zijn ook hashtags die geen informatie over de afbeelding geven, zoals #tbt. Daarbij wordt doorgaans gebruikgemaakt van grote hoeveelheden foto’s die door mensen zijn gelabeld om de algoritmes te trainen, bijvoorbeeld: op deze foto staat een kat, en op deze foto staat geen kat.