Zoeken met emojis in plaats van tekst naar YouTube-video’s? Het kan nu met Emoji2Video.
Onderzoekers van de Universiteit van Amsterdam en Qualcomm hebben een zoekmachine ontwikkeld waarmee je niet mer woorden, maar met pictogrammen YouTube-video’s kunt vinden. Druk op een hond en een bal, en je krijgt een heleboel filmpjes met een hond die bijvoorbeeld achter een bal aanrent.
Bezoekers van de site Emoji2Video kunnen kiezen uit een lijst van 385 pictogrammen. De emoji’s die je kiest, bijvoorbeeld een honkbal, een baby en een ballon, doorzoekt 45.000 filmpjes die op YouTube staan en vindt de filmpjes die het best bij jouw zoekopdrachten passen.
De zoekmachine is nog niet helemaal af en er kan dus nog een heleboel aan verbeterd worden. Zo zijn er maar 45.000 video’s beschikbaar, en dat is natuurlijk maar een fractie van wat er op YouTube staat. De machine is in eerste instantie bedoeld voor mensen die niet goed kunnen lezen en schrijven en dat zoeken naar YouTube-video’s ook voor hen toegankelijk wordt.
De onderzoekers hebben gebruikgemaakt van deep-learning technieken om emoji-labels te koppelen aan video’s. Om de vijftig frames hebben ze geanalyseerd wat er voorkomt in een video.
