Dove kinderen kunnen klanken niet aan geschreven woorden koppelen. Daardoor leren ze vaak veel later lezen dan hun horende leeftijdsgenootjes. De app StorySign zet tekst om in gebarentaal en helpt zo dove kinderen met leren lezen.
In StorySign, vertaalt de vriendelijke avatar Star, in gebarentaal, het kinderboek ‘Waar is Dribbel?’. Hierdoor leren dove en slechthorende kinderen, net als hun leeftijdsgenoten, lezen terwijl ze naar de woorden in kinderboekjes kijken.
Werking
De app werkt als volgt. Ouders kunnen hun kind voorlezen met de StorySign app door de app te openen en met hun smartphone de woorden te scannen. De avatar Star verschijnt en vertaalt de tekst naar gebarentaal. Hierbij worden de woorden uitgelicht die Star aan het gebaren is. Zo leren de kinderen de betekenis kennen van de woorden.
“We hebben de exacte gezichtsuitdrukkingen van gebarentolken gekopieerd om Star tot leven te brengen”, vertelt Neil Pymer, creative director bij Aardman Animations, verantwoordelijk voor de animatie van Star. “Mimiek is zeer belangrijk omdat het 70% van de gebarentaal bepaalt. Elke knik of glimlach doet er toe.”
Kunstmatige intelligentie
StorySign maakt gebruik van de AI (kunstmatige intelligentie) van Huawei. Huawei gelooft dat technologie, en kunstmatige intelligentie in het bijzonder, echt kan bijdragen aan maatschappelijke problemen. StorySign is daar een mooi voorbeeld van.
Voor een optimale leeservaring maakt de app gebruik van Image Recognition en Optical Character Recognition (OCR). De AI in Huawei smartphones zorgt ervoor dat de hoek waarin de smartphone boven de tekst gehouden wordt geen invloed heeft op de gebruikservaring. Kinderen zullen namelijk in de praktijk hun telefoon niet altijd recht boven de tekst houden. OCR zorgt ervoor dat de app nog nauwkeuriger werkt. Om de app voor zoveel mogelijk mensen beschikbaar te maken, werkt deze ook op andere Android smartphones. StorySign is erop gebouwd om in de toekomst meer boeken te kunnen toevoegen en zo veel mogelijk ouders en kinderen er gebruik van te kunnen laten maken.
Voorleeskilometers
Volgens FODOK, Federatie voor Ouders van Dove Kinderen, is het erg belangrijk dat er meer aandacht komt voor leesbevordering. “Voorleeskilometers maken met dove en slechthorende kinderen zorgt voor leesplezier. En voorlezen vergroot hun greep op de wereld. Ze worden er sterker van”, zegt Mariën Hannink van FODOK.
Downloaden
StorySign is te downloaden via de Google Play Store en via de HUAWEI App gallery, in 10 talen. Naast Nederlands zijn dat Belgisch, Duits, Engels, Iers, Frans, Spaans, Italiaans, Zwitsers en Portugees.
