Google DeepMind predstavil nový systém umelej inteligencie s názvom SL2T (sign-language-to-text), ktorý dokáže preložiť posunkový jazyk priamo do textu. Ide o prvý krát, keď sa takáto technológia dostáva z výskumného laboratória priamo do bežných telefónov.
Systém je zatiaľ dostupný na telefóne Pixel 11, kde funguje vo funkciách Gboard (diktovanie textu) a Live Transcribe (prepis rozhovorov). Podporuje americký posunkový jazyk (ASL) s prekladom do angličtiny. Ďalšie jazyky a zariadenia majú pribudnúť neskôr.
Vďaka tejto funkcii môžu nepočujúci používatelia posunkovať namiesto písania – napríklad pri vyhľadávaní na webe, písaní správ alebo pri komunikácii s asistentom Gemini. V aplikácii Live Transcribe môžu na rozhovor odpovedať posunkovaním namiesto prepisovania textu tam a späť.
Prečo je to náročné
Preklad posunkového jazyka je oveľa zložitejší ako prepis hovoreného jazyka. Posunkové jazyky majú vlastnú gramatiku a slovnú zásobu – nie sú len „angličtinou na rukách“. Systém musí zároveň rozpoznávať pohyby rúk, tela aj mimiky tváre v reálnom čase, čo je náročná úloha pre počítačové videnie.
Ako to funguje
Model SL2T sa učil na viac ako 100-tisíc hodinách dát z vyše 50 posunkových jazykov, pričom približne štvrtinu tvorili dáta v ASL. Z dôvodu ochrany súkromia systém nespracúva priamo obraz z kamery – telefón najprv rozpozná len body na tele posunkujúceho človeka (body, ruky, tvár) a tieto súradnice sa následne posielajú na preklad. Samotné video sa nikam neukladá.
Podľa testov na benchmarku FLEURS-ASL dosahuje SL2T výrazne lepšie výsledky ako doterajšie modely. Preklady sú plynulé, hoci sa stále môžu objaviť chyby – napríklad pri rýchlom prstovom hláskovaní alebo zložitejších gramatických konštrukciách.
Spolupráca s komunitou nepočujúcich
Google zdôrazňuje, že projekt vznikal v spolupráci s komunitou nepočujúcich, nie len pre ňu. Na vývoji sa podieľali nepočujúci odborníci, vrátane iniciátora projektu Sama Sepaha. Google tiež založil poradný výbor AISLAC, ktorý združuje nepočujúce organizácie z celého sveta a má dohliadať na zodpovedné nasadzovanie technológie.
Cieľom Google je podľa vlastných slov dosiahnuť plnú rovnosť medzi posunkovými a hovorenými jazykmi v digitálnom svete. Ďalej plánujú rozšíriť technológiu o ďalšie posunkové jazyky aj o generovanie posunkov (teda opačný smer – z textu do posunkov).
Zdroj, foto: deepmind.google
Editor: Juraj Holéczy
Moderátor: Roman Polášek