AME.LAB — laboratório de tecnologia assistiva · iCOM
Um avatar 3D que sinaliza em LIBRAS para pessoas surdas — no navegador e em VR — e uma câmera que lê os sinais de volta.
O problema
A LIBRAS é língua oficial no Brasil (Lei 10.436/2002, Decreto 5.626/2005), e os serviços são obrigados a se comunicar nela. Na prática, a pessoa surda num totem, num SAC ou na recepção de um hospital raramente encontra intérprete. Só texto não resolve: para muitos surdos, o português é segunda língua. A resposta tinha de sinalizar — e entender sinais.
O que a casa fez
Um avatar que sinaliza em LIBRAS, em três telas: o navegador, com legenda embaixo do avatar ("bom dia", "médico, por favor", "preciso, urgente"); uma cena fotorrealista no Unreal; e a realidade virtual no Meta Quest, onde a pessoa sinaliza com as próprias mãos, sem controle. No sentido inverso, uma webcam comum lê quem sinaliza e escreve as palavras e os números em português.
Como foi construído
A sinalização vem de intérpretes: o MediaPipe lê mãos, braços e rosto no vídeo do intérprete, e esses pontos movem o rig do avatar — no Blender para limpar, no Unreal para tocar. O reconhecimento usa os mesmos pontos, vindos da webcam, e um classificador sobre a sequência do movimento. Em vez de traduzir "qualquer coisa", o vocabulário é montado por domínio — como um FAQ visual de rodoviária ou de clínica —, o que o mantém pequeno e preciso. Latência, acerto e tamanho do vocabulário [medir].
Telas
Créditos
Desenvolvimento: Nilo River. Com AME.LAB e iCOM. Pose: MediaPipe (Google). Avatares: MetaHuman (Epic Games) e Ready Player Me. Intérpretes de LIBRAS, testes com usuários surdos e outros créditos [medir]