IA e aprendizado de máquina leem a geometria do jogo em tempo real e a transformam em áudio espacial: objetos, paredes, aberturas viram som navegável. Open-source e gratuito.
técnica
áudio 3D, leitura de geometria em tempo real, ML, plugin open-source
período
2 anos de P&D com jogadores cegos e a AbleGamers → open-source em 2024-03
prova
20+ prêmios: Spikes Asia Grand Prix · D&AD Pencil · One Asia Silver · One Club Merit · One Show / Clio · Cannes Lions 2024 shortlist
EEG e biossensores lendo cada participante ao vivo no estande do Itaú no Web Summit Rio 2024; no fim, um QR code entregava o vídeo gerado pelas ondas cerebrais de cada um.
técnica
EEG, biossensores, Python, WebView, shaders em WebGL, Linux customizado em mini PCs
AME.LAB — laboratório de tecnologia assistiva · iCOM
entrega
Avatar em LIBRAS em três telas: navegador, com legenda; cena fotorrealista no Unreal; e realidade virtual no Meta Quest, com hand tracking. Na volta, a webcam reconhece sinais e números e os escreve em português.
técnica
visão computacional (MediaPipe), classificação de sinais, vídeo de intérprete → avatar, Blender, Unreal Engine (MetaHuman), Meta Quest com hand tracking, Ready Player Me
A webcam do aluno vira um avatar 3D que faz o exercício junto com ele — e conta as repetições.
obra
Hiveclass · avatar de educação física
cliente
Hiveclass
entrega
Avatar 3D dirigido pela pose do aluno, dentro da tarefa da plataforma: explicação em vídeo, calibração (corpo inteiro na câmera, mão direita levantada para começar) e demonstração com contador de repetições e feedback ao vivo. Antes, um MVP comparando o esqueleto do aluno com a forma certa, e os portais de aluno e professor.
técnica
MediaPipe (33 landmarks), solver landmark → rig, IK, three.js / React Three Fiber, Ready Player Me, Next.js, socket.io
período
protótipo em 2025-05 → validação dentro da plataforma em 2026-05
prova
16 jumping jacks contados certo no teste de 2025-05-27 · 10/10 na validação dentro da plataforma
Hardware, firmware e protocolo do AXIS: ESP32 dual-core, IMU com sensor fusion (Madgwick, quaternions), matriz de pressão em Velostat sob a lixa, telemetria UDP fire-and-forget e uma rede neural a bordo que reconhece a manobra. Do lado de fora, o painel do Gappin lê o fluxo ao vivo.
Visão computacional, pose 3D, biomecânica, ML próprio, e o AXIS: o skate inteligente com sensores no shape e firmware próprio. Painel com o panorama global do skate em tempo real. 55 mil entidades.
técnica
visão computacional, pose 3D, ML, IoT (AXIS), firmware, visualização de dados
App de realidade aumentada: no convite, o mascote aparece e conversa com o convidado. Na festa, os funcionários lançavam o mascote no chão, no backdrop, e faziam foto ou vídeo pela função de gravação do próprio app, que já compartilhava direto para as redes sociais com a moldura da empresa.
técnica
realidade aumentada em app, mascote 3D projetado em superfície plana, foto e vídeo no app, moldura da empresa, compartilhamento em redes sociais
Uma câmera assiste a quem dança breaking, reconhece o movimento, e um avatar da marca dança junto, com placar ao vivo.
obra
Roda 220v · breaking lido por câmera
cliente
projeto próprio, não comercial · piloto com a identidade da Cute Crew
entrega
Instalação de breaking: a câmera lê a pose, um classificador separa toprock, footwork e power move, e uma b-girl 3D da marca executa o movimento na tela, com placar, combo e freeze na batida. Solo, Versus, ranking e menus por gesto.
técnica
RTMPose (ONNX), YOLOX, classificador sobre keypoints, FastAPI + WebSocket, three.js com toon shading, retarget de mocap no Blender, librosa
período
piloto em 2026-10 (primeiro commit em 2026-10-06)
prova
RTMPose-m: 65 % PCK@0.1 contra 44 % do MediaPipe full no BRACE, a 11,7 ms por quadro · classificador: 92 % por segmento · ao vivo: igual ao gabarito em 71 % do tempo
Um beat'em up de celular em que guardiões indígenas expulsam invasores — e cada fase traz o fato, a data e a fonte.
obra
GUARDIÕES
cliente
projeto próprio · paródia sem fins comerciais
entrega
Jogo de navegador em pixel art, feito para abrir dentro do Instagram: 4 guardiões jogáveis, 4 fases em Terras Indígenas, chefes, perseguições de lancha, moto e carrinho de mina, e cartões com fato datado e fonte. Ninguém morre: o invasor apanha, larga o que trouxe e foge.
técnica
JavaScript sem dependências, canvas 360×640 em pixel duro, arte gerada no Gemini (Vertex AI) e limpa por scripts próprios, WebAudio, piloto automático, trailer renderizado quadro a quadro, Cloudflare Pages + D1
