CLARIFY, O TRADUTOR DE GESTOS

Amanda Carvalho Monteiro; Letícia Martins Antunes da Silva; Eduardo da Silva de Alencastre Ceva; João Paulo Perez Fernandes Vicente

Todos os Trabalhos

Trabalho Completo

Resumo

Título do Trabalho

CLARIFY, O TRADUTOR DE GESTOS

Autores

Amanda Carvalho Monteiro
Letícia Martins Antunes da Silva
Eduardo da Silva de Alencastre Ceva
João Paulo Perez Fernandes Vicente

Modalidade

Trabalho Completo

Área temática

Graduação

Data de Publicação

25/03/2020

País da Publicação

Brasil

Idioma da Publicação

Português

Página do Trabalho

https://www.even3.com.br/anais/spgd_2019/225116-clarify-o-tradutor-de-gestos

ISSN

2526-9933

Palavras-Chave

Design de interação, Imagem e comunicação, Experience design, Comunicação Aumentativa e Alternativa, Empatia.

Resumo

O presente resumo trata do projeto apresentado por alunos de graduação da ESDI, autores desse artigo, na edição de 2019 da Microsoft Design Expo, evento patrocinado por pesquisadores da Microsoft. Seu propósito é engajar faculdades de design no desenvolvimento de projetos voltados para a experiência do usuário que busquem resolver problemas do mundo real e dialoguem com um tema específico. Em 2019, o tema proposto foi “Empatia em escala”. O objetivo era desenvolver uma solução que possibilitasse a empatia para uma grande variedade e quantidade de pessoas. Sobre a participação da ESDI, o desenvolvimento de projetos para o evento se deu no segundo semestre das aulas de Desenvolvimento de Projetos de Programação Visual ministradas pelos professores Marcos Martins e Noni Geiger para os alunos do 3º ano da graduação. Além dos professores, os projetos contaram também com a orientação de Leonardo Morais Soares, aluno da pós-graduação, e dos liaisons Eduardo Sonnino e Eric Sexauer, funcionários da Microsoft. Divididos em grupos de no máximo quatro alunos, a turma propôs sete projetos diferentes. O projeto escolhido para ser apresentado no evento chama-se Clarify e trata de um aplicativo que busca ampliar o alcance e a inclusão da comunicação de pessoas com dificuldade em se expressar verbalmente. Um dos primeiros passos para a elaboração do projeto foi pesquisar sobre o tema empatia. As principais referências teóricas usadas para esse projeto foram os trabalhos dos autores Jeremy Rifkin (2010, p. 3) e Theresa Wiseman (1996, p. 1165), que defendem a importância da comunicação para que a empatia ocorra plenamente; porque, quando aquela é prejudicada, as pessoas tendem a se limitar às suas próprias noções pré-concebidas sobre o outro. Baseado nesses conceitos, começamos a gerar de alternativas relacionadas a questões de empatia e comunicação, ou seja, problemas de comunicação que dificultam a empatia e como resolvê-los. A princípio o público alvo do trabalho não estava claro e sua definição se deu pela coincidência de que Maria Eduarda, irmã de uma das autoras do projeto, é uma autista não-verbal. Ela se comunica majoritariamente por gestos que não fazem parte de uma linguagem de sinais pré-existente; ela desenvolveu sua própria linguagem ao longo do tempo. Membros de sua família não tem dificuldade em entendê-la, mas ela sempre precisa de um intermediário quando tenta se comunicar com pessoas desconhecidas. Isso se apresentou limitação para sua independência. O público alvo foi definido após uma pesquisa, que buscava entender quem eram as pessoas com problemas semelhantes com os de Maria, quantas delas existem e quais suas características. Há mais de 4 milhões de pessoas, somente nos EUA, que não conseguem se comunicar verbalmente ou o fazem com grande dificuldade (BEUKEMAN; MIRANDA, 2013). Essa deficiência pode ser temporária ou acompanhar alguém por toda sua vida. Ao invés de usar suas vozes, essas pessoas utilizam outros meios para se comunicarem. Esses são chamados de Comunicação Aumentativa e Alternativa (CAA). Dentre estes meios, os mais comuns são gestos, expressões faciais e representações gráficas. O projeto clarify buscou combinar essas formas de CAA com alguns princípios de tecnologia já existentes, de forma a buscar atender maior variabilidade de pessoas. A solução desenvolvida se trata de um sistema de tradução dessas “línguas” particulares para pessoas em condições semelhantes a da Maria Eduarda. Uma das vantagens desse sistema é que ele pode se adaptar à linguagem do usuário, de forma a poder traduzir tanto uma língua pré-existente, quanto uma criada em um caso particular. No momento, o projeto foca em gestos, embora no futuro ele possa ser aprimorado para incorporar outras formas de CAA. Foram feitos protótipos de baixa fidelidade do sistema. Neles, uma pessoa que não conhecia Eduarda ou sua maneira de se comunicar deveria tentar estabelecer uma conversa com ela. A conversa era mediada por um membro de sua família, que traduzia seus gestos. Esse familiar representava nosso sistema em atuação. A partir daí, as decisões projetivas foram tomadas baseadas principalmente no que seria mais confortável para o público (centrado no usuário). O sistema foi também pensado para não depender de uma tecnologia específica, considerando que em alguns casos um dispositivo pode servir melhor que outro. Por exemplo, muitos autistas usam AAC, e para vários deles o uso de um smartglass pode ser mais interessante por ser discreto; enquanto que, para outra pessoa, um aplicativo de celular pode ser melhor por ser mais simples e acessível. O modelo final do sistema foi influenciado por aplicativos e plataformas tradutoras de gestos, como o Hand Talk. Para personalizar o sistema e atender uma forma de linguagem gestual particular, o usuário deve fazer pequenos vídeos, com uma câmera, cada um mostrando um gesto diferente que ele usa para se comunicar. Depois, deve escrever no sistema o significado deles. Essas informações ficam salvas numa sessão chamada “Biblioteca”, que pode ser editada a qualquer momento. Depois de registrada uma quantidade suficiente de gestos, o sistema pode ser usado para tradução dos gestos para pessoas sem treinamento especial. Supondo uma situação em que o sistema funcione como um aplicativo de celular, a pessoa com dificuldade de fala tem de entregar o dispositivo para aquele com quem ela quer conversar com a aplicação aberta para que ele veja as telas. Na primeira delas está escrito "Tenho dificuldade em me comunicar verbalmente. Pressione este botão para entender o que eu digo”. Em seguida aparece outra instrução pedindo que a pessoa aponte a câmera para aquele com limitação de falar. A partir desse momento, todos os gestos que ele realiza podem ser identificados pelo dispositivo, comparando o movimento com os registros salvos na Biblioteca. O sistema reconhece o gesto e seu significado aparecerá como texto na tela do telefone, como uma legenda. Dentre os resultados que podem ser alcançados pelo projeto, dar mais independência para pessoas com dificuldade de se comunicar verbalmente, além de um pouco mais de auto-suficiência em algumas situações da vida cotidiana é nossa meta principal. Em linhas gerais, Clarify abre um canal empático para a aceitação e o entendimento. Como um projeto de experience design, ele melhora interações de comunicação específicas de uma forma inclusiva, além de circundar a experiência mais ampla de ser entendido.

Título do Evento: 5º Simpósio de Pós-Graduação em Design da ESDI
Cidade do Evento: Rio de Janeiro
Título dos Anais do Evento: Anais do Simpósio de Pós-graduação em Design da Esdi
Nome da Editora: Even3
Meio de Divulgação: Meio Digital

Como citar

MONTEIRO, Amanda Carvalho et al.. CLARIFY, O TRADUTOR DE GESTOS.. In: Anais do Simpósio de Pós-graduação em Design da Esdi. Anais...Rio de Janeiro(RJ) ESDI / UERJ, 2019. Disponível em: https//www.even3.com.br/anais/spgd_2019/225116-CLARIFY-O-TRADUTOR-DE-GESTOS. Acesso em: 07/08/2025