VIÉS ALGORÍTMICO E DISCRIMINAÇÃO: DESAFIOS PARA GARANTIR A EQUIDADE DE ACORDO COM OS DIREITOS HUMANOS

Olivia Oliveira Guimarães; Daniel de Souza Vicente; Thais Caixeta

Todos os Trabalhos

Trabalho Completo

Resumo

Título do Trabalho

VIÉS ALGORÍTMICO E DISCRIMINAÇÃO: DESAFIOS PARA GARANTIR A EQUIDADE DE ACORDO COM OS DIREITOS HUMANOS

Autores

Olivia Oliveira Guimarães
Daniel de Souza Vicente
Thais Caixeta

Modalidade

Resumo

Área temática

GTR 1 (Remoto) Discriminação a minorias e cidadania digital

Data de Publicação

09/07/2024

País da Publicação

Brasil

Idioma da Publicação

Português

Página do Trabalho

https://www.even3.com.br/anais/chbdc/822644-vies-algoritmico-e-discriminacao--desafios-para-garantir-a-equidade-de-acordo-com-os-direitos-humanos

ISBN

978-65-272-0557-9

Palavras-Chave

Algoritmos; Direitos Humanos; Discriminação; Proteção de Dados; Segurança.

Resumo

Os algoritmos podem gerar discriminação de várias maneiras, principalmente quando são alimentados com conjuntos de dados ou quando são específicos com suposições ajustadas embutidas em seu funcionamento . O objetivo deste estudo é investigar as formas de discriminação algorítmica e propor métodos para combatê-la, focando em práticas éticas de coleta de dados, treinamento de modelos e auditoria de algoritmos. Além disso, o estudo visa destacar a importância de regulamentações baseadas em direitos humanos para proteger usuários, especialmente os mais jovens, nas redes sociais. Se os dados usados para treinar um algoritmo são invejados em relação a certas características (como raça, gênero, idade, etc.), o algoritmo pode aprender e perpetuar esses preconceitos. Por exemplo, se um algoritmo de seleção de currículos para treinados com dados que mostram preferências por candidatos masculinos, ele pode reproduzir esse viés ao analisar novos currículos. Às vezes, certas características são selecionadas como indicadores ou preditores sem considerar plenamente sua relevância ou impacto. Por exemplo, se um algoritmo de crédito favorecendo a renda como o principal fator para determinar a elegibilidade, ele pode discriminar pessoas de baixa renda, mesmo que outras características possam ser igualmente importantes para avaliar o risco de crédito . Algoritmos que interagem com usuários ou tomam decisões com base em dados feedbacks podem criar um ciclo de reforço de vida. Por exemplo, um algoritmo de recomendação de empregos que sugere predominantemente posições em determinados setores para indivíduos com certos antecedentes educacionais pode perpetuar desigualdades ao longo do tempo. Combater a discriminação algorítmica exige um esforço multidisciplinar que envolve coleta de dados éticos, treinamento de modelos justos, auditorias e testes rigorosos, bem como conscientização sobre questões de equidade e diversidade em todos os avanços do desenvolvimento de algoritmos. A ausência de ferramentas nos softwares para lidar com a restrição de acesso a essas plataformas ressalta a urgência de considerar os direitos humanos como um guia ético para mitigar esse vício prejudicial. Este resumo destaca a importância de uma abordagem ética na gestão das redes sociais, especialmente no que diz respeito à proteção e à segurança dos jovens usuários . Por meio de regulamentações baseadas nos direitos humanos, é possível impulsionar a criação de ferramentas e recursos dentro das plataformas para monitorar e limitar o tempo de uso, promovendo um ambiente online mais seguro e saudável para os menores. Isso inclui a implementação de controles parentais robustos, transparência sobre as práticas de coleta de dados e o desenvolvimento de estratégias de intervenção para mitigar os efeitos prejudiciais do vício em redes sociais. A União Europeia tem desempenhado um papel fundamental no combate à discriminação algorítmica, com um enfoque notável em duas frentes principais: a regulamentação de proteção de dados e a ética e transparência na inteligência artificial. Este protagonismo se consolidou a partir da implementação do Regulamento Geral de Proteção de Dados (GDPR ) em 2016, e continua a evoluir com novas propostas e legislações focadas em IA. O GDPR estabelece um marco regulatório robusto para a proteção de dados pessoais dentro da UE. Este regulamento não apenas protege os direitos dos indivíduos em relação aos seus dados, mas também estabelece obrigações rigorosas para as organizações que processam esses dados. Entre os aspectos mais relevantes do GDPR no combate à discriminação algorítmica, destacam-se o direito à explicação, que garante aos indivíduos o direito de obter explicações sobre decisões automatizadas que os afetem significativamente, incluindo decisões baseadas em perfis e algoritmos. Esta transparência ajuda a identificar e corrigir possíveis vieses discriminatórios nos algoritmos. Além disso, o GDPR exige que as organizações obtenham consentimento explícito dos indivíduos para processar seus dados pessoais, incluindo o uso de algoritmos e técnicas de machine learning que possam impactar os direitos dos usuários. As organizações também devem realizar avaliações de impacto sobre a proteção de dados (DPIA) sempre que um processamento de dados possa resultar em um alto risco para os direitos e liberdades dos indivíduos, incluindo a identificação de discriminação algorítmica potencial. Além do GDPR, a União Europeia tem avançado com iniciativas específicas para abordar questões de ética, transparência e discriminação na inteligência artificial. Lançada em 2018, a Estratégia Europeia para a IA visa tornar a Europa líder mundial em inteligência artificial confiável e ética. Um dos pilares desta estratégia é garantir que a IA respeite os direitos fundamentais, incluindo a não discriminação. Em abril de 2021, a Comissão Europeia apresentou uma proposta para regulamentar a IA na UE, que visa classificar os sistemas de IA de acordo com o risco que representam e impor requisitos rigorosos para aqueles que são considerados de alto risco. A transparência e a prevenção da discriminação algorítmica são aspectos centrais desta proposta. Além disso, embora ainda em discussão, a proposta de uma Carta de Direitos Digitais da UE busca fortalecer os direitos dos cidadãos no ambiente digital, incluindo proteções contra decisões automatizadas injustas e discriminatórias. O protagonismo no combate à discriminação algorítmica, nas duas frentes citadas, é da União Europeia , que se ocupa do tema desde a edição do Regulamento Geral de Proteção de Dados 2016/679 (General Data Protection Regulation ou GDPR) . A União Europeia tem desempenhado um papel fundamental no combate à discriminação algorítmica, com um enfoque notável em duas frentes principais: a regulamentação de proteção de dados e a ética e transparência na inteligência artificial. Os direitos humanos defendem a privacidade e a proteção de dados, sendo essencial a implementação de medidas para proteger os dados dos usuários, especialmente menores, diante da negligência das empresas nesse aspecto . A falta de regulamentação clara sobre o uso de redes sociais por menores permitiu a negligência das empresas, ressaltando a necessidade de regulamentações mais rígidas para proteger os usuários mais jovens. Um exemplo claro da necessidade de regulamentações mais rigorosas é o impacto psicológico negativo que o uso excessivo das redes sociais pode ter sobre os jovens. Pesquisas indicam que “o uso prolongado de redes sociais está associado a aumentos na ansiedade, depressão e outros problemas de saúde mental entre adolescentes ”. Regulamentações que limitem o tempo de uso e monitorizem o tipo de conteúdo acessado podem mitigar esses efeitos adversos. Finalmente, a implementação de regulamentações mais rígidas pode incentivar as empresas a adotarem melhores práticas de design e segurança. Como argumenta Johnson (2023 ), “regulamentações claras obrigariam as plataformas a incorporar medidas de proteção desde a concepção de seus produtos, promovendo um ambiente online mais seguro e saudável para os jovens”. Este tipo de abordagem proativa é essencial para garantir que a segurança dos menores não seja negligenciada em favor de interesses comerciais.

Título do Evento: IV Congresso Hispano-Brasileiro de Direito Constitucional
Cidade do Evento: Recife
Título dos Anais do Evento: Anais do Congresso Hispano-Brasileiro de Direito Constitucional
Nome da Editora: Even3
Meio de Divulgação: Meio Digital

Como citar

GUIMARÃES, Olivia Oliveira; VICENTE, Daniel de Souza; CAIXETA, Thais. VIÉS ALGORÍTMICO E DISCRIMINAÇÃO: DESAFIOS PARA GARANTIR A EQUIDADE DE ACORDO COM OS DIREITOS HUMANOS.. In: Anais do Congresso Hispano-Brasileiro de Direito Constitucional. Anais...Recife(PE) UNICAP, 2024. Disponível em: https//www.even3.com.br/anais/chbdc/822644-VIES-ALGORITMICO-E-DISCRIMINACAO--DESAFIOS-PARA-GARANTIR-A-EQUIDADE-DE-ACORDO-COM-OS-DIREITOS-HUMANOS. Acesso em: 31/05/2025