“Pessoas que recebem um subsídio social reservado a pessoas com deficiência [the Allocation Adulte Handicapé, or AAH] são diretamente visados por uma variável no algoritmo”, diz Bastien Le Querrec, especialista jurídico da La Quadrature du Net. “A pontuação de risco para pessoas que recebem AAH e que estão trabalhando aumenta.”
Dado que também classifica as famílias monoparentais mais altas do que as famílias com dois pais, os grupos argumentam que discrimina indirectamente as mães solteiras, que são estatisticamente mais propensas a serem cuidadoras únicas. “Nos critérios da versão 2014 do algoritmo, a pontuação para beneficiários divorciados há menos de 18 meses é maior”, afirma Le Querrec.
Changer de Cap diz que foi abordado tanto por mães solteiras quanto por pessoas com deficiência em busca de ajuda, após ser alvo de investigação.
A agência CNAF, responsável pela distribuição de ajuda financeira, incluindo habitação, invalidez e benefícios para crianças, não respondeu imediatamente a um pedido de comentário ou à pergunta da WIRED sobre se o algoritmo atualmente em uso mudou significativamente desde a versão de 2014.
Tal como em França, grupos de direitos humanos noutros países europeus argumentam que sujeitam os membros da sociedade com rendimentos mais baixos a uma vigilância intensa – muitas vezes com consequências profundas.
Quando dezenas de milhares de pessoas nos Países Baixos – muitas delas oriundas do país Ganense comunidade – foram falsamente acusados de fraudar o sistema de benefícios infantis, eles não foram apenas obrigados a devolver o dinheiro que o algoritmo disse que eles supostamente roubaram. Muitos deles afirmam que também ficaram com dívidas crescentes e classificações de crédito destruídas.
O problema não é a forma como o algoritmo foi concebido, mas a sua utilização no sistema de segurança social, diz Soizic Pénicaud, professor de política de IA na Sciences Po Paris, que anteriormente trabalhou para o governo francês na transparência dos algoritmos do sector público. “O uso de algoritmos no contexto da política social traz muito mais riscos do que benefícios”, diz ela. “Não vi nenhum exemplo na Europa ou no mundo em que estes sistemas tenham sido utilizados com resultados positivos.”
O caso tem ramificações além da França. Espera-se que os algoritmos de bem-estar sejam um teste inicial de como a economia da UE novas regras de IA serão aplicadas assim que entrarem em vigor em fevereiro de 2025. A partir de então, a “pontuação social” – o uso de sistemas de IA para avaliar o comportamento das pessoas e depois submeter algumas delas a tratamento prejudicial – será banido em todo o bloco.
“Muitos destes sistemas de segurança social que fazem esta deteção de fraudes podem, na minha opinião, ser uma pontuação social na prática”, diz Matthias Spielkamp, cofundador da organização sem fins lucrativos Algorithm Watch. No entanto, os representantes do sector público provavelmente discordarão dessa definição – com argumentos sobre como definir esses sistemas provavelmente acabará em tribunal. “Acho que esta é uma questão muito difícil”, diz Spielkamp.
