Vigilância em massa, inteligência artificial e novos desafios legais
Pensamentos

Vigilância em massa, inteligência artificial e novos desafios legais

cupom com desconto - o melhor site de cupom de desconto cupomcomdesconto.com.br


Vigilância em massa, inteligência artificial e novos desafios legais 9

(Este é o texto de uma palestra que proferi na Conferência Anual da Comissão de Reforma da Lei da Irlanda, em Dublin, em 13 de novembro de 2018)

Em meados do século XIX, um conjunto de leis foi criado para enfrentar a ameaça que automóveis e locomotivas recém-inventados representavam para outros usuários da estrada. Uma das primeiras leis desse tipo foi o inglês The Locomotive Act 1865, que posteriormente ficou conhecido como "Red Flag Act". De acordo com esse ato, qualquer usuário de um veículo automotor tinha que garantir que pelo menos duas pessoas fossem empregadas para gerenciar o veículo e que uma dessas pessoas:

"Enquanto qualquer locomotiva estiver em movimento, deve preceder essa locomotiva a pé por não menos de sessenta jardas, e ostentar uma bandeira vermelha constantemente exibida e alertar os cavaleiros e motoristas de cavalos sobre a aproximação dessas locomotivas …"

O motivo por trás dessa lei era louvável. Os automóveis representam uma nova ameaça para outros usuários da estrada, mais vulneráveis. Mas, para os olhos modernos, a lei também era, claramente, ridícula. Sugerir que todo carro deveria ser precedido por um pedestre que acenava uma bandeira vermelha parece derrotar o objetivo de ter um carro: a idéia é que é mais rápido e mais eficiente do que andar. A natureza ridícula da lei acabou se tornando evidente para seus criadores e todas essas leis foram revogadas na década de 1890, aproximadamente 30 anos após sua introdução.

A história das leis da Bandeira Vermelha mostra que os sistemas legais geralmente entendem errado novas tecnologias emergentes. Ao focar nos riscos óbvios ou imediatos, a lei pode negligenciar os benefícios e custos a longo prazo.

Menciono tudo isso a título de aviso. Pelo que entendi, já faz mais de 20 anos desde que a Comissão de Reforma da Lei considerou os desafios legais em torno da privacidade e da vigilância. Muita coisa aconteceu nas décadas seguintes. Meu objetivo nesta palestra é dar uma noção de onde estamos agora e quais problemas talvez precisem ser abordados nos próximos anos. Ao fazer isso, espero não esquecer a lição das leis da Bandeira Vermelha.

1. O que mudou?
Deixe-me começar com a pergunta óbvia. O que mudou, tecnologicamente falando, desde a última vez que o LRC considerou questões relacionadas à privacidade e vigilância? Duas coisas se destacam.

Primeiro, entramos em uma era de vigilância em massa. A proliferação de dispositivos digitais – laptops, computadores, tablets, smartphones, relógios inteligentes, carros inteligentes, geladeiras inteligentes, termostatos inteligentes e assim por diante – combinada com o aumento da conectividade à Internet resultou em um mundo no qual todos agora somos monitorados e registrados a cada minuto de todos os dias de nossas vidas. O baixo custo e a onipresença dos dispositivos de coleta de dados significa que agora é, em princípio, possível imbuir todos os objetos, animais e pessoas com alguma tecnologia de monitoramento de dados. O resultado é o que alguns estudiosos chamam de "internet de tudo" e, com isso, a possibilidade de um "panóptico digital" perfeito. Esta era de vigilância em massa coloca maior pressão sobre a privacidade e, pelo menos na UE, levou a uma significativa intervenção legislativa na forma do RGPD.

Segundo, criamos tecnologias que podem tirar proveito de todos os dados que estão sendo coletados. Para afirmar o óbvio: os dados por si só não são suficientes. Como todos os advogados sabem, é fácil confundir a oposição em um complexo processo judicial 'despejando' muitos dados sobre eles durante a descoberta. Eles se afogam no mar resultante de informações. É o que fazemos com os dados que realmente importa. A esse respeito, é o casamento da vigilância em massa com novos tipos de inteligência artificial que cria os novos desafios legais que devemos enfrentar agora com certa urgência.

A inteligência artificial nos permite fazer três coisas importantes com as vastas quantidades de dados que estão sendo coletadas agora:

  • (i) Permite novos tipos de correspondência de padrões – o que quero dizer aqui é que os sistemas de IA podem detectar padrões em dados que historicamente eram difíceis de serem detectados pelos sistemas de computador (por exemplo, reconhecimento de imagem ou voz) e que também podem ser difíceis, se não impossível, para os humanos identificarem devido à sua complexidade. Em outras palavras, a IA nos permite entender os dados de novas maneiras.
  • (ii) Permite a criação de novos tipos de produtos informacionais – o que quero dizer aqui é que os sistemas de IA não retransmitem simplesmente, formas desapaixonadas e objetivas dos dados que coletamos. Eles ativamente constroem e remodelam os dados em artefatos que podem ser mais ou menos úteis para os seres humanos.
  • (iii) Permite novos tipos de ação e comportamento – o que quero dizer aqui é que os produtos informacionais criados por esses sistemas de IA não são simplesmente artefatos inertes que observamos com desapego confuso. São sugestões para mudar e alterar o comportamento humano e a tomada de decisões.

Além disso, esses sistemas de IA fazem essas coisas com maior autonomia (ou, menos controversa, com automação). Embora os seres humanos ajudem os sistemas de IA tanto na compreensão quanto na construção e na ação dos dados coletados, os avanços na IA e na robótica tornam cada vez mais possível que as máquinas façam coisas sem assistência ou intervenção humana direta.

Vigilância em massa, inteligência artificial e novos desafios legais 10

São essas maneiras de usar os dados, juntamente com o aumento da automação, que acredito dar origem aos novos desafios legais. É impossível para mim cobrir todos esses desafios nesta palestra. Então, o que farei é discutir três estudos de caso que, na minha opinião, são indicativos dos tipos de desafios que precisam ser enfrentados e que correspondem às três coisas que podemos fazer agora com os dados que estamos coletando.

2. Estudo de caso: Tecnologia de reconhecimento facial
O primeiro estudo de caso tem a ver com a tecnologia de reconhecimento facial. Este é um excelente exemplo de como a IA pode entender os dados de novas maneiras. A tecnologia de reconhecimento facial é essencialmente como impressões digitais no rosto. A partir de uma seleção de imagens, um algoritmo pode construir um modelo matemático exclusivo de seus recursos faciais, que pode ser usado para rastrear e rastrear sua identidade em vários locais.

As conveniências potenciais dessa tecnologia são consideráveis: maior rapidez na liberação de segurança nos aeroportos; uma maneira fácil de registrar e confirmar presença nas escolas; o fim de senhas complexas ao acessar e usar seus serviços digitais; uma maneira de os serviços de segurança rastrearem e identificarem criminosos; uma ferramenta para localizar pessoas desaparecidas e encontrar velhos amigos. Não é de surpreender que muitos de nós já tenham acolhido a tecnologia em nossas vidas. Agora é a configuração de segurança padrão na geração atual de smartphones. Também está sendo testado em aeroportos (incluindo o Aeroporto de Dublin), (2) estações de trem e praças públicas em todo o mundo. É barato e facilmente conectado aos sistemas de vigilância de CFTV existentes. Ele também pode tirar proveito dos vastos bancos de dados de imagens faciais coletadas por governos e mecanismos de mídia social.

Apesar de suas vantagens, a tecnologia de reconhecimento facial também apresenta um número significativo de riscos. Permite e normaliza a vigilância geral de indivíduos em vários ambientes. Isso a torna a ferramenta perfeita para governos opressivos e corporações manipuladoras. Nossos rostos são uma das características mais importantes e únicas, fundamentais para o nosso senso de quem somos e como nos relacionamos – pense na linha imortal dos Beatles 'Eleanor Rigby coloca o rosto que ela mantém na jarra perto da porta A tecnologia de reconhecimento facial captura esse recurso exclusivo e se transforma em um produto digital que pode ser copiado e comercializado e usado para marketing, intimidação e assédio.

Considere, por exemplo, as consequências não intencionais do aplicativo FindFace, lançado na Rússia em 2016. Com a intenção de que seus criadores fossem uma maneira de fazer novos amigos, o aplicativo FindFace combinava imagens em seu telefone com imagens em bancos de dados de mídia social, permitindo assim você identifica pessoas que você conheceu, mas cujos nomes você não consegue se lembrar. Suponha que você conheceu alguém em uma festa, tirou uma foto com eles, mas não recebeu o nome. O FindFace permite que você use a foto para rastrear sua identidade real. (3) Que ideia maravilhosa, certo? Agora você nunca precisa perder uma oportunidade de amizade por causa da falta de supervisão ou falta de memória. Bem, como você pode imaginar, o aplicativo também tem um lado sombrio. É a tecnologia perfeita para assediadores, assediadores e doxxers (a gíria da Internet para quem quer descobrir a identidade do mundo real das pessoas). Qualquer pessoa que esteja tentando ocultar ou ocultar sua identidade agora pode ser rastreada e rastreada por qualquer pessoa que por acaso tire uma foto deles.

Leia Também  Instrutores revelam os 10 melhores benefícios do treinamento com pesos »

Além disso, a tecnologia de reconhecimento facial não é perfeita. Demonstrou-se menos confiável ao lidar com rostos não brancos, e há vários casos documentados nos quais ele corresponde aos rostos errados, assumindo erroneamente que alguém é um criminoso quando não o é. Por exemplo, muitos drivers norte-americanos tiveram suas licenças canceladas porque um algoritmo descobriu duas faces em um banco de dados de licenças como suspeitosamente semelhantes e assumiu erroneamente que as pessoas em questão usavam uma identidade falsa. Em outra ilustração famosa do problema, 28 membros do congresso dos EUA (a maioria deles membros de minorias raciais), foram falsamente combinados com fotos de criminosos usando a tecnologia de reconhecimento facial criada pela Amazon. (4) Como alguns pesquisadores colocaram, a disseminação generalizada e o uso indiscriminado do reconhecimento facial significa que todos nós agora fazemos parte de uma formação permanente que é tendenciosa e propensa a erros. (5) As conveniências do reconhecimento facial têm um preço, que muitas vezes só se torna aparente quando algo acontece. errado, e é mais caro para alguns grupos sociais do que outros.

O que deve ser feito sobre isso do ponto de vista jurídico? A resposta óbvia é regular cuidadosamente a tecnologia para gerenciar seus riscos e oportunidades. Isso é, de certa forma, o que já está sendo feito no âmbito do RGPD. O artigo 9 do GDPR estipula que o reconhecimento facial é um tipo de dados biométricos sujeitos a proteções especiais. A posição padrão é que não deve ser coletada, mas isso está sujeito a uma longa lista de qualificações e exceções. É permitido, por exemplo, coletá-lo se os dados já tiverem sido publicados, se você obtiver o consentimento explícito da pessoa, se servir a algum interesse público legítimo, se for clinicamente necessário ou necessário por razões de saúde pública, se é necessário proteger outros direitos e assim por diante. Claramente, o GDPR restringe o reconhecimento facial de algumas maneiras. Um caso sueco recente multou uma escola pelo uso indiscriminado de reconhecimento facial para monitoramento de presença. (6) No entanto, a longa lista de exceções faz com que o amplo uso do reconhecimento facial não seja apenas uma possibilidade, mas uma probabilidade. Isso é algo que a UE tem conhecimento e, à luz do caso sueco, eles sinalizaram a intenção de introduzir uma regulamentação mais rigorosa do reconhecimento facial.

Isso é algo que nós, na Irlanda, também devemos considerar. O GDPR permite que os estados introduzam proteções mais rigorosas contra certos tipos de coleta de dados. E, de acordo com alguns estudiosos da privacidade, precisamos das proteções mais rigorosas possíveis para nos salvar das depredações do reconhecimento facial. Woodrow Hartzog, um dos principais estudiosos da privacidade nos EUA, e Evan Selinger, filósofo especializado em ética da tecnologia, argumentaram recentemente que a tecnologia de reconhecimento facial deve ser proibida. Como eles dizem (de forma alarmante) 🙁 7)

“O futuro do florescimento humano depende da proibição da tecnologia de reconhecimento facial antes que os sistemas se tornem muito arraigados em nossas vidas. Caso contrário, as pessoas não saberão como é ser público, sem serem automaticamente identificadas, analisadas e potencialmente exploradas ".

Eles alertam contra quem pensa que a tecnologia pode ser regulamentada procedimentalmente, argumentando que os interesses governamentais e comerciais sempre farão lobby pela expansão da tecnologia além de suas atribuições inicialmente prescritas. Eles também argumentam que as tentativas de consentimento informado serão (e já são) uma 'falha espetacular' porque as pessoas não entendem com o que estão consentindo quando revelam suas impressões digitais faciais.

Algumas pessoas podem achar esse pedido de proibição categórica extremo, desnecessário e impraticável. Por que jogar o bebê fora com a água do banho e outros clichês nesse sentido. Mas gostaria de sugerir que há algo que vale a pena levar a sério aqui, principalmente porque a tecnologia de reconhecimento facial é apenas a ponta do iceberg da coleta de dados. As pessoas já estão experimentando a tecnologia de reconhecimento de emoções, que usa imagens faciais para prever comportamentos futuros em tempo real, e existem muitos outros tipos de dados sensíveis que estão sendo coletados, digitalizados e comercializados. Os dados genéticos são talvez o outro exemplo mais óbvio. Dado que os dados são o que alimenta o fogo da IA, é possível que consideremos cortar parte do suprimento de combustível na sua totalidade.


3. Estudo de caso: Deepfakes
Deixe-me passar para o meu segundo estudo de caso. Este tem a ver com a forma como a IA é usada para criar novos produtos informativos a partir dos dados. Como ilustração, vou me concentrar na chamada tecnologia "deepfake". Essa é uma técnica de aprendizado de máquina que permite construir mídias sintéticas realistas a partir de bancos de dados de imagens e arquivos de áudio. O uso mais prevalente de deepfakes é, talvez sem surpresa, no mundo da pornografia, onde os rostos de atores famosos foram repetidamente enxertados em vídeos pornográficos. Isso é perturbador e faz do deepfakes uma tecnologia ideal para pornografia de vingança "sintética".

Talvez mais socialmente significativo que isso, no entanto, sejam os possíveis usos políticos da tecnologia deepfake. Em 2017, uma equipe de pesquisadores da Universidade de Washington criou uma série de vídeos deepfake de Barack Obama, que agora reproduzirei para você. (8) As imagens nesses vídeos são artificiais. Eles não foram editados juntos a partir de clipes diferentes. Eles foram construídos sinteticamente por um algoritmo a partir de um banco de dados de materiais audiovisuais. Obviamente, o vídeo não é totalmente convincente. Se você olhar e ouvir atentamente, poderá ver que há algo artificial e artificial sobre isso. Além disso, ele usa clipes de áudio pré-gravados para sincronizar com o vídeo sintético. No entanto, se você não estava olhando muito de perto, pode estar convencido de que era real. Além disso, há outras equipes trabalhando na mesma técnica básica para criar áudio sintético também. Assim, à medida que a tecnologia melhora, pode ser muito difícil, mesmo para os espectadores mais exigentes, diferenciar ficção e realidade.

Agora não há nada de novo na mídia sintética. Com o apoio da New Zealand Law Foundation, Tom Barraclough e Curtis Barnes publicaram uma das investigações mais detalhadas sobre as implicações da política jurídica da tecnologia deepfake. (9) Em seu relatório, destacam o fato de que uma enorme quantidade de recursos audiovisuais existentes a mídia é sintética: tudo é processado, manipulado e editado até certo ponto. Há também uma longa história de criação de representações artísticas e satíricas sintéticas de figuras políticas e públicas. Pense, por exemplo, nas caricaturas da revista Punch ou no programa de marionetes Spitting Image. Muitas pessoas que usam a tecnologia deepfake para criar mídia sintética, sem dúvida, reivindicam um propósito legítimo ao fazê-lo. Eles dirão que estão envolvidos em sátira ou crítica legítima ou produzindo obras de significado artístico.

Leia Também  Em toda a grande divisão: Filósofos de pai e filha

No entanto, parece haver algo preocupante na tecnologia deepfake. A natureza altamente realista do material audiovisual que está sendo criado o torna o veículo ideal para assédio, manipulação, difamação, falsificação e fraude. Além disso, o realismo do material resultante também apresenta desafios epistêmicos significativos para a sociedade. A filósofa Regina Rini capta bem esse problema. Ela argumenta que a tecnologia deepfake representa uma ameaça ao "pano de fundo epistêmico" de nossa sociedade. O que ela quer dizer é que, como sociedade, dependemos muito do testemunho de outras pessoas para sobreviver. Contamos com isso para notícias e informações, usamos para formar expectativas sobre o mundo e criar confiança nos outros. Mas sabemos que o testemunho nem sempre é confiável. Às vezes as pessoas mentem para nós; às vezes eles esquecem o que realmente aconteceu. As gravações audiovisuais fornecem uma verificação importante das formas de testemunho potencialmente enganosas. Eles incentivam a honestidade e a competência. Como Rini coloca: (10)

cupom com desconto - o melhor site de cupom de desconto cupomcomdesconto.com.br

“A disponibilidade de gravações está de acordo com as normas da prática de depoimentos … Nossa consciência da possibilidade de ser gravada fornece uma verificação quase independente de testemunhos imprudentes, fortalecendo assim a razoabilidade de confiar nas palavras de outras pessoas. As gravações fazem isso de duas maneiras distintas: corrigindo ativamente os erros nos depoimentos anteriores e regulamentando passivamente as práticas de depoimento em andamento. ”

O problema com a tecnologia deepfake é que ela prejudica essa função. As gravações audiovisuais não podem mais fornecer o pano de fundo epistêmico que nos mantém honestos.

O que isso significa para a lei? Não estou muito preocupado com o impacto da tecnologia deepfake nas práticas legais de coleta de evidências. O sistema jurídico, com sua insistência na "cadeia de custódia" e na verificação testemunhal de materiais audiovisuais, talvez esteja em melhor posição do que a maioria para lidar com a ameaça de deepfakes (embora haja uma necessidade crescente de especialistas forenses para identificar gravações de deepfake em tribunal procedimentos). O que mais me preocupa é como as tecnologias deepfake serão armadas para prejudicar e intimidar outras pessoas – particularmente membros de populações vulneráveis. A questão é se algo pode ser feito para fornecer reparação legal para esses problemas. Como Barraclough e Barnes apontam em seu relatório, é excepcionalmente difícil legislar nessa área. Como você define a diferença entre mídia real e sintética (se houver)? Como você equilibra os direitos de liberdade de expressão com os possíveis danos a outras pessoas? Precisamos de leis especializadas para fazer isso ou as leis existentes sobre difamação e fraude (digamos) estão à altura da tarefa? Além disso, dado que os deepfakes podem ser criados e distribuídos por atores desconhecidos, contra quem seria a causa potencial da ação?

Essas são perguntas difíceis de responder. A sugestão concreta que eu faria é que qualquer legislação existente ou proposta sobre 'pornografia de vingança' seja modificada para cobrir explicitamente a possibilidade de pornografia de vingança sintética. Atualmente, a Irlanda está em processo de legislar contra o compartilhamento não consensual de "imagens íntimas" no Projeto de Lei sobre Assédio, Comunicações Prejudiciais e Ofensas Relacionadas. Observo que a redação atual da ofensa na seção 4 do Projeto de Lei cobre imagens que foram 'alteradas', mas alguém pode argumentar que imagens construídas sinteticamente não são, estritamente falando, alteradas. Pode haver planos para alterar essa redação para cobrir essa possibilidade – eu sei que as consultas e alterações ao projeto de lei estão em andamento (11) – mas, se não houver, sugiro que deva existir.

Para reiterar, estou usando a tecnologia deepfake como ilustração de um problema mais geral. Existem muitas outras maneiras pelas quais os dados combinados e a IA podem ser usados ​​para mexer com a distinção entre fato e ficção. A curadoria algorítmica e a promoção de notícias falsas, por exemplo, ou o uso da realidade virtual e aumentada para manipular nossa percepção dos espaços públicos e privados, representam ameaças significativas aos direitos de propriedade, direitos de privacidade e direitos políticos. Precisamos fazer algo para gerenciar legalmente esse admirável mundo novo (construído tecnologicamente).


4. Estudo de caso: previsão de risco algorítmico
Deixe-me voltar agora para o meu estudo de caso final. Este tem a ver com a forma como os dados podem ser usados ​​para solicitar novas ações e comportamentos no mundo. Para este estudo de caso, examinarei o mundo da previsão algorítmica de riscos. É aqui que coletamos um conjunto de pontos de dados sobre o comportamento e o estilo de vida de um indivíduo e o inserimos em um algoritmo que pode fazer previsões sobre seu provável comportamento futuro. Essa é uma prática de longa data em seguros, e agora está sendo usada na tomada de decisões de crédito, auditoria fiscal, proteção infantil e justiça criminal (para citar apenas alguns exemplos). Vou me concentrar no seu uso na justiça criminal para fins ilustrativos.

Especificamente, vou me concentrar no debate em torno do algoritmo COMPAS, que tem sido usado em vários estados dos EUA. O algoritmo COMPAS (criado por uma empresa chamada Northpointe, agora chamada Equivant) usa pontos de dados para gerar uma pontuação de risco de reincidência para réus criminais. Os pontos de dados incluem coisas como a idade da pessoa em detenção, seu registro prévio de prisão / condenação, o número de membros da família que foram presos / condenados, seu endereço, sua educação e trabalho e assim por diante. Estes são então ponderados em conjunto usando um algoritmo para gerar uma pontuação de risco. O procedimento exato de ponderação não é claro, já que o algoritmo COMPAS é uma tecnologia proprietária, mas a empresa que o criou divulgou uma quantidade considerável de informações sobre os pontos de dados que usa no domínio público.

Se você souber algo sobre o algoritmo COMPAS, saberá que ele tem sido controverso. A controvérsia deriva de duas características de como o algoritmo funciona. Primeiro, o algoritmo é relativamente opaco. Isso é um problema porque a administração justa da justiça exige que a tomada de decisões legais seja transparente e aberta a contestação. Um réu tem o direito de saber como um tribunal ou tribunal chegou a sua decisão e de contestar ou questionar seu raciocínio. Se essas informações não forem conhecidas – ou porque o algoritmo é intrinsecamente opaco ou foi intencionalmente tornado opaco por razões de propriedade intelectual -, esse princípio de administração justa não está sendo respeitado. Esse foi um dos motivos pelos quais o uso do algoritmo COMPAS foi contestado no caso americano de Loomis / Wisconsin. (12) Nesse caso, o réu, Loomis, contestou sua decisão de condenação com base no argumento do tribunal de primeira instância. a pontuação de risco do COMPAS para tomar sua decisão. Seu desafio acabou sendo malsucedido. O Supremo Tribunal de Wisconsin argumentou que o tribunal de julgamento não se baseou apenas na pontuação de risco do COMPAS para chegar a sua decisão. A pontuação de risco foi apenas uma entrada no processo de tomada de decisão do tribunal, que era transparente e aberta a contestação. Dito isso, o tribunal concordou que os tribunais devem ser cautelosos ao confiar em tais algoritmos e disse que devem ser anexados avisos às pontuações para destacar suas limitações.

Vigilância em massa, inteligência artificial e novos desafios legais 11

A segunda controvérsia associada ao algoritmo COMPAS tem a ver com seu aparente viés racial. Para entender essa controvérsia, preciso falar um pouco mais sobre como o algoritmo funciona. Muito grosso modo, o algoritmo COMPAS é usado para classificar os réus nos 'baldes' resultantes: um balde de reincidência de 'alto risco' ou um balde de reincidência de 'baixo risco'. Alguns anos atrás, um grupo de jornalistas de dados da ProPublica conduziu uma investigação sobre quais tipos de réus foram classificados nesses baldes. Eles descobriram algo perturbador. Eles descobriram que o algoritmo COMPAS tinha mais probabilidade de dar aos réus negros uma pontuação de alto risco falso positivo e mais probabilidade de dar aos réus brancos uma pontuação de baixo risco falso negativo. Os valores exatos são dados na tabela abaixo. Em outras palavras, o algoritmo COMPAS tendia a classificar os réus negros como de maior risco do que realmente eram e os réus brancos como de menor risco do que realmente eram. Isso tudo apesar do fato de o algoritmo não usar explicitamente a raça como critério em suas pontuações de risco.

Vigilância em massa, inteligência artificial e novos desafios legais 12

Escusado será dizer que os criadores do algoritmo COMPAS não ficaram satisfeitos com essa descoberta. Eles defenderam seu algoritmo, argumentando que era de fato justo e não discriminatório porque estava bem calibrado. Em outras palavras, eles argumentaram que era igualmente preciso na pontuação dos réus, independentemente de sua raça. Se dizia que um réu preto era de alto risco, estava certo cerca de 60% das vezes e se dizia que um réu branco era de alto risco, estava certo cerca de 60% das vezes. Isso acaba sendo verdade. A razão pela qual não parece imediatamente ser igualmente precisa, à primeira vista, nos números relevantes é que há muito mais réus negros do que brancos – uma característica infeliz do sistema de justiça criminal dos EUA que não é causada por o algoritmo, mas é, ao contrário, um recurso que o algoritmo precisa solucionar.

Leia Também  A vida é muito curta para perder tempo com pessoas que no fundo não se importam conosco.

Então, o que está acontecendo aqui? O algoritmo é justo ou não? Aqui é onde as coisas ficam interessantes. Vários grupos de matemáticos analisaram esse caso e mostraram que o principal problema aqui é que os criadores do COMPAS e os jornalistas de dados estavam trabalhando com diferentes concepções de justiça e que essas concepções eram fundamentalmente incompatíveis. Isso é algo que pode ser provado formalmente. A articulação mais clara dessa prova pode ser encontrada em um artigo de Jon Kleinberg, Sendhil Mullainathan e Manish Raghavan. (13) Para simplificar seu argumento, eles disseram que há duas coisas que você pode querer que um algoritmo de decisão justo faça: (i) você pode querer que ele seja bem calibrado (ou seja, igualmente preciso em sua pontuação, independentemente do grupo racial); (ii) você pode desejar obter uma representação igual para todos os grupos nos intervalos de resultados. Eles então provaram que, exceto em dois casos incomuns, é impossível atender a ambos os critérios. Os dois casos incomuns são quando o algoritmo é um 'preditor perfeito' (ou seja, sempre faz as coisas direito) ou, alternativamente, quando as taxas básicas para as populações relevantes são as mesmas (por exemplo, existe o mesmo número de defensores negros que existem). réus brancos). Como nenhum procedimento de decisão algorítmica é um preditor perfeito e como nosso mundo está cheio de desigualdades de taxa básica, isso significa que nenhum uso plausível no mundo real de um algoritmo preditivo provavelmente será perfeitamente justo e não discriminatório. Além disso, isso geralmente é verdadeiro para todas as previsões de risco algorítmico e não apenas para casos que envolvem risco de reincidência. Se você quiser ver uma ilustração não matemática do problema, recomendo consultar um artigo recente na MIT Technology Review, que inclui um jogo que você pode jogar usando o algoritmo COMPAS e que ilustra a difícil troca entre diferentes concepções de justiça (14)

O que tudo isso significa para a lei? Bem, quando se trata de questão de transparência e capacidade de contestação, vale a pena notar que o GDPR, nos artigos 13 a 15 e artigo 22, contém o que algumas pessoas chamam de 'direito à explicação'. Ele afirma que, quando são utilizados procedimentos de decisão automatizados, as pessoas têm o direito de acessar informações significativas sobre a lógica subjacente aos procedimentos. A aparência dessas informações significativas na prática está aberta a algumas interpretações, embora haja agora uma quantidade crescente de orientações das unidades nacionais de proteção de dados sobre o que é esperado. (15) Mas, de certa forma, isso não leva ao ponto mais profundo. Mesmo se tornarmos esses procedimentos perfeitamente transparentes e explicáveis, resta a questão de como administramos a dura troca entre diferentes concepções de justiça e não discriminação. Nossas concepções legais de justiça são multidimensionais e exigem que equilibremos interesses concorrentes. Quando confiamos nos tomadores de decisão humanos para determinar o que é justo, aceitamos que haverá alguma falsificação e comprometimento envolvidos. No momento, deixamos que esse truque ocorra na mente dos tomadores de decisão humanos, muitas vezes sem questioná-lo demais ou torná-lo explícito demais. O problema com as previsões algorítmicas de risco é que elas nos forçam a tornar esse truque explícito e preciso. Não podemos mais fingir que a decisão equilibrou com sucesso todos os interesses e demandas concorrentes. Temos que escolher e escolher. Assim, de certa forma, o verdadeiro desafio com esses sistemas não é que sejam opacos e não transparentes, mas que, quando transparentes, nos forçam a fazer escolhas difíceis.

Para alguns, essa é a grande vantagem da previsão algorítmica de riscos. Um artigo de Jon Kleinberg, Jens Ludwig, Sendhil Mullainathan e Cass Sunstein, intitulado 'Discriminação na Era do Algoritmo', é esse o caso. (16) Eles argumentam que o verdadeiro problema no momento é que a tomada de decisão é discriminatória e sua natureza discriminatória é frequentemente implícita e oculta à vista. O uso generalizado de algoritmos transparentes forçará a abertura, onde pode ser lavado pelo grande desinfetante da luz solar. Mas suspeito que outros serão menos otimistas sobre esse novo mundo de justiça mediada por algoritmos. Eles argumentarão que a tomada de decisões liderada por seres humanos, com seus enganos implícitos, é preferível, em parte porque nos permite sustentar a ilusão da justiça. Em que mundo queremos viver? O mundo transparente e explícito imaginado por Kleinberg et al., Ou o mundo obscuro e mais implícito da tomada de decisão humana? Este também é um desafio legal fundamental para a era moderna.

5. Conclusão
É hora de encerrar. Uma pergunta que você pode ter é se algum dos desafios descritos acima é genuinamente novo. Este é um tópico que vale a pena debater. Em certo sentido, não há nada de novo nos desafios que acabei de discutir. Temos lidado com variações deles desde que os seres humanos tenham vivido em sociedades complexas e alfabetizadas. No entanto, existem algumas diferenças com o passado. Existem diferenças de escopo e escala – a vigilância em massa e a IA permitem a coleta de dados em uma escala sem precedentes e seu uso em milhões de pessoas ao mesmo tempo. Existem diferenças de velocidade e individuação – os sistemas de IA podem atualizar seus parâmetros operacionais em tempo real e de maneiras altamente individualizadas. E, finalmente, existem as diferenças cruciais no grau de autonomia com que esses sistemas operam, o que pode levar a problemas na forma como atribuímos responsabilidade e obrigação legal.

Notas finais

  • 1 (1) Sou grato a Jacob Turner por chamar minha atenção para esta história. Ele o discute em seu livro Robot Rules – Regulating Artificial Intelligence (Palgrave MacMillan, 2018). Este é provavelmente o melhor livro atualmente disponível sobre Ai e direito.
  • (2) Consulte https://www.irishtimes.com/business/technology/airport-facial-scanning-dystopian-nightmare-rebranded-as-travel-perk-1.3986321; e https://www.dublinairport.com/latest-news/2019/05/31/dublin-airport-participates-in-biometrics-trial
  • (3) https://arstechnica.com/tech-policy/2016/04/facial-recognition-service-becomes-a-weapon-against-russian-porn-actresses/#
  • (4) Este foi um golpe realizado pela ACLU. Veja aqui o press release https://www.aclu.org/blog/privacy-technology/surveillance-technologies/amazons-face-recognition-falsely-matched-28
  • (5) https://www.perpetuallineup.org/
  • (6) For the story, see here https://www.bbc.com/news/technology-49489154
  • (7) Their original call for this can be found here: https://medium.com/s/story/facial-recognition-is-the-perfect-tool-for-oppression-bc2a08f0fe66
  • (8) The video can be found here; https://www.youtube.com/watch?v=UCwbJxW-ZRg; For more information on the research see here: https://www.washington.edu/news/2017/07/11/lip-syncing-obama-new-tools-turn-audio-clips-into-realistic-video/; https://grail.cs.washington.edu/projects/AudioToObama/siggraph17_obama.pdf
  • (9) The full report can be found here: https://static1.squarespace.com/static/5ca2c7abc2ff614d3d0f74b5/t/5ce26307ad4eec00016e423c/1558340402742/Perception+Inception+Report+EMBARGOED+TILL+21+May+2019.pdf
  • (10) The paper currently exists in a draft form but can be found here: https://philpapers.org/rec/RINDAT
  • (11) https://www.dccae.gov.ie/en-ie/communications/consultations/Pages/Regulation-of-Harmful-Online-Content-and-the-Implementation-of-the-revised-Audiovisual-Media-Services-Directive.aspx
  • (12) For a summary of the judgment, see here: https://harvardlawreview.org/2017/03/state-v-loomis/
  • (13) “Inherent Tradeoffs in the Fair Determination of Risk Scores” – available here https://arxiv.org/abs/1609.05807
  • (14) The article can be found at this link – https://www.technologyreview.com/s/613508/ai-fairer-than-judge-criminal-risk-assessment-algorithm/
  • (15) Casey et al ‘Rethinking Explainabie Machines’ – available here https://scholarship.law.berkeley.edu/btlj/vol34/iss1/4/
  • (16) An open access version of the paper can be downloaded here https://papers.ssrn.com/sol3/papers.cfm?abstract_id=3329669

cupom com desconto - o melhor site de cupom de desconto cupomcomdesconto.com.br