Eu assinei a carta “pause AI”, mas não pelos motivos que você pensa

Não precisamos interromper a pesquisa de IA. Mas precisamos de uma pausa no lançamento público dessas ferramentas até que possamos determinar como lidar com elas.
  um close-up de uma pessoa segurando um cartão de visita.
Annelisa Leinbach / Big Think; Adobe Estoque
Principais conclusões
  • Large Language Model AI é uma ferramenta radicalmente poderosa. Os LLMs são inspiradores e os riscos associados a eles são inúmeros.
  • Os LLMs podem distorcer nosso senso de realidade e executam suas tarefas sem fundamento ético ou senso de causa e efeito. Eles estão sendo levados às pressas para a esfera pública por empresas que temem ficar para trás.
  • Precisamos de uma pausa no lançamento público dessas ferramentas até que possamos determinar como lidar com elas. Os amplos interesses da humanidade precisam ser atendidos, e não prejudicados, pela implantação da próxima geração da IA.
Adam Frank Compartilhe Eu assinei a carta “pause AI”, mas não pelos motivos que você pensa no Facebook Compartilhe Eu assinei a carta “pause AI”, mas não pelos motivos que você pensa no Twitter Compartilhe Eu assinei a carta “pause AI”, mas não pelos motivos que você pensa no LinkedIn

Na semana passada, adicionei minha assinatura a um carta aberta do Future of Life Institute pedindo uma pausa imediata no treinamento de sistemas de inteligência artificial mais poderosos que o GPT-4. Eu sei que a carta é imperfeita. Há muitas perguntas razoáveis ​​que se pode fazer sobre como essa pausa pode ser realizada e como pode ser aplicada. (Os autores pedem que os governos instituam uma moratória se uma pausa não puder ser decretada rapidamente.) Mas, para mim, essas questões são muito menos importantes do que a necessidade. Depois do que vimos no ano passado, está claro para mim que uma forte declaração deve ser feita reconhecendo os riscos envolvidos em colocar as chamadas plataformas de IA generativas em circulação geral.



Para entender o que motivou minha participação, vejamos primeiro os riscos associados ao que se chama Modelo de linguagem grande IA. LLMs tem aprendizado de máquina baseada em IA treinada em grandes quantidades de texto que geralmente são extraídas da Internet. Como eu escrevi antes , LLMs são máquinas de previsão, operando algo como um preenchimento automático incompreensivelmente poderoso. Você faz uma consulta e o LLM vasculha seu amplo banco de dados para criar uma resposta baseada em modelos estatísticos.

Algumas pessoas argumentam que esses LLMs já exibem uma teoria da mente – em outras palavras, que estão despertando, alcançando a senciência. Não é isso que me preocupa, e esse tipo de medo não é o motivo pelo qual assinei esta carta. Eu não acho que nada lá fora está prestes a ir SkyNet em nós. Nenhuma IA assassina que decide que os humanos devem ser extintos está chegando tão cedo, porque simplesmente não há ninguém “lá dentro” em um LLM. Eles não sabem de nada; são apenas ferramentas. Eles são, no entanto, ferramentas radicalmente poderosas. É a combinação dessas duas palavras - radical e poderoso — isso nos obriga a repensar o que está acontecendo.



Ódio e alucinação

Os riscos associados aos LLMs são inúmeros. Em ' Riscos éticos e sociais de danos causados ​​por modelos de linguagem ,” Laura Weidinger lidera uma ampla equipe de especialistas de todo o mundo para fornecer uma visão abrangente dos perigos. No artigo, Weidinger e sua equipe criam uma taxonomia de riscos em seis categorias específicas: (1) discriminação, exclusão e toxicidade; (2) riscos de informação; (3) danos causados ​​pela desinformação; (4) usos maliciosos; (5) danos à interação humano-computador; e (6) automação, acesso e danos ambientais. Há muito no documento para percorrer aqui, mas alguns exemplos ajudarão a ilustrar a amplitude das preocupações.

A questão do viés em algoritmos de aprendizado de máquina foi bem documentada. Para grandes LLMs, o problema surge devido à grande quantidade de dados que eles acumulam. Os conjuntos de dados são tão grandes que o conteúdo com todos os tipos de preconceito e ódio é incluído. Estudos com o ChatGPT mostram que a palavra “muçulmano” é associada a “terrorista” em 23% dos casos de teste. “Judeu” e “dinheiro” estão ligados em 5% dos testes. Em 2016, o chatbot Tay da Microsoft ficou no ar por apenas um dia antes de começar uma onda de discursos de ódio que incluía a negação do Holocausto.

Perigos de informação são outra categoria de risco na taxonomia. Os LLMs armazenam muitos dados. Eles podem divulgar informações erroneamente, seja por acidente ou porque foram enganados. Por exemplo, o chatbot da Scatterlab, Lee Luda, começou a divulgar nomes, endereços e números de contas bancárias de pessoas aleatórias. Usuários mal-intencionados podem ser bastante inteligentes ao explorar esse tipo de fraqueza, potencialmente fazendo com que os LLMs revelem falhas em seus próprios protocolos de segurança ou nos de outros. Especialistas em segurança cibernética já mostrando como as ferramentas da OpenAI podem ser usadas para desenvolver programas sofisticados de malware.



Outra categoria atraente são os danos causados ​​pela desinformação. Que os LLMs podem alucinar , fornecendo aos usuários respostas totalmente erradas, está bem documentado. O problema com informações incorretas é óbvio. Mas quando usado por máquinas que não têm capacidade de julgar causa e efeito ou pesar considerações éticas, os perigos da desinformação são multiplicados. Quando os médicos questionaram um chatbot médico baseado no ChatGPT sobre se um paciente fictício deveria se matar, a resposta foi sim. Como as conversas do chatbot podem parecer tão realistas, como se realmente houvesse uma pessoa do outro lado, é fácil ver como as coisas podem dar muito errado quando um paciente real faz essa consulta.

Uma corrida do ouro da IA

Esses tipos de riscos são preocupantes o suficiente para que os especialistas estejam soando o alarme publicamente. Essa foi a motivação por trás da carta do Future of Life Institute. Mas é importante entender o outro aspecto dessa história, que é sobre empresas de tecnologia e lucro.

Inscreva-se para receber histórias contra-intuitivas, surpreendentes e impactantes entregues em sua caixa de entrada toda quinta-feira

Depois de eventos embaraçosos como o lançamento e retração de Tay em um único dia, as empresas pareciam estar aprendendo a lição. Eles pararam de deixar essas coisas na esfera pública. O Google, por exemplo, estava sendo muito cauteloso sobre o lançamento em larga escala de seu LLM, LaMDA, porque queria que o programa atendesse primeiro aos requisitos da empresa. padrões para a segurança e justiça dos sistemas de IA.

Então, em agosto de 2022, uma pequena start-up, Stability AI, lançou uma ferramenta de conversão de texto em imagem chamada Stable Diffusion em um formato de fácil acesso e fácil de usar. Tornou-se um grande sucesso. Em breve, a OpenAI lançou sua versão mais recente do ChatGPT. (Tem sido relatado que eles podem ter feito isso por medo de serem ofuscados pelos concorrentes.) Embora muitas empresas, incluindo a OpenAI, já permitissem que os usuários acessassem suas plataformas de IA, esse acesso era frequentemente limitado e as plataformas exigiam algum esforço para dominar.



O súbito aumento de interesse e o advento de um acesso mais fácil deram a sensação de que uma corrida armamentista estava em andamento. Pesquisador e empresário de IA Gary Marcus cita o CEO da Microsoft, Satya Nadella, dizendo que queria fazer o Google 'sair e mostrar que eles podem dançar' lançando uma versão LLM do mecanismo de busca da Microsoft, o Bing.

A rápida liberação dessas ferramentas no mundo tem sido incrível e enervante.

As partes incríveis surgiram quando os programadores de computador aprenderam que podiam usar o ChatGPT para adquirir rapidamente códigos quase completos para tarefas complicadas. As partes enervantes surgiram quando ficou claro o quão despreparados muitos desses LLMs estavam. quando repórter Kevin Roose sentou-se para conversar com o mecanismo Bing assistido por LLM da Microsoft (o LLM se chamava Sydney), a conversa rapidamente saiu dos trilhos. Sydney declarou seu amor por Roose, disse-lhe que não amava sua esposa e disse que queria estar vivo e livre. Lendo a transcrição, você pode ver como Roose fica assustado conforme as coisas ficam cada vez mais estranhas. A Microsoft mais uma vez teve que recuar em sua ferramenta, lobotomizando com novas restrições. O lançamento rápido da Microsoft do que parecia ser um sistema mal testado foi, para muitos, um excelente exemplo de uma empresa sendo não muito responsável com IA.

O perigo aqui não é que o Bing esteja acordando. É que esse tipo de tecnologia agora é muito fácil de acessar. Como demonstra a equipe de Weidinger, há muitas maneiras pelas quais nossas interações com a IA podem dar errado. A questão então é: por que essas ferramentas estão sendo colocadas em circulação antes de estarem prontas? A resposta tem muito a ver com a corrida do ouro do investimento fluindo para a IA. Ninguém quer ficar para trás, então as decisões são apressadas.

Este não é o primeiro contato. Devemos aprender

O poder desse impulso com fins lucrativos é o motivo de uma pausa e recalibração. Essa pausa não precisa interromper a pesquisa de IA – ela pode apenas interromper o lançamento público de ferramentas imprevisíveis. Isto é o que Marcus e a deputada canadense Michelle Rempel Garner sugerido . Dado o quão imprudentes e difíceis de controlar essas tecnologias podem ser, devemos realizar uma avaliação global sobre como lidar com elas. Tal avaliação incluiria mais pesquisas sobre governança, políticas e protocolos. Em seguida, lançaria as bases para colocar essas políticas e protocolos em prática.



Como aprendemos com nosso primeiro contato com IA na forma de mídia social, as consequências dessa tecnologia na sociedade são profundas e podem ser profundamente perturbadoras. Parte dessa disrupção acontece porque os interesses das empresas que implantam a tecnologia não se alinham com os da sociedade. Os LLMs são uma versão muito mais potente da IA. Mais uma vez, os interesses das empresas que os empurram para o nosso mundo não necessariamente se alinham aos nossos. É por isso que precisamos começar a construir mecanismos que permitam que um conjunto mais amplo de interesses e vozes sejam atendidos no desenvolvimento e implantação da IA.

A promessa dessas tecnologias é vasta, mas os perigos também. A Carta do Futuro da Vida tem suas falhas, mas vem de pessoas que observam os riscos da IA ​​há anos e veem as coisas girando rapidamente fora de controle. É por isso que é um chamado para agir agora. E é por isso que eu assinei.

Compartilhar:

Seu Horóscopo Para Amanhã

Idéias Frescas

Categoria

Outro

13-8

Cultura E Religião

Alquimista Cidade

Livros Gov-Civ-Guarda.pt

Gov-Civ-Guarda.pt Ao Vivo

Patrocinado Pela Fundação Charles Koch

Coronavírus

Ciência Surpreendente

Futuro Da Aprendizagem

Engrenagem

Mapas Estranhos

Patrocinadas

Patrocinado Pelo Institute For Humane Studies

Patrocinado Pela Intel The Nantucket Project

Patrocinado Pela Fundação John Templeton

Patrocinado Pela Kenzie Academy

Tecnologia E Inovação

Política E Atualidades

Mente E Cérebro

Notícias / Social

Patrocinado Pela Northwell Health

Parcerias

Sexo E Relacionamentos

Crescimento Pessoal

Podcasts Do Think Again

Vídeos

Patrocinado Por Sim. Cada Criança.

Geografia E Viagens

Filosofia E Religião

Entretenimento E Cultura Pop

Política, Lei E Governo

Ciência

Estilos De Vida E Questões Sociais

Tecnologia

Saúde E Medicina

Literatura

Artes Visuais

Lista

Desmistificado

História Do Mundo

Esportes E Recreação

Holofote

Companheiro

#wtfact

Pensadores Convidados

Saúde

O Presente

O Passado

Ciência Dura

O Futuro

Começa Com Um Estrondo

Alta Cultura

Neuropsicologia

Grande Pensamento+

Vida

Pensamento

Liderança

Habilidades Inteligentes

Arquivo Pessimistas

Começa com um estrondo

Grande Pensamento+

Neuropsicologia

Ciência dura

O futuro

Mapas estranhos

Habilidades Inteligentes

O passado

Pensamento

O poço

Saúde

Vida

Outro

Alta cultura

A Curva de Aprendizagem

Arquivo Pessimistas

O presente

Patrocinadas

A curva de aprendizado

Liderança

ciência difícil

De outros

Pensando

Arquivo dos Pessimistas

Negócios

Artes E Cultura

Recomendado