Precisamos de mais do que ChatGPT para ter “IA verdadeira”. É apenas o primeiro ingrediente de uma receita complexa
Grandes modelos de linguagem são um avanço impressionante na IA, mas estamos longe de alcançar capacidades de nível humano.
- A inteligência artificial tem sido um sonho há séculos, mas só recentemente se tornou “viral” devido ao enorme progresso no poder de computação e análise de dados.
- Modelos de linguagem grandes (LLMs) como ChatGPT são essencialmente uma forma muito sofisticada de preenchimento automático. A razão pela qual eles são tão impressionantes é porque os dados de treinamento consistem em toda a Internet.
- Os LLMs podem ser um ingrediente na receita para a verdadeira inteligência artificial geral, mas certamente não são a receita completa – e é provável que ainda não saibamos quais são alguns dos outros ingredientes.
Graças ao ChatGPT, todos podemos, finalmente, experimentar a inteligência artificial. Tudo o que você precisa é de um navegador da Web e pode falar diretamente com o sistema de IA mais sofisticado do planeta - o coroamento de 70 anos de esforço. E parece que real IA — a IA que todos vimos nos filmes. Então, isso significa que finalmente encontramos a receita para a verdadeira IA? O fim da estrada para a IA está à vista?
A IA é um dos sonhos mais antigos da humanidade. Ela remonta pelo menos à Grécia clássica e ao mito de Hefesto, ferreiro dos deuses, que tinha o poder de dar vida a criaturas de metal. Variações sobre o tema apareceram no mito e na ficção desde então. Mas foi apenas com a invenção do computador no final da década de 1940 que a IA começou a parecer plausível.
Uma receita para IA simbólica
Computadores são máquinas que seguem instruções. Os programas que damos a eles nada mais são do que instruções minuciosamente detalhadas – receitas que o computador segue obedientemente. Seu navegador da Web, seu cliente de e-mail e seu processador de texto se resumem a essas listas de instruções incrivelmente detalhadas. Portanto, se a “verdadeira IA” for possível – o sonho de ter computadores tão capazes quanto os humanos – então também será uma receita. Tudo o que devemos fazer para tornar a IA uma realidade é encontrar a receita certa. Mas como seria essa receita? E dada a empolgação recente sobre ChatGPT, GPT-4 e BARD - grandes modelos de linguagem (LLMs), para dar a eles seu nome próprio - agora finalmente encontramos a receita para a verdadeira IA?
Por cerca de 40 anos, a ideia principal que impulsionou as tentativas de construir IA foi que sua receita envolveria modelar a mente consciente – os pensamentos e processos de raciocínio que constituem nossa existência consciente. Essa abordagem foi chamada de IA simbólica, porque nossos pensamentos e raciocínios parecem envolver linguagens compostas de símbolos (letras, palavras e pontuação). A IA simbólica envolvia tentar encontrar receitas que capturassem essas expressões simbólicas, bem como receitas para manipular esses símbolos para reproduzir o raciocínio e a tomada de decisão.
A IA simbólica teve alguns sucessos, mas falhou espetacularmente em uma enorme gama de tarefas que parecem triviais para os humanos. Mesmo uma tarefa como reconhecer um rosto humano estava além da IA simbólica. A razão para isso é que reconhecer rostos é uma tarefa que envolve percepção. A percepção é o problema de entender o que estamos vendo, ouvindo e sentindo. Aqueles de nós afortunados o suficiente para não ter deficiências sensoriais em grande parte consideram a percepção como certa - não pensamos realmente sobre isso e certamente não a associamos a inteligência. Mas a IA simbólica era apenas a maneira errada de tentar resolver problemas que exigem percepção.
As redes neurais chegam
Em vez de modelar o mente , uma receita alternativa para IA envolve a modelagem de estruturas que vemos no cérebro. Afinal, os cérebros humanos são as únicas entidades que conhecemos atualmente que podem criar a inteligência humana. Se você olhar para um cérebro sob um microscópio, verá um número enorme de células nervosas chamadas neurônios, conectadas umas às outras em vastas redes. Cada neurônio está simplesmente procurando padrões em suas conexões de rede. Quando reconhece um padrão, envia sinais para seus vizinhos. Esses vizinhos, por sua vez, procuram padrões e, quando veem um, se comunicam com seus colegas e assim por diante.
De alguma forma, de maneiras que não conseguimos explicar em nenhum sentido significativo, essas enormes redes de neurônios podem aprender e, por fim, produzem comportamento inteligente. O campo das redes neurais (“redes neurais”) surgiu originalmente na década de 1940, inspirado na ideia de que essas redes de neurônios poderiam ser simuladas por circuitos elétricos. As redes neurais hoje são realizadas em software, e não em circuitos elétricos e, para ser claro, os pesquisadores de redes neurais não tentam realmente modelar o cérebro, mas as estruturas de software que usam – redes muito grandes de dispositivos computacionais muito simples – foram inspiradas pelas estruturas neurais que vemos no cérebro e no sistema nervoso.
As redes neurais têm sido estudadas continuamente desde a década de 1940, entrando e saindo de moda em vários momentos (principalmente no final dos anos 1960 e meados dos anos 1980) e muitas vezes sendo vistas como concorrentes da IA simbólica. Mas foi na última década que as redes neurais começaram a funcionar decisivamente. Todo o hype sobre IA que vimos na última década é essencialmente porque as redes neurais começaram a mostrar um rápido progresso em uma série de problemas de IA.
Receio que as razões pelas quais as redes neurais decolaram neste século sejam decepcionantemente mundanas. Com certeza houve avanços científicos, como novas estruturas de redes neurais e algoritmos para configurá-las. Mas, na verdade, a maioria das principais ideias por trás das redes neurais de hoje eram conhecidas desde a década de 1980. O que este século produziu foram muitos dados e muito poder de computação. O treinamento de uma rede neural requer ambos, e ambos se tornaram disponíveis em abundância neste século.
Todos os principais sistemas de IA de que ouvimos falar recentemente usam redes neurais. Por exemplo, o AlphaGo, o famoso programa Go desenvolvido pela empresa de IA DeepMind, com sede em Londres, que em março de 2016 se tornou o primeiro programa Go a derrotar um jogador campeão mundial, usa duas redes neurais, cada uma com 12 camadas neurais. Os dados para treinar as redes vieram de jogos Go anteriores jogados online e também de auto-jogo - ou seja, o programa jogando contra si mesmo. Os recentes sistemas de inteligência artificial – ChatGPT e GPT-4 da empresa de inteligência artificial OpenAI, apoiada pela Microsoft, bem como o BARD do Google – também usam redes neurais. O que torna os desenvolvimentos recentes diferentes é simplesmente sua escala. Tudo sobre eles está em uma escala incompreensível.
Poder massivo, dados massivos
Considere o sistema GPT-3, anunciado pela OpenAI no verão de 2020. Essa é a tecnologia que sustenta o ChatGPT, e foi o LLM que sinalizou um avanço nessa tecnologia. As redes neurais que compõem o GPT-3 são enormes. O pessoal da rede neural fala sobre o número de “parâmetros” em uma rede para indicar sua escala. Um “parâmetro” nesse sentido é um componente de rede, seja um neurônio individual ou uma conexão entre neurônios. GPT-3 tinha 175 bilhões de parâmetros no total; GPT-4 supostamente tem 1 trilhão. Em comparação, um cérebro humano tem algo como 100 bilhões de neurônios no total, conectados por meio de até 1.000 trilhões de conexões sinápticas. Por mais vastos que sejam os LLMs atuais, eles ainda estão um pouco distantes da escala do cérebro humano.
Os dados usados para treinar o GPT foram 575 gigabytes de texto. Talvez você não ache que parece muito - afinal, você pode armazená-lo em um computador de mesa comum. Mas isso não é vídeo, fotos ou música, apenas um texto escrito comum. E 575 gigabytes de texto escrito comum é uma quantidade inimaginavelmente grande - muito, muito mais do que uma pessoa jamais poderia ler na vida. Onde eles conseguiram todo esse texto? Bem, para começar, eles baixaram a World Wide Web. Tudo isso . Cada link em cada página da web foi seguido, o texto extraído e, em seguida, o processo repetido, com cada link seguido sistematicamente até que você tenha cada pedaço de texto na web. A Wikipédia em inglês representou apenas 3% do total de dados de treinamento.
E o computador para processar todo esse texto e treinar essas vastas redes? Especialistas em computação usam o termo “operação de ponto flutuante” ou “FLOP” para se referir a um cálculo aritmético individual — ou seja, um FLOP significa um ato de adição, subtração, multiplicação ou divisão. Treinamento GPT-3 necessário 3 x 10 23 FLOPs. Nossas experiências humanas comuns simplesmente não nos equipam para entender números tão grandes. Coloque desta forma: se você tentasse treinar o GPT-3 em um computador desktop típico fabricado em 2023, ele precisaria ser executado continuamente por algo como 10.000 anos para poder realizar tantos FLOPs.
Claro, OpenAI não treinou GPT-3 em computadores desktop. Eles usaram supercomputadores muito caros contendo milhares de processadores de IA especializados, funcionando por meses a fio. E essa quantidade de computação é cara. O tempo de computador necessário para treinar o GPT-3 custaria milhões de dólares no mercado aberto. Além de qualquer outra coisa, isso significa que muito poucas organizações podem se dar ao luxo de construir sistemas como o ChatGPT, além de um punhado de grandes empresas de tecnologia e estados-nação.
Sob o capô do LLM
Apesar de toda a sua escala alucinante, os LLMs estão realmente fazendo algo muito simples. Suponha que você abra seu smartphone e inicie uma mensagem de texto para seu cônjuge com as palavras “que horas”. Seu telefone irá sugerir conclusões desse texto para você. Pode sugerir “você está em casa” ou “é o jantar”, por exemplo. Ele sugere isso porque seu telefone está prevendo que são as próximas palavras mais prováveis a aparecer depois de “que horas”. Seu telefone faz essa previsão com base em todas as mensagens de texto que você enviou e, com base nessas mensagens, aprendeu que essas são as conclusões mais prováveis de 'que horas'. Os LLMs estão fazendo a mesma coisa, mas, como vimos, eles fazem isso em uma escala muito maior. Os dados de treinamento não são apenas suas mensagens de texto, mas todo o texto disponível em formato digital no mundo. O que essa escala oferece? Algo bastante notável - e inesperado.
A primeira coisa que notamos quando usamos ChatGPT ou BARD é que eles são extremamente bons em gerar texto muito natural. Isso não é surpresa; é para isso que eles foram projetados e, de fato, esse é o objetivo desses 575 gigabytes de texto. Mas o inesperado é que, de maneiras que ainda não entendemos, os LLMs também adquirem outras capacidades: capacidades que devem estar de alguma forma implícitas no enorme corpus de texto em que são treinados.
Por exemplo, podemos pedir ao ChatGPT para resumir um trecho de texto, e geralmente faz um trabalho digno de crédito. Podemos pedir que ele extraia os pontos-chave de algum texto ou compare trechos de texto, e ele também parece muito bom nessas tarefas. Embora os especialistas em IA tenham sido alertados sobre o poder dos LLMs quando o GPT-3 foi lançado em 2020, o resto do mundo só percebeu quando o ChatGPT foi lançado em novembro de 2022. Em poucos meses, atraiu centenas de milhões de usuários. A IA tem sido destaque por uma década, mas a enxurrada de cobertura da imprensa e da mídia social quando o ChatGPT foi lançado foi sem precedentes: a IA se tornou viral.
A era da IA
Neste ponto, há algo que simplesmente preciso desabafar. Graças ao ChatGPT, finalmente chegamos à era da IA. Todos os dias, centenas de milhões de pessoas interagem com a IA mais sofisticada do planeta. Isso levou 70 anos de trabalho científico, inúmeras carreiras, bilhões e bilhões de dólares em investimentos, centenas de milhares de artigos científicos e supercomputadores de IA funcionando em alta velocidade por meses. E a IA que o mundo finalmente consegue é… pronta conclusão.
Inscreva-se para receber histórias contra-intuitivas, surpreendentes e impactantes entregues em sua caixa de entrada toda quinta-feiraNo momento, o futuro de empresas de trilhões de dólares está em jogo. O destino deles depende… pronta conclusão. Exatamente o que seu celular faz. Como pesquisador de IA, trabalhando neste campo há mais de 30 anos, devo dizer que acho isso bastante irritante. Na verdade, é ultrajante. Quem poderia ter adivinhado isso esse seria a versão da IA que finalmente atingiria o horário nobre?
Sempre que vemos um período de rápido progresso na IA, alguém sugere que é isso - que estamos agora na estrada real para verdadeiro IA. Dado o sucesso dos LLMs, não é surpresa que reivindicações semelhantes estejam sendo feitas agora. Então, vamos parar e pensar sobre isso. Se tivermos sucesso na IA, as máquinas devem ser capazes de tudo o que um ser humano é capaz.
Considere os dois principais ramos da inteligência humana: um envolve capacidades puramente mentais e o outro envolve capacidades físicas. Por exemplo, capacidades mentais incluem raciocínio lógico e abstrato, raciocínio de bom senso (como entender que deixar cair um ovo no chão fará com que ele quebre ou entender que não posso comer Kansas), raciocínio numérico e matemático, resolução de problemas e planejamento , processamento de linguagem natural, um estado mental racional, um senso de agência, recordação e teoria da mente. As capacidades físicas incluem a compreensão sensorial (isto é, interpretar as entradas de nossos cinco sentidos), mobilidade, navegação, destreza manual e manipulação, coordenação mão-olho e propriocepção.
Enfatizo que esta está longe de ser uma lista exaustiva de capacidades humanas. Mas se alguma vez tivermos verdadeiro AI - AI que é tão competente quanto nós - então certamente terá todos esses recursos.
LLMs não são verdadeiros AI
A primeira coisa óbvia a dizer é que os LLMs simplesmente não são uma tecnologia adequada para nenhuma das capacidades físicas. Os LLMs não existem no mundo real, e os desafios impostos pela IA robótica estão muito, muito distantes daqueles para os quais os LLMs foram projetados. E, de fato, o progresso na IA robótica tem sido muito mais modesto do que o progresso nos LLMs. Talvez surpreendentemente, recursos como destreza manual para robôs estão longe de serem resolvidos. Além disso, os LLMs não sugerem um caminho a seguir para esses desafios.
Claro, pode-se facilmente imaginar um sistema de IA que é puro intelecto de software, por assim dizer, então como os LLMs se configuram quando comparados às capacidades mentais listadas acima? Bem, destes, o único que os LLMs realmente podem afirmar ter feito um progresso muito substancial é o processamento de linguagem natural, o que significa ser capaz de se comunicar efetivamente em idiomas humanos comuns. Nenhuma surpresa lá; é para isso que eles foram projetados.
Mas sua competência deslumbrante na comunicação humana talvez nos leve a acreditar que eles são muito mais competentes em outras coisas do que são. Eles podem fazer algum raciocínio lógico superficial e resolver problemas, mas é realmente superficial no momento. Mas talvez devêssemos nos surpreender que eles possam fazer qualquer coisa além do processamento de linguagem natural. Eles não foram projetados para fazer mais nada, então qualquer outra coisa é um bônus – e quaisquer recursos adicionais devem de alguma forma estar implícitos no texto em que o sistema foi treinado.
Por essas e outras razões, parece improvável para mim que a tecnologia LLM por si só forneça uma rota para a “verdadeira IA”. Os LLMs são entidades bastante estranhas e desencarnadas. Eles não existem em nosso mundo em nenhum sentido real e não estão cientes disso. Se você sair de um LLM no meio de uma conversa e sair de férias por uma semana, ele não se perguntará onde você está. Não está ciente da passagem do tempo ou mesmo ciente de qualquer coisa. É um programa de computador que literalmente não faz nada até que você digite um prompt e, em seguida, simplesmente computa uma resposta a esse prompt, momento em que volta a não fazer nada. Seu conhecimento enciclopédico do mundo, tal como é, está congelado no ponto em que foram treinados. Eles não sabem de nada depois disso.
E os LLMs nunca com experiência qualquer coisa. Eles são apenas programas que ingeriram quantidades inimagináveis de texto. Os LLMs podem fazer um ótimo trabalho descrevendo a sensação de estar bêbado, mas isso ocorre apenas porque eles leram muitas descrições de estar bêbado. Eles não têm, e não pode, experimentam eles mesmos. Eles não têm nenhum propósito além de produzir a melhor resposta ao prompt que você lhes dá.
Isso não significa que eles não sejam impressionantes (eles são) ou que não possam ser úteis (eles são). E eu realmente acredito que estamos em um momento decisivo na tecnologia. Mas não vamos confundir essas conquistas genuínas com “ verdadeira IA .” Os LLMs podem ser um ingrediente na receita da verdadeira IA, mas certamente não são a receita completa – e suspeito que ainda não sabemos quais são alguns dos outros ingredientes.
Compartilhar:
