ChatGPT responde a perguntas de física como um estudante C confuso
O ChatGPT não entende de física, mas memoriza muito bem e faz um esforço extra.
- O ChatGPT surpreendeu os especialistas ao responder suas perguntas difíceis de maneira notável.
- Quando perguntado sobre física, deu uma mistura de respostas verdadeiras, falsas, relevantes, irrelevantes e contraditórias – todas com autoridade.
- A capacidade da IA de encontrar e divulgar conceitos relacionados é impressionante, mas sua capacidade de vinculá-los adequadamente é inconsistente.
A primeira coisa que você notará quando fizer uma pergunta ao ChatGPT é o quão inteligente e experiente é sua resposta sons . Ele identifica o tópico apropriado, fala em frases inteligíveis e emprega o tom experiente de um ser humano educado. A pergunta de um milhão de dólares é: a IA dá respostas corretas?
Embora o ChatGPT (ou qualquer outro chatbot) obviamente não seja senciente, sua saída lembra uma pessoa de certas maneiras. Isso não é surpreendente, uma vez que imita os padrões de linguagem humana. Eu descrevi o ChatGPT como um papagaio assistindo a um milhão de anos de novelas . A IA é muito boa em encadear frases simplesmente porque já viu muitas delas - simplesmente não as entende.
Mas, dadas suas habilidades demonstradas, como respondendo a um teste de microbiologia , fiz ao ChatGPT uma bateria de questões de física, desde disciplinas relativamente simples de graduação até tópicos especializados especializados. Eu não estava interessado em sua capacidade de recitar informações ou processar números. (Você pode pedir ao WolframAlpha ou a um mecanismo de busca para fazer isso.) Em vez disso, eu queria ver se o ChatGPT poderia interpretar e dar respostas úteis para os tipos de perguntas que um especialista humano poderia responder.
Um estudante C medíocre
Ao todo, o desempenho do ChatGPT não estava à altura de um especialista. Isso me lembrou de um aluno C esforçado: aquele que não entende o material, mas memoriza muito bem e faz um esforço extra para ganhar créditos e passar na matéria. Vejamos isso com mais detalhes.
A IA geralmente começa regurgitando sua pergunta usando mais palavras ou redefinindo o termo sobre o qual você perguntou. ( Obrigado, mas tenho 50 provas para corrigir, então, por favor, não perca meu tempo. ) Mais tarde, ele volta a regurgitar, formando uma conclusão em miniatura. ( Agora estou ficando irritado. Um aluno forte dá respostas concisas e corretas. Um aluno mais fraco tropeça em respostas longas com explicações complicadas. )
Em resposta a uma pergunta simples, o ChatGPT geralmente produz três ou quatro parágrafos de saída. Isso geralmente continha a resposta certa, o que era impressionante. No entanto, às vezes incluía respostas erradas adicionais. Muitas vezes também continha detalhes estranhos, fatos relacionados, mas sem importância, e definições de termos parcialmente irrelevantes. A amplitude de conceitos transmitidos em seu treinamento é impressionante, mas os vínculos entre eles costumam ser nebulosos. Ele pode te dizer o que , mas não por que .
Se eu te perguntasse por que estava escuro aqui e você disse: “Porque a luz está apagada”, você estaria correto, mas não está realmente me dizendo nada de útil. Espero que você não me fale sobre a definição de luz, como a luz pode ser medida e quais cores compõem a luz antes de resumir que algo que é escuro não é luz. Mas esse é o tipo de resposta que o ChatGPT forneceria.
Salada de palavras do ChatGPT
Quando uma pergunta mais difícil é feita, o ChatGPT tenta marcar pontos atirando em você com pelotas de resposta. Cada resposta diz uma quantidade modesta, usando muitas palavras desnecessárias. Dessa forma, a IA me lembra um aluno que carece de total compreensão conceitual e dá múltiplas explicações, elaboradas de forma confusa, na esperança de acertar algo correto para crédito parcial e ganhar pontos extras pelo esforço.
Inscreva-se para receber histórias contra-intuitivas, surpreendentes e impactantes entregues em sua caixa de entrada toda quinta-feiraA resposta do ChatGPT a cada uma das minhas perguntas difíceis consistia em uma mistura de boas respostas corretas, respostas parcialmente corretas com partes incorretas, respostas que afirmavam informações factuais, mas não explicavam nada, respostas que podiam ser verdadeiras, mas eram irrelevantes e respostas que eram completamente errado. As respostas erradas incluíam explicações completas que pareciam razoáveis, mas eram um absurdo total em uma leitura atenta.
Infelizmente, não posso prever quando a IA dará uma resposta certa ou errada. Pode dar uma resposta confusa a uma pergunta simples e uma resposta impressionante a uma pergunta misteriosa. O ChatGPT também lança informações relacionadas estranhas no topo para pontos de brownie, mas muitas vezes isso só causa problemas.
Confiante, mas errado
Mais de uma vez, recebi uma resposta em que a IA começaria dando uma definição correta. (Normalmente, ele estava reafirmando a entrada da Wikipedia relacionada ao tópico, que é o equivalente do aluno à memorização mecânica.) Então a IA elaborava, mas dizia algo completamente errado ou invertido. Isso reforça minha impressão de que o modelo parece bem treinado em quais conceitos estão interligados, mas é incapaz de capturar a natureza dessas relações.
Por exemplo, ChatGPT sabe que A está relacionado a B. No entanto, muitas vezes não sabe se A implica B ou se A exclui B. Pode confundir se A e B estão diretamente correlacionados ou inversamente correlacionados. Possivelmente A e B são apenas tópicos semelhantes sem relação relevante, mas quando perguntado sobre A, ele fala sobre A e depois fala sobre B.
Além de tabular pontuações certas e erradas, os fatores humanos são importantes em uma avaliação humana da IA. É fácil superestimar a capacidade do ChatGPT por causa de sua escrita e tom. As respostas são bem escritas, lidas com coerência e dão a impressão de autoridade. Se você não souber a verdadeira resposta para sua própria pergunta, a resposta do ChatGPT fará você acreditar que ele sabe.
Isso é preocupante. Se alguém é um tolo e fala como um, podemos dizer facilmente; se alguém é um tolo, mas fala bem, podemos começar a acreditar neles. Com certeza, o ChatGPT pode fornecer a resposta certa ou informações úteis. Mas poderia, de forma eloquente e convincente, dar-lhe uma resposta errada, uma mentira conveniente ou maliciosa, ou propaganda incorporada por seu dados de treinamento ou humano mãos . ChatGPT pode ser um aluno C, mas Alunos C comandam o mundo .
Compartilhar:
