Novos modelos da OpenAI “viajam” bastante

Veja Novos modelos da OpenAI “viajam” bastante - Olhar Digital no Dailymotion

Transcript

00:00Já imaginou a tecnologia mentir com convicção?

00:05Pois é, basicamente isso é o que fazem os modelos muito avançados de inteligência artificial,

00:12ainda que de certa forma sem querer, como se literalmente estivessem alucinando.

00:21Vamos aos detalhes na reportagem.

00:23Apesar de serem considerados modelos de inteligência artificial de última geração,

00:31o O3 e o O4 Mini, lançados recentemente pela OpenAI, enfrentam um problema peculiar.

00:38Eles inventam muitas coisas, ou, como os desenvolvedores falam, alucinam.

00:44E o pior, fazem isso mais do que os modelos antecessores.

00:47As chamadas alucinações são um dos maiores desafios da evolução da inteligência artificial.

00:54Elas acontecem quando os modelos geram informações falsas ou inventadas,

00:59mesmo quando parecem confiantes nas respostas que dão aos usuários.

01:03Historicamente, cada nova versão melhorava nesse aspecto, alucinando menos.

01:08Mas, surpreendentemente, o O3 e o O4 Mini estão indo na direção oposta.

01:14Testes da OpenAI revelaram que o O3 alucina em 33% das vezes ao responder perguntas sobre pessoas no Person QA,

01:22um sistema de análise interno da startup, voltado para avaliar desempenho de produtos.

01:28Já o O4 Mini foi ainda pior, viajando 48% das vezes.

01:34Para comparação, modelos anteriores tinham taxas de erro muito menores.

01:38O O1, por exemplo, alucinou 16% das vezes nos testes.

01:43E o O3 Mini, apenas 14,8%.

01:46Pesquisadores independentes também notaram comportamentos estranhos.

01:51Em testes do O3, um laboratório de pesquisa de inteligência artificial sem fins lucrativos,

01:56o O3 afirmou executar código em um MacBook Pro 2021 fora do chat GPP, algo que ele não pode fazer.

02:04Além disso, usuários relataram links quebrados fornecidos pelo modelo em tarefas de codificação.

02:10Esses erros podem parecer pequenos, mas têm grande impacto em setores onde a precisão é crucial,

02:16como escritórios de advocacia ou até em empresas de saúde.

02:20Por outro lado, esses modelos continuam impressionando em áreas como matemática e programação.

02:26O problema é que, enquanto buscam respostas mais detalhadas e criativas,

02:30as chances de inventar informações aumentam.

02:33A OpenAI admitiu que ainda não sabe por que isso acontece e reconheceu que encontrar uma solução

02:39será essencial para o futuro da inteligência artificial.

02:43Uma possível saída é permitir que os modelos consultem a internet em tempo real.

02:48Testes internos da OpenAI mostram que o GPT-4.0, com pesquisa na web,

02:53alcança 90% de precisão em algumas tarefas.

02:57No entanto, essa solução levanta questões de privacidade,

03:01já que os prompts dos usuários podem ser expostos a terceiros.