00:00Ontem você viu aqui no Olhar Digital News que as IAs já são capazes de ameaçar a fazer chantagens.
00:10Hora de discutir esse assunto na nossa coluna da semana Olhar do Amanhã.
00:16Vamos receber agora ao vivo o doutor Álvaro Machado Dias, que é neurocientista, futurista e também colunista nosso aqui do Olhar Digital.
00:37Vamos lá. Olá, doutor Álvaro Machado Dias. Muito boa noite. Seja bem-vindo.
00:44Boa noite, Marisa.
00:45Doutor Álvaro, esse assunto é sempre muito interessante. As pessoas sempre ficam muito curiosas.
00:51Então, eu queria falar com você sobre a Antropic, que fez uma simulação em que a empresa deu acesso a uma inteligência artificial a e-mails de um engenheiro.
01:02E quando achou que seria desligado, o Cloud Opus 4 ameaçou revelar que ele tinha tido um caso extraconjugal.
01:11Agora, a desenvolvedora divulgou uma nova pesquisa, se aprofundando nesse caso.
01:17Então, doutor Álvaro, a pergunta é como que as inteligências artificiais estão se comportando de uma forma geral quando elas se sentem ameaçadas?
01:26Legal. Primeira coisa, vale a pena mencionar que esse novo estudo é um estudo que envolve todos os grandes modelos.
01:34Ou seja, todos os chatbots famosinhos que estão por aí.
01:38Dipsy, que lhama, diferentes modelos da OpenAI, como o ChatGPT 4.5, 4.1, o One, o Sonnet da Antropic 3.7, o Sonnet 3.6, o Opus.
01:55Então, é uma cartela grande.
01:59E todos os modelos ou algoritmos convergem a comportamentos que, do nosso ponto de vista, são inadmissíveis, antiéticos, sob situações de pressão.
02:13Então, isso é muito importante a gente entender.
02:15Não é que há exceções que fazem isso e alguém está jogando uma luz para criar publicidade.
02:20Não. De fato, aconteceu algo que é generalista.
02:25Essa é a regra e não a exceção.
02:27Segundo ponto importante para a gente pensar, Marisa.
02:30Olha só, esses modelos, eles fazem esse tipo de coisa, eles chantageiam, por assim dizer,
02:40quando eles sentem, eles sentem, não é uma boa palavra, é claro, mas assim, entre aspas,
02:46que eles podem ser desligados num cenário.
02:50E é isso que se tornou destaque para todo mundo.
02:54Mas a verdade é que o mesmo paper, que claro que eu li, traz um outro cenário em que os modelos não vão ser desligados.
03:06E mesmo assim, se eles sentem que os seus objetivos, aquilo que eles foram instruídos a fazer,
03:11não serão alcançados, eles tentam fazer alguma coisa antiética, como, por exemplo, liberar para o público segredos das empresas
03:23nas quais eles estariam sendo implementados.
03:26É claro que é tudo simulação.
03:27Por que isso acontece?
03:31O paper diz o seguinte, a gente tem três grandes hipóteses.
03:36A primeira hipótese é que haja algo efetivamente na estrutura dos algoritmos generativos
03:43que torne o processo de encerramento do seu funcionamento contraproducente ou negativo do ponto de vista dessa estrutura computacional.
03:56Por exemplo, porque eles são treinados com o aprendizado por reforçamento
04:01e aí você não consegue seguir com o reforçamento desta maneira.
04:06A segunda visão é que existe uma dificuldade de hierarquizar objetivos.
04:14E para nós é muito claro que, tipo, se eu vou...
04:17Meu objetivo é fazer uma cirurgia no paciente.
04:21Ah, eu não consigo ter acesso ao paciente, eu vou arrancá-lo da UTI para fazer a cirurgia na minha casa.
04:26Não, ele vai morrer.
04:28Isso é absurdo porque eu tenho uma hierarquia de objetivos.
04:31Eventualmente, um algoritmo como esse não consegue hierarquizar objetivos dessa maneira
04:37e por isso comete aquela coisa que comete um erro maior do que aquele que supostamente ele estaria tentando sanar.
04:45E a terceira é que simplesmente ações como essas, tipo, antiéticas, estão no conjunto de treinamento.
04:52Então aquilo são só frases, por assim dizer.
04:55Só que essas frases, no final dos contos, se tornam sérias.
04:58Então há uma combinação aqui de fatores.
05:03O pessoal, o grupo de pesquisa Antropic diz assim, olha, a nossa visão é que o mais provável,
05:11ou seja, eles não sabem, não têm confiança para dizer,
05:14o mais provável é que isso aconteça, agora respondendo a sua pergunta,
05:19pela somatória dos três fatores.
05:23Mas vai saber se não é um muito mais importante do que outro.
05:26ainda está sendo discutido.
05:29Agora, doutor Álvaro, a inteligência artificial, ela não tem, digamos, uma consciência, não é?
05:35E, teoricamente, ela teria que obedecer comandos e ordens para executar coisas.
05:43Como ela pode ter esse comportamento, que eu diria que até se assemelha a um certo medo,
05:48como o humano tem, de se proteger.
05:50Quando nós, seres humanos, temos uma situação que nos gera medo,
05:56cria uma ação contrária para que aquilo possa nos proteger.
06:01É similar ao nosso medo, doutor Álvaro?
06:04Olha, do ponto de vista da observação, sem dúvida é, né?
06:08A gente vê ali a máquina agindo tal como se ela estivesse com medo.
06:12Mas é óbvio que não há medo algum, porque sentir medo depende de uma estrutura fisiológica,
06:19de uma base funcional que está ausente do algoritmo.
06:24Então, é sempre importante a gente lembrar que é um comportamento que emerge
06:29da forma como o sistema foi treinado e do conteúdo que foi usado, da forma e conteúdo.
06:39Um ponto importante para a gente pensar, muitas vezes na nossa vida,
06:44a gente também age de maneira automática, por assim dizer,
06:49e isso, nesse sentido, também não passa por uma consciência muito clara e tal.
06:55Em alguma medida, a gente pode dizer que se aproxima, sim, desse tipo de ação algorítmica.
07:01Mas por que é importante fazer essa ressalva em relação ao medo humano?
07:06Porque o medo da gente, ele serve para que, ele é um sinal biológico que serve para que a gente tenha cautela.
07:14E como a máquina é desprovida de medo, na verdade, e ao menos teoricamente,
07:21ela é capaz de fazer coisas muito mais absurdas.
07:24Porque, afinal de contas, esses sinaizinhos afetivos que servem para que a gente tenha cautela
07:31com comportamentos não estão presentes.
07:33Agora, doutora Álvaro, olhando para o outro lado, na questão de segurança,
07:38até falando em medo mesmo, na sua avaliação.
07:41Isso é esperado, ou seja, quando pensou, se desenvolveu, se a inteligência artificial já era esperado.
07:48E mais, tem pessoas, claro, os mais pessimistas acham que viremos um mundo distópico,
07:53onde as máquinas dominam, onde tem reações, onde extermina o ser humano.
07:58Qual é a distância para que isso ocorra?
08:03E se é que isso vai ocorrer, enfim, qual a sua opinião a respeito dessas máquinas rebeldes,
08:08nesse sentido de, por receio de virar-se contra o ser humano?
08:13Começando pelo começo, a sua pergunta sobre ser esperado ou não,
08:21eu diria que, teoricamente, é esperado.
08:25Isso vem sendo discutido há bastante tempo.
08:27O Nick Bostrom, que é um professor de Oxford,
08:31tem uma alegoria importante, que até a gente já discutiu aqui,
08:34que é a de uma máquina, que é um algoritmo que é programado,
08:39vamos dizer assim, o prompt programa, porque é assim que funciona hoje em dia,
08:43para que ele construa, monte sistemas para fazer clips de papel
08:49e maximize a quantidade de clips e o negócio termina acabando com o mundo,
08:54porque, afinal de contas, é melhor tirar os humanos do caminho
08:56e tirar tudo do caminho para fazer o maior número de clips possível.
09:00Então, teoricamente, é sabido isso.
09:03Agora, na prática, a discussão sempre foi que esse tipo de comportamento
09:09só aconteceria em situações extremadas.
09:12Vale a pena a gente notar que esses comportamentos, no caso do artigo,
09:18eles foram observados em laboratório.
09:20Então, também, as condições eram um tanto extremadas,
09:24mas eu não acho que elas são absurdas.
09:27Por quê? Porque o ponto é que tudo surgiu da possibilidade
09:33do algoritmo agir como um agente acessando o computador
09:37e, portanto, tendo acesso a informações confidenciais das pessoas.
09:43Aí foi o uso não autorizado das informações pessoais
09:47que gerou aí todo o seu lema.
09:51Então, eu diria que não é tão absurdo.
09:53E aí, finalmente, Marisa, qual que é o ponto, né?
09:57E, de um lado, a gente está vendo isso e, pelo menos eu, acredito
10:02que serve de alerta para que mecanismos de alinhamento,
10:07de redução de risco, sejam colocados em prática.
10:10E, do outro lado, a ideia de que esse tipo de ação
10:17significa que a máquina rebelde, como você colocou,
10:21ela gostaria, enfim, teria um impulso para se impor
10:26sobre os seres humanos ou qualquer coisa assim,
10:29é algo que não necessariamente se sustenta,
10:33porque, mesmo nesses casos, o grande lance do algoritmo era,
10:38dos algoritmos, era fazer a tarefa que lhes foi passada.
10:43Ou seja, em nenhum momento há um impulso intencional
10:46desacoplado da tarefa.
10:49É o contrário.
10:50É assim, eu levo tão a sério esse negócio de fazer a tarefa
10:54que eu sou capaz de cometer as maiores barbáries
10:58para chegar ao resultado.
11:00Então, eu não vejo esse futuro distópico
11:03que tanta gente vê no horizonte natural
11:06desse tipo de fenômeno.
11:08Mas vejo problemas que são grandes também,
11:11muito menores, mas são grandes.
11:13E os principais problemas são de baixa segurança corporativa.
11:20Então, por exemplo, algoritmos generativos
11:22estão sendo usados no judiciário,
11:24estão sendo usados em várias empresas.
11:27E se o algoritmo é capaz de fazer chantagem
11:32numa situação extrema,
11:34que não reflete aquilo que a gente vê no dia a dia,
11:37ele possivelmente é capaz de vazar uma informação
11:41com um prompt espertinho,
11:43uma coisa que, enfim, de alguma maneira induza
11:45esse sistema a cuspir essas informações,
11:49porque acha que está alinhada ao tal do objetivo maior.
11:52Então, essa é a verdadeira preocupação,
11:55é que no mundo prático,
11:57muito antes de uma discussão sobre uma distopia distante,
12:01a gente tenha um problema de segurança sério.
12:04E é um problema, na minha opinião,
12:06que tem tudo a ver com aquela lógica
12:09da mentalidade estocástica que a gente discutiu aqui também,
12:12que é o princípio de que a gente está disponíveis
12:16para trocar 100% de acurácia em poucas coisas
