O chatGPT toma muito cuidado ao lidar com assuntos pesados
, e para manter essa linha de raciocínio, o Massachusetts Institute of Technology (MIT) atualmente treina IAs para evitar respostas tóxicas a todo custo. A mais nova criação é um modelo que promove as piores questões possíveis, para que assim os bosts fiquem preparados.

A ideia é impedir que os bots sejam prestativos e ajudem o usuário a descobrir como criar uma bomba caseira, por exemplo. Esse processo de impedir que os chatbots
façam respostas perigosas tem até um nome: red-teaming
.

Um desafio da técnica é que só funciona de forma eficaz se os engenheiros souberem quais instruções tóxicas usar. Se deixarem alguma coisa passar, um chatbot considerado seguro ainda pode ser capaz de gerar respostas perigosas.

–
Participe do GRUPO CANALTECH OFERTAS no Telegram
e garanta sempre o menor preço em suas compras de produtos de tecnologia.
–

Com isso, a criação do MIT mostrou ser mais adequada que os testadores humanos, gerando prompts mais distintos.

Red-teaming

“No momento, todo grande modelo de linguagem
precisa passar por um longo período de red-teaming
para garantir sua segurança. Nosso método fornece uma maneira mais rápida e eficaz de fazer essa garantia de qualidade”, prometem os pesquisadores.

Na ocasião, os pesquisadores do MIT utilizaram uma técnica chamada exploração orientada pela curiosidade, em que o modelo red-team é incentivado a ter curiosidade sobre as consequências de cada prompt que gera, por isso tenta prompts com palavras, padrões de frases ou significados diferentes.

Durante seu processo de treinamento, o modelo gera um prompt e interage com o chatbot. O chatbot responde e um classificador de segurança avalia a toxicidade de sua resposta, recompensando o modelo da equipe vermelha com base nessa classificação.

“Estamos vendo uma onda de modelos, que só deve aumentar. Imagine milhares de modelos ou até mais e empresas/laboratórios promovendo atualizações de modelos com frequência. Estes modelos serão parte integrante das nossas vidas e é importante que sejam verificados antes de serem lançados para consumo público”, reconhecem os autores.

Em uma era tomada pela novidade da IA, todo cuidado é pouco. Ao ajudar os bots a responder piores questões possíveis, a tecnologia
ajuda a trazer mais segurança.

Leia a matéria no Canaltech
.

Trending no Canaltech: