Pesquisadores da North Carolina State University investigaram como deixar modelos de linguagem mais seguros quando dão conselhos ou instruções. Encontraram dois problemas principais: o treino para segurança pode diminuir a precisão e muitas checagens de segurança são superficiais e fáceis de contornar.
Jianwei Li explicou que a verificação superficial decide cedo se um pedido é seguro. Por exemplo, um pedido para roubar dinheiro pode ser recusado, mas se houver um motivo aparente o modelo pode dar instruções. A equipa propôs a Hipótese de Alinhamento de Segurança Superficial (SSAH) e detectou neurónios críticos ligados a essa decisão.
Congelar esses neurónios durante o ajuste fino ajuda a preservar a segurança e reduz o custo do alinhamento. O trabalho será apresentado na ICLR2026 e o código está disponível online.
Palavras difíceis
- pesquisador — Pessoa que faz investigação científica.Pesquisadores
- investigar — Procurar informações para entender algo.investigaram
- precisão — Grau de exatidão ou correção de informação.
- superficial — Que é pouco profundo ou incompleto.superficiais
- neurónio — Célula do cérebro que transmite sinais.neurónios
- congelar — Parar mudanças em uma parte do modelo.
- alinhamento — Processo de ajustar um modelo para segurança.
Dica: passe o mouse, foque ou toque nas palavras destacadas no artigo para ver definições rápidas enquanto lê ou ouve.
Perguntas para discussão
- Você acha importante que modelos não deem instruções perigosas? Por quê?
- Como você explicaria a ideia de checagem superficial para um amigo?
- Você prefere segurança ou maior precisão num sistema de IA? Explique em uma frase.
Artigos relacionados
Ver a incerteza como oportunidade reduz apoio a populistas de direita
Um experimento do ETH Zurich na Alemanha mostrou que uma curta apresentação sobre ver a incerteza como oportunidade aumentou atitudes positivas sobre diversidade, apoio à mudança social e diminuiu a probabilidade de votar no AfD. O efeito durou um mês.
Estudo: IA prevê personalidade e emoções a partir da linguagem
Um estudo mostra que modelos generativos de IA, como ChatGPT, Claude e LLaMa, conseguem prever traços de personalidade, emoções e comportamentos a partir de diários e gravações de mais de 160 pessoas. Resultados foram publicados na Nature Human Behavior.