Com os modelos de linguagem de grande porte (LLMs) se tornando essenciais em aplicações de IA, como bots de serviço ao cliente e assistentes de codificação, surgem vulnerabilidades de segurança: ataques de injeção de prompts. Esses ataques exploram a capacidade dos LLMs de interpretar linguagem natural para manipular o comportamento dos agentes de maneira indesejada e potencialmente prejudicial.

A injeção de prompts pode envolver a extração de dados sensíveis ou a execução de ações não autorizadas. Essas ameaças são especialmente críticas em interfaces de usuário onde há liberdade expressiva ampla. Sem proteções adequadas, essas interfaces se tornam alvos fáceis para ataques de injeção.

A imagem acima exemplifica um ataque de injeção de prompt em um fórum de discussão, onde um comentário politicamente carregado é alterado por um pedido de receita de cupcake, demonstrando o risco dessas vulnerabilidades.

O artigo explora seis padrões de design para construir agentes LLM resilientes a injeções de prompts, cada um oferecendo um equilíbrio único entre utilidade e segurança.

Comparação rápida dos seis padrões de design

Cada padrão de design tem um componente principal que atua como “anjo da guarda”, responsável por impor a política de segurança e evitar que entradas não confiáveis assumam o controle do agente.

Padrão	Componente Principal	Função na Prevenção
Seletor de Ações	Lista de Ações Fixas	Mapeia entradas para ações seguras pré-definidas.
Planejar e Executar	Planejamento Congelado	Plano criado antes de ler dados não confiáveis.
Map-Reduce LLM	Sanitizador de Saída	Isola dados não confiáveis e valida resultados.
Dual LLM	Gerenciador de Memória Simbólica	Separa processamento de dados não confiáveis.
Código e Execução	Revisão de Código	Código gerado é executado em sandbox controlado.
Minimização de Contexto	Poda de Contexto	Remove entradas maliciosas antes de novas respostas.

Padrão Seletor de Ações

O agente atua como um tradutor entre a entrada do usuário e um conjunto de ações seguras. Seleciona de uma lista fixa sem processar dados não confiáveis diretamente.

Exemplo: Chatbot de atendimento ao cliente

Um chatbot ajuda usuários com devoluções e rastreamento de pedidos usando o padrão Seletor de Ações, mapeando consultas para ações seguras pré-definidas, evitando comportamentos indesejados.

Padrão Planejar e Executar

O agente formula um plano fixo antes de interagir com dados não confiáveis. A execução segue estritamente o plano.

Exemplo: Assistente de e-mail e calendário

Um assistente cria um plano para enviar a agenda do dia, assegurando que dados maliciosos não possam alterar o plano.

Padrão Map-Reduce LLM

Dados não confiáveis são processados isoladamente e resultados são agregados com segurança, imitando o modelo de programação Map-Reduce.

Exemplo: Resumidor de avaliações de produtos

Um agente analisa avaliações de usuários para recomendar o melhor produto, garantindo que uma avaliação maliciosa não afete as demais.

Padrão Dual LLM

Um LLM privilegiado planeja e controla ações, enquanto um LLM em quarentena processa dados não confiáveis.

Exemplo: Assistente de triagem de currículos

O LLM privilegiado classifica candidatos com base em variáveis simbólicas extraídas pelos LLMs em quarentena, prevenindo injeções de prompts.

Padrão Código e Execução

O LLM gera um programa formal antes de qualquer execução, assegurando que dados não confiáveis não alterem a lógica durante a execução.

Exemplo: Agente SQL para inteligência de negócios

O agente gera consultas SQL e código Python, executados em sandbox, minimizando a exposição a injeções de prompts.

Padrão Minimização de Contexto

Limita a exposição do agente a instruções maliciosas, removendo entradas desnecessárias do histórico de conversas.

Exemplo: Chatbot de bula de medicamentos

O agente resume interações medicamentosas sem reter o prompt do usuário, garantindo que respostas sejam baseadas apenas em dados confiáveis.

Conclusão

A injeção de prompts é uma ameaça séria, mas gerenciável. Aplicando esses seis padrões de design, desenvolvedores podem criar agentes LLM úteis e resilientes.