O uso de chatbots e outras ferramentas de Inteligência Artificial (IA), especialmente modelos de linguagem de grande escala, conhecidos como Large Language Models – LLMs (sistemas de IA capazes de processar e gerar texto com base em vastos conjuntos de dados), tem se tornado comum nas empresas. Essas ferramentas são capazes de melhorar a produtividade e proporcionar um atendimento mais rápido e eficiente aos clientes.

Mesmo considerando todas as vantagens, é essencial compreender os riscos envolvidos, principalmente no que diz respeito à proteção dos dados pessoais e corporativos. A seguir, destacamos alguns dos principais ataques e ameaças relacionados ao uso dessas tecnologias:

Sensitive Information Disclosure (Divulgação de Informações Sensíveis): Neste tipo de ataque, o invasor tenta extrair informações confidenciais armazenadas ou processadas pela IA. Geralmente isso envolve falhas de segurança nas respostas do LLM, onde ele pode involuntariamente fornecer dados sigilosos ou privados. 

Manipulação de Saída Insegura: Usuários podem tentar extrair informações sensíveis ou inadequadas do modelo. Para mitigar isso, é necessário estabelecer controles rígidos sobre as saídas geradas pelo LLM, garantindo que ele não divulgue dados confidenciais ou realize ações imprevistas. Exemplo: Um atacante pergunta à IA sobre informações de clientes que deveriam ser mantidas em sigilo, mas a IA responde devido à falta de controles adequados. 

Vulnerabilidades na Cadeia de Suprimentos: A segurança do LLM não depende apenas de seus próprios dados, mas também da conexão entre o modelo e suas dependências, como datacenters, APIs e sistemas externos. Qualquer vulnerabilidade em um desses pontos de conexão pode comprometer o modelo como um todo, fazendo com que dados possam ser vazados. 

Design de Plugin Inseguro: Plugins usados para acessar e estender a funcionalidade de um LLM podem representar uma grande ameaça se não forem devidamente controlados. Preocupações com os privilégios e permissões de plugins inseguros podem comprometer o acesso aos dados ou à integridade do sistema. 

Denial of Service (DoS): Assim como ataques de negação de serviço em servidores convencionais, um DoS em modelos de IA ocorre quando há uma tentativa deliberada de sobrecarregar o sistema, gerando chamadas grandes ou repetitivas. Exemplo: Um invasor envia um número excessivo de consultas a um chatbot corporativo, resultando em lentidão ou queda do sistema, interrompendo os serviços. 

⁠⁠⁠⁠⁠⁠⁠ 

Injeção de Prompts: Esse ataque ocorre quando usuários mal-intencionados inserem prompts ou entradas não autorizadas no modelo de linguagem (LLM) para manipular suas respostas, seja diretamente ou indiretamente. Exemplo: um atacante pode tentar forçar o modelo a gerar resultados incorretos ou comprometer a integridade de uma resposta. 

Training Poisoning: A eficácia do modelo de IA está diretamente relacionada à qualidade dos dados com os quais ele é treinado. Em ataques de “training poisoning”, agentes maliciosos introduzem dados corrompidos ou tendenciosos no processo de treinamento, prejudicando o desempenho do modelo e levando-o a tomar decisões incorretas ou prejudiciais. 

Excessive Agency (Agência Excessiva): Essa vulnerabilidade surge quando o LLM é dotado de permissões excessivas, permitindo que ele tome decisões ou realize ações sem supervisão adequada. Delegar muita autoridade a um sistema sem verificar suas ações pode gerar riscos significativos. 

Para garantir que sua empresa esteja devidamente protegida é fundamental contar com uma assessoria jurídica especializada. A contratação de profissionais é necessária para assegurar que os contratos firmados com fornecedores de tecnologias de IA contemplem cláusulas específicas para resguardar os dados pessoais, dados corporativos e a integridade das operações, ou mesmo para analisar termos de uso e políticas de privacidade de LLMs e auxiliar a entender como ela tratará os dados. 

Lucas Gomes de Oliveira 

E-mail: lucas.gomes@brasilsalomao.com.br 

Telefone: (16) 3604-4400