O papel da IA na segurança cibernética é semelhante a uma faca de dois gumes, pois por um lado, oferece ferramentas avançadas para aprimorar as medidas de segurança, detectar ameaças com mais eficiência e responder a ataques rapidamente, decorrente da capacidade da IA de analisar grandes volumes de dados rapidamente e identificar padrões que podem indicar uma violação de segurança, mas por outro lado, a IA também capacita os cibercriminosos, fornecendo-lhes métodos sofisticados para executar ataques.
Isso se deve muito a IA generativa, com sua capacidade de criar conteúdo, de texto a imagens e vídeos, introduzindo uma dimensão totalmente nova de riscos de segurança cibernética. Deepfakes ou vídeos gerados por IA que podem imitar indivíduos reais, já destacaram o potencial de uso indevido dessa tecnologia na geração de um novo tipo de fraude de identidade e o uso de ferramentas como o ChatGPT para criar programas de phishing mais poderosos, podem ser usados para criar malwares, por exemplo, polimórficos, capaz de alterar seu código para contornar a detecção por ferramentas de segurança.
No campo da segurança cibernética, o papel da IA está se tornando vital para o gerenciamento de ameaças cibernéticas. Estima-se que o mercado de IA em segurança cibernética cresça a uma taxa anual de 21,9% entre 2023 e 2028, atribuída à receita crescente de US$ 60,6 bilhões até 2028 (Marketsandmarkets, 2023).
A manipulação de um sistema de IA pode ocorrer de várias formas, como ataques de entrada e ataques de envenenamento. Os ataques de entrada se concentram nos dados alimentados no sistema de aprendizado de máquina (ML-Machine Learning). Nesses ataques, o invasor introduz um padrão de ataque nos dados de entrada, semelhante como colocar uma fita adesiva em um sinal de parada ou alterar sutilmente os pixels em uma imagem. Essas modificações alteram a maneira como o sistema de ML interpreta os dados, levando à sua falha.
Os ataques de envenenamento, por outro lado, visam o estágio de desenvolvimento do sistema de aprendizagem de máquina, pois esses ataques visam interromper a construção de um modelo de ML viável, comprometendo sua fase de treinamento. O invasor manipula os dados ou o processo de treinamento, resultando em um modelo de ML implantado que é fundamentalmente falho desde o início. Os ataques de envenenamento ocorrem durante a fase em que os parâmetros e os processos de aprendizado do modelo estão sendo estabelecidos. Para envenenar o sistema de ML, o invasor compromete seu processo de treinamento e aprendizado para que possa executar.
Conforme descrito anteriormente, o envenenamento de uma Inteligência Artificial (IA) é uma técnica maliciosa utilizada para corromper modelos de aprendizado de máquina, inserindo dados manipulados que influenciam seu comportamento. Esse tipo de ataque visa modificar as respostas da IA de forma intencional, resultando em decisões incorretas ou enviesadas, sem que o comprometimento seja prontamente detectado. Avaliar o comportamento de uma IA infectada por envenenamento envolve uma série de desafios técnicos e analíticos, tornando a sua detecção bastante sutil e complexa.
A principal dificuldade reside na natureza do envenenamento é que os dados nocivos inseridos nos conjuntos de treinamento são frequentemente sutis, disfarçados entre milhares ou milhões de entradas legítimas. Esses dados podem parecer normais à primeira vista, dificultando a identificação por ferramentas tradicionais de verificação de integridade de dados ou validação do modelo. Por exemplo, um atacante pode inserir dados levemente manipulados, que, no entanto, provocam efeitos significativos em circunstâncias específicas, como durante a tomada de decisão automatizada ou ao gerar predições com vieses prejudiciais.
A detecção dessa manipulação requer uma abordagem minuciosa, pois a IA afetada pode continuar a operar normalmente na maior parte do tempo, só revelando o impacto do envenenamento em situações-chave. Para identificar esses comportamentos anômalos, é necessária a formação de uma equipe multidisciplinar, composta por especialistas em IA, ciência de dados, segurança cibernética, estatísticos e profissionais de governança e ética. Essa diversidade de competências é essencial para realizar uma análise abrangente das métricas de desempenho do modelo, comparando sua resposta sob diferentes cenários e usando técnicas de auditoria como o teste de robustez e a verificação de integridade dos dados de entrada.
Para evitar o envenenamento de dados em sistemas de IA, é importante adotar algumas práticas. Primeiro, é fundamental garantir que os dados usados venham de fontes confiáveis e que sejam limpos, removendo erros e inconsistências. Além disso, é possível usar ferramentas que filtram automaticamente os dados para identificar qualquer anomalia suspeita. Outra abordagem é trabalhar com conjuntos de dados de alta qualidade, preferencialmente elaborados por instituições confiáveis, ou até criar dados sintéticos, que são gerados artificialmente para reduzir o risco de manipulação.
Treinar o modelo de IA com dados adversariais (dados manipulados para enganar) também é uma boa estratégia, pois prepara o sistema para lidar melhor com ataques. Modelos mais robustos, que não são tão sensíveis a pequenas mudanças, conseguem detectar e resistir a esses ataques de forma mais eficaz, contudo, e de forma complementar, é importante estabelecer um monitoramento contínuo do desempenho da IA e realizar auditorias regulares nos dados ajudam a identificar qualquer comportamento anormal logo no início.
Outra defesa é usar a própria IA para detectar anomalias nos dados e desenvolver modelos que confiem apenas em dados considerados seguros, também segregando e diversificando as fontes de dados também dificultam o trabalho dos atacantes, pois eles precisariam comprometer várias fontes ao mesmo tempo. Além disso, é essencial proteger os dados de treinamento com criptografia e limitar o acesso a eles apenas para pessoas autorizadas, estabelecendo o uso do aprendizado federado, onde o modelo é treinado em dispositivos distribuídos e não centralizados, também ajuda a diminuir o risco de envenenamento.
Profissionais de segurança cibernética podem aplicar técnicas forenses para rastrear possíveis origens de dados comprometidos, enquanto especialistas em ética e governança de IA podem avaliar o impacto social e jurídico das decisões enviesadas resultantes do envenenamento. Por outro lado, cientistas de dados podem empregar algoritmos específicos de detecção de anomalias para identificar padrões sutis e discrepâncias entre as respostas esperadas e as observadas em diversos cenários.
Portanto, a sutileza da detecção de um envenenamento de IA exige não só ferramentas tecnológicas avançadas, mas também um esforço coordenado de múltiplas competências, para que a integridade, a confiabilidade e a segurança do sistema possam ser restauradas e mantidas de forma eficiente e ética. Estas questões geram um cenário desafiador para a cibersegurança em todo o mundo pois passam a ter variáveis subjetivas que podem influenciar o comportamento da sociedade.