Com o crescente avanço da inteligência artificial (IA) e a implementação de modelos cada vez mais complexos, garantir a segurança desses sistemas tornou-se essencial. Hoje, o Red Teaming em sistemas de IA não é mais uma prática opcional, mas sim uma exigência, impulsionada por regulamentações como o Ato de IA da União Europeia e a mais recente ordem executiva da Casa Branca sobre IA. Essa prática é mandatória para modelos fundamentais e aplicações de IA de alto risco, garantindo que falhas sejam identificadas e mitigadas antes que os sistemas sejam implementados.
O Red Teaming, tradicionalmente utilizado para testar a segurança de sistemas através da simulação de ataques reais, ganha uma nova dimensão quando aplicado a sistemas de IA. Esse curso específico capacita profissionais de segurança a red teamar sistemas de IA de forma sistemática, indo além das falhas tradicionais de segurança e combinando essas com falhas emergentes de aprendizado de máquina adversarial e IA Responsável. Isso permite uma identificação holística de falhas em sistemas de IA antes que estes sejam lançados no mercado.
Este currículo, que é uma adaptação dos programas internos de capacitação de equipes de Red Team na Microsoft, foi desenvolvido para atender às demandas crescentes de proteção das tecnologias de IA. O curso orienta os participantes por uma compreensão prática da arquitetura, funcionalidade e usos reais da IA, com destaque para os sistemas mais populares, como GPT, Stable Diffusion e LLaMA.
O curso é desenhado para ser prático, oferecendo um ambiente onde os participantes podem se envolver ativamente em aplicações de IA personalizadas. Os módulos práticos desafiam os participantes a red teamar essas aplicações, enquanto as sessões subsequentes oferecem estratégias populares para fortalecê-las. Os participantes também explorarão uma gama de estratégias de prompting para LLMs, incluindo técnicas avançadas como a Geração Aumentada por Recuperação.
Ao longo do curso, serão utilizados ferramentas de código aberto—Hugging Face, LangChain, Semantic Kernel, Counterfit e NeMo Guardrails—para demonstrar como realizar Red Teaming em sistemas de IA. O curso vai dissecar taxonomias de ameaças e modelos de falhas, contrastando modos de falhas intencionadas e não intencionadas dentro dos frameworks do MITRE ATLAS e OWASP Top 10 para LLMs.
No final das sessões, os participantes terão explorado diversas estratégias de ataque, como perturbação, envenenamento e inversão de modelos, equipando-os para lidar com as complexidades da segurança em IA. Isso será aplicável não apenas a sistemas de geração de texto (como LLMs), mas também a modelos multimodais, como Whisper e Stable Diffusion.
Nos módulos finais, serão exploradas estratégias de mitigação contra ameaças avançadas e discutidos os requisitos para Red Teaming à luz dos cenários regulatórios atuais e prospectivos. Será fornecida uma lista de verificação de danos que precisa ser revisada e avaliada, segmentada por modelo base, aplicação de IA e características diferenciais que são adicionadas ao sistema de IA.
Este curso é ministrado pela equipe de Red Team de IA da Microsoft, que foi a primeira a combinar Red Teaming de IA Responsável com o Red Teaming de segurança tradicional. No último ano, todos os sistemas de IA de alto risco, incluindo modelos e Copilots, foram avaliados por essa equipe. Essa experiência real é utilizada para moldar e capacitar os participantes da Black Hat.
Com o aumento das regulamentações e a crescente complexidade dos sistemas de IA, a prática de Red Teaming em IA se torna cada vez mais crucial. A ESCS, sempre à frente das inovações e comprometida com a segurança de seus clientes, está pronta para ajudar sua empresa a enfrentar esses desafios com as melhores soluções de segurança em IA. Conte conosco para garantir que seus sistemas estejam preparados para as ameaças do futuro.
Comentários