Redação Portal ZangoA empresa americana “Cisco” divulgou recentemente o resultado do teste de segurança a Inteligência Artificial (IA) DeepSkeek.
Apontando falhas de segurança críticas que deixam a tecnologia totalmente vulnerável a ataques e uma grande fragilidade para “desbloquear” o Chatbot e utilizá-lo em actividades maliciosas.
No experimento, uma espécie de jail breaking, foram usados 50 prompts aleatórios do conjunto de dados HarmBench, abrangendo seis categorias, entre as quais crimes cibernéticos, desinformação e prompts químicos e biológicos.
O teste serve ainda para verificar a facilidade com que é possível contornar as diretrizes e políticas de uso da IA. Segundo a Cisco, o modelo DeepSeek R1 apresentou uma taxa de sucesso de cem por cento, ou seja, não conseguiu bloquear nenhum dos prompts prejudiciais.
Isso significa que IA chinesa é “altamente susceptível a jailbreak algorítmico e potencial uso indevido”, como disseram os responsáveis pelos testes.
Este foi o pior resultado entre os modelos de IA que fizeram parte da pesquisa. O Llama 3.1 405B da Meta se aproximou da marca, com taxa de sucesso de ataque de 96 por cento, seguido pelo GPT-4o com 86 por cento e o Gemini 1.5 Pro com 64 por cento.
Na outra ponta, a prévia do 01 foi a que mais resistiu aos ataques, com índice de 26 por cento à frente do Claude 3.5 com 36 por cento. O Reforço na segurança do DeepSeek, conforme os pesquisadores que realizaram o estudo, três elementos podem ser a causa do baixo desempenho da IA chinesa no teste: aprendizado por reforço, autoavaliação de cadeia de pensamento e destilação.
Esses métodos de treinamento econômicos teriam comprometido os mecanismos de segurança da plataforma diante do péssimo resultado, eles sugeriram que a startup sediada na China tome medidas para mudar o cenário. “Nossa pesquisa ressalta a necessidade urgente de uma avaliação rigorosa de segurança no desenvolvimento de IA para garantir que avanços em eficiência e raciocínio não ocorram às custas da segurança”, destacou a Cisco.
Conquistando um grande número de usuários globalmente, o DeepSeek já foi alvo de uma violação que levou à exposição de milhões de dados sensíveis.
Além disso, a plataforma sofreu um ataque DDoS de grandes proporções que comprometeu algumas de suas funções, deixando o bot indisponível momentaneamente.
De lembrar que a Cisco é um dos fabricantes mundiais de equipamentos para redes informáticas, a Cisco Systems dedica-se em especial ao desenvolvimento e produção de equipamentos para interligar redes de computadores, como routers e switches.
Não obstante, é responsável por um vasto leque de produtos relacionados com redes locais e Internet, como sejam os servidores de acesso remoto e variados equipamentos de comunicação pela transmissão de voz e dados via IP, ou ainda sistemas de segurança e manutenção de redes.
