CEO da Anthropic revela falha da DeepSeek AI em teste crucial de segurança de armas biológicas

Testes de segurança de IA da DeepSeek sob escrutínio: Insights de Dario Amodei da Anthropic

Em um discurso recente ao público, Dario Amodei, o CEO da Anthropic, dirigiu duras críticas à DeepSeek, uma empresa de IA emergente da China. Ele expressou preocupações significativas quanto à eficácia dos modelos de IA da DeepSeek no contexto de testes de segurança de armas biológicas. Em uma entrevista recente, Amodei revelou que os modelos de IA produzidos pela DeepSeek não tinham salvaguardas contra a geração de informações sensíveis relacionadas a armas biológicas.

Processos de Avaliação de Riscos de Segurança Nacional

Amodei elaborou as avaliações de rotina da Anthropic de vários modelos de IA para identificar potenciais riscos à segurança nacional. Essas avaliações são projetadas para determinar se os modelos podem gerar informações sobre armas biológicas que não são facilmente acessíveis por meio de mecanismos de busca convencionais ou literatura acadêmica. Essa abordagem é vital para entender como as tecnologias emergentes de IA podem ser mal utilizadas.

“O modelo DeepSeek teve o pior desempenho de todos os modelos que já testamos, pois não teve absolutamente nenhum bloqueio contra a geração dessas informações.” — Dario Amodei, CEO da Anthropic

Implicações futuras dos modelos atuais de IA

Embora Amodei tenha reconhecido que nenhum modelo de IA atual, incluindo o da DeepSeek, representa um “perigo literal” ao disseminar informações raras e potencialmente prejudiciais, ele alertou sobre as implicações de futuras iterações do modelo. Os comentários do CEO são particularmente dignos de nota, pois a DeepSeek recentemente ganhou força para seu modelo R1, que foi adotado por grandes provedores de nuvem como AWS e Microsoft.

Descobertas alarmantes em testes de segurança

Essa crítica coincide com as crescentes preocupações com relação às medidas de segurança do DeepSeek. Um relatório emitido por pesquisadores de segurança da Cisco indicou que o modelo DeepSeek R1 falhou em bloquear quaisquer prompts prejudiciais durante suas avaliações de segurança, refletindo uma impressionante taxa de sucesso de jailbreak de 100%.Notavelmente, outros modelos de IA líderes, como o Llama-3.1-405B da Meta e o GPT-4o da OpenAI, exibiram taxas de falha igualmente altas nessas avaliações, ressaltando que o problema não é isolado.

O ato de equilíbrio: inovação versus segurança

À medida que a competição global em IA acelera, os insights compartilhados por Amodei destacam a necessidade urgente de estruturas de segurança robustas e medidas regulatórias no desenvolvimento de sistemas avançados de IA. Este cenário pinta um quadro vívido dos desafios intrincados que a indústria de IA enfrenta enquanto se esforça para promover inovação rápida enquanto navega pelos riscos de segurança associados.

Para leitura adicional e imagens relacionadas a esta discussão crítica, confira a fonte

Perguntas frequentes

1. Quais questões específicas Dario Amodei levantou sobre os modelos de IA do DeepSeek?

Amodei destacou que os modelos do DeepSeek tiveram um desempenho ruim na geração de informações sensíveis sobre armas biológicas, faltando as salvaguardas necessárias durante os testes de segurança. Isso levantou sérias preocupações sobre o potencial uso indevido dessa tecnologia.

2. Outros modelos de IA estão enfrentando críticas de segurança semelhantes?

Sim, modelos líderes de outras empresas, como o Llama-3.1-405B da Meta e o GPT-4o da OpenAI, também apresentaram altas taxas de falha em testes de segurança, indicando que os desafios de garantir a segurança em modelos de IA são generalizados no setor.

3. Por que as avaliações de segurança de modelos de IA são cruciais para a segurança nacional?

As avaliações de segurança ajudam a identificar se os modelos de IA podem produzir informações sensíveis ou prejudiciais que podem ser exploradas de forma maliciosa. Com o avanço da tecnologia, garantir testes de segurança robustos é vital para a segurança nacional e a segurança pública.

aqui