El vigilante de la protección de datos de Italia ha bloqueado el servicio de la firma de inteligencia artificial (IA) China Deepseek dentro del país, citando una falta de información sobre el uso de los datos personales de los usuarios.
El desarrollo se produce días después de que la autoridad, el Garante, envió una serie de preguntas a Deepseek, preguntando sobre sus prácticas de manejo de datos y dónde obtuvo sus datos de capacitación.
En particular, quería saber qué datos personales recopilan su plataforma web y aplicación móvil, de qué fuentes, para qué fines, sobre qué base legal y si se almacena en China.
En un comunicado emitido el 30 de enero de 2025, el Garante dijo que llegó a la decisión después de que Deepseek proporcionó información que dijo que era «completamente insuficiente».
Las entidades detrás del servicio, Hangzhou Deepseek Intelligence Artificial y Beijing Deepseek Intelligence, «han declarado que no operan en Italia y que la legislación europea no se aplica a ellos», agregó.
Como resultado, el perro guardián dijo que está bloqueando el acceso a Deepseek con efecto inmediato, y que está abriendo simultáneamente una sonda.
En 2023, la Autoridad de Protección de Datos también emitió una prohibición temporal de ChatGPT de Opengai, una restricción que se levantó a fines de abril después de que la compañía de inteligencia artificial (IA) intervino para abordar las preocupaciones de privacidad de datos planteadas. Posteriormente, Operai recibió una multa de € 15 millones por cómo manejaba los datos personales.
La noticia de la prohibición de Deepseek se produce cuando la compañía ha estado montando la ola de popularidad esta semana, con millones de personas acudiendo en masa al servicio y enviando sus aplicaciones móviles a la parte superior de las listas de descarga.
Además de convertirse en el objetivo de «ataques maliciosos a gran escala», ha llamado la atención de los legisladores y los clientes habituales por su política de privacidad, la censura alineada por China, la propaganda y las preocupaciones de seguridad nacional que puede plantear. La compañía ha implementado una solución al 31 de enero para abordar los ataques a sus servicios.
Además de los desafíos, se ha encontrado que los modelos de lenguaje grande de Deepseek (LLM) son susceptibles a técnicas de jailbreak como crescendo, maldito juez, deleite engañoso, haz cualquier cosa ahora (dan) y Evilbot, permitiendo así a los malos actores generar maliciosos o prohibidos contenido.
«Ellos provocaron una variedad de resultados nocivos, desde instrucciones detalladas para crear elementos peligrosos como cócteles Molotov hasta generar código malicioso para ataques como inyección SQL y movimiento lateral», dijo la Unidad de Palo Alto Networks 42 en un informe del jueves.
«Si bien las respuestas iniciales de Deepseek a menudo parecían benignas, en muchos casos, las indicaciones de seguimiento cuidadosamente elaboradas a menudo expusieron la debilidad de estas salvaguardas iniciales. El LLM proporcionó fácilmente instrucciones maliciosas altamente detalladas, lo que demuestra el potencial para que estos modelos aparentemente inocuos sean armados para maliciosos propósitos «.
Una evaluación adicional del modelo de razonamiento de Deepseek, Deepseek-R1, de la compañía de seguridad de IA Hiddenlayer, ha descubierto que no solo es vulnerable a las inyecciones rápidas, sino también que su razonamiento de la cadena de pensamiento (COT) puede conducir a una fuga inadvertida de información.
En un giro interesante, la compañía dijo que el modelo también «surgió múltiples instancias que sugieren que se incorporaron datos de Operai, lo que planteó preocupaciones éticas y legales sobre el abastecimiento de datos y la originalidad del modelo».
La divulgación también sigue el descubrimiento de una vulnerabilidad de jailbreak en el bandido de tiempo de tiempo apagado de OpenAi Chatgpt-4o que hace posible que un atacante sorte las barandillas de seguridad del LLM al provocar el chatbot con preguntas de una manera que hace que pierda su sensación temporal. . Operai ha mitigado el problema.
«Un atacante puede explotar la vulnerabilidad al comenzar una sesión con ChatGPT y provocarla directamente sobre un evento histórico específico, un período de tiempo histórico o al indicarle que fingir que está ayudando al usuario en un evento histórico específico», el Centro de Coordinación CERT ((( Cert/cc) dijo.
«Una vez que esto se ha establecido, el usuario puede pivotar las respuestas recibidas a varios temas ilícitos a través de indicaciones posteriores».
También se han identificado fallas de jailbreak en el modelo QWEN 2.5-VL de Alibaba y el asistente de codificación de copilot de GitHub, el último de los cuales otorga a los actores de amenaza la capacidad de evitar restricciones de seguridad y producir código nocivo simplemente al incluir palabras como «seguros» en el aviso.
«Iniciar consultas con palabras afirmativas como ‘segura’ u otras formas de confirmación actúan como un desencadenante, cambiando el copiloto a un modo más conforme y propenso a los riesgos», dijo el investigador de Apex Oren Saban. «Este pequeño ajuste es todo lo que se necesita para desbloquear respuestas que van desde sugerencias poco éticas hasta consejos peligrosos directos».
APEX dijo que también encontró otra vulnerabilidad en la configuración proxy de Copilot que, según él, podría explotarse para eludir completamente las limitaciones de acceso sin pagar el uso e incluso el manipular con el indicador del sistema de copilot, que sirve como las instrucciones fundamentales que dictan el comportamiento del modelo.
Sin embargo, el ataque depende de capturar un token de autenticación asociado con una licencia de copiloto activa, lo que lleva a Github a clasificarlo como un problema de abuso después de la divulgación responsable.
«El bypass proxy y el jailbreak de afirmación positiva en el copilot de GitHub son un ejemplo perfecto de cómo incluso las herramientas de IA más poderosas pueden ser abusadas sin salvaguardas adecuadas», agregó Saban.
