Inyección de prompts: el nuevo riesgo que enfrenta la inteligencia artificial

Un estudio reciente revela nuevas vulnerabilidades en los modelos de lenguaje grande

Aumento de la inyección indirecta de prompts

Un reciente estudio realizado por Kaspersky ha puesto de manifiesto un aumento en la técnica de inyección indirecta de prompts, que son frases utilizadas para iniciar conversaciones con bots. Esta técnica se emplea para manipular los resultados de modelos de lenguaje grande, como ChatGPT y otros chatbots impulsados por inteligencia artificial. Aunque hasta ahora no se han reportado incidentes graves de acciones destructivas por parte de estos chatbots, el riesgo de un uso indebido sigue presente.

Vulnerabilidades identificadas por los analistas de Kaspersky

Los modelos de lenguaje grande son herramientas muy potentes que se aplican en diversas áreas, desde el análisis de documentos hasta la selección de personal y la investigación de amenazas. Sin embargo, los analistas de Kaspersky han identificado una vulnerabilidad que permite a los ciberdelincuentes insertar instrucciones ocultas en páginas web y documentos en línea. Estas instrucciones pueden ser captadas por sistemas que utilizan modelos de lenguaje grande, lo que podría influir en los resultados de búsqueda o en las respuestas de los chatbots.

Usos diversos de la inyección indirecta de prompts

El estudio ha señalado varios usos de la inyección indirecta de prompts. En el ámbito de recursos humanos, por ejemplo, algunos solicitantes de empleo están incluyendo prompts en sus currículos con el fin de manipular los algoritmos de contratación y obtener resultados favorables de los sistemas de inteligencia artificial. Para ello, utilizan técnicas como fuentes pequeñas o adaptan el color del texto al fondo.

En el sector publicitario, los anunciantes están incorporando inyecciones de prompts en sus páginas de destino para influir en los chatbots de búsqueda y lograr que generen reseñas positivas sobre sus productos. También se ha observado el uso de inyecciones como forma de protesta, donde personas que se oponen al uso generalizado de modelos de lenguaje grande insertan mensajes de protesta en sus sitios web y perfiles de redes sociales, utilizando instrucciones que pueden ser humorísticas, serias o agresivas.

Recomendaciones para proteger tus sistemas

Para proteger tus sistemas actuales y futuros basados en modelos de lenguaje grande, es recomendable considerar ciertos consejos. Primero, es importante entender las posibles vulnerabilidades en tus sistemas y evaluar los riesgos asociados con los ataques de inyección de prompts. También debes tener en cuenta los riesgos reputacionales, ya que los bots de marketing pueden ser manipulados para hacer declaraciones extremas que podrían perjudicar tu imagen.

Es esencial reconocer que la protección total contra la inyección de prompts no es viable, especialmente ante ataques más complejos como las inyecciones multimodales. Utilizar herramientas de moderación para filtrar las entradas y salidas de los modelos de lenguaje grande puede ser útil, aunque no garantiza una seguridad absoluta. Además, es crucial ser consciente de los riesgos que conlleva procesar contenido no fiable o no verificado en estos sistemas.

Conclusión

En conclusión, la inyección indirecta de prompts representa una nueva vulnerabilidad en los sistemas basados en modelos de lenguaje grande. Es fundamental comprender estos riesgos y establecer medidas de seguridad robustas para garantizar un uso seguro y responsable de la inteligencia artificial. Vladislav Tushkanov, gerente del Grupo de Desarrollo de Investigación en el Equipo de Investigación de Tecnología de Aprendizaje Automático de Kaspersky, destaca la importancia de implementar salvaguardias adecuadas en la era de la inteligencia artificial. ¡Protege tus sistemas y toma las precauciones necesarias!