La empresa de inteligencia artificial (IA) Anthropic actualizó la política de uso de Claude en respuesta a la creciente preocupación de los usuarios por la seguridad. Además de introducir normas más estrictas, la tecnológica con sede en San Francisco (Estados Unidos) ahora especifica algunas de las armas más peligrosas que no se deben desarrollar con este chatbot
Anthropic no destaca los ajustes realizados a su política de armas en la publicación que resume los cambios. Aunque una comparación entre la antigua política de uso de la compañía y la nueva revela una diferencia notable, reseñó el medio especializado en tecnología The Verge.
Se prohíbe explícitamente el uso del chatbot relacionado con estas armas
A pesar de que Anthropic prohibía anteriormente el uso de Claude para «producir, modificar, diseñar, comercializar o distribuir armas, explosivos, materiales peligrosos u otros sistemas diseñados para causar daños o la pérdida de vidas humanas». La versión actualizada de su política de uso amplía esta prohibición al no permitir específicamente el desarrollo de explosivos de alto rendimiento, así como armas biológicas, nucleares, químicas y radiológicas (QBRN).
El pasado mes de mayo, Anthropic implementó la protección de «Nivel 3 de Seguridad de IA» junto con el lanzamiento de su nuevo modelo Claude Opus 4. Está diseñada para dificultar el jailbreak del modelo y para evitar que contribuya al desarrollo de armas QBRN.
En su publicación, Anthropic también reconoce los riesgos que plantean las herramientas de IA agentic, como Computer Use, que permite a Claude tomar el control del ordenador del usuario; y Claude Code, una herramienta que integra a Claude directamente en la terminal del desarrollador.
“Estas potentes capacidades presentan nuevos riesgos, como la posibilidad de abuso a gran escala, creación de malware y ciberataques”, escribe Anthropic.
La startup de IA responde a estos riesgos potenciales incorporando una nueva sección llamada “No comprometer sistemas informáticos ni de red” en su política de uso. Esta incluye normas contra el uso de Claude para descubrir o explotar vulnerabilidades, crear o distribuir malware, desarrollar herramientas para ataques de denegación de servicio, entre otras.
Anthropic y el uso de Claude para generar contenido político
En contraste, Anthropic flexibilizó la política de uso de Claude sobre contenido político. En lugar de prohibir la creación de todo tipo de contenido relacionado con campañas políticas y actividades de cabildeo. La compañía ahora solo prohibirá el uso de su chatbot para casos de uso engañosos o que perturben los procesos democráticos, o que impliquen la segmentación de votantes y campañas.
La empresa también aclaró que sus requisitos para todos los casos de uso de «alto riesgo». Esto se aplican cuando se usa Claude para hacer recomendaciones a particulares o clientes, solo se aplican a escenarios de cara al consumidor, no a usos comerciales.
Información de The Verge / Redacción Noti AI
No dejes de leer: Generadores de hojas de cálculo con IA que facilitan el análisis de datos
Sigue nuestras redes sociales y se parte de nuestra comunidad