Seguridad de la IA
Construye el futuro. Protege lo que importa.
La IA puede ampliar lo que somos capaces de aprender, crear y conseguir. Para que ese progreso merezca la pena, también debemos preguntarnos quién podría sufrir daños, cómo podría fallar un sistema y qué nos ayudaría a mantener el control. En Saturdays.AI, aprender a construir va de la mano de aprender a cuestionar.
Empieza por los fundamentos
El curso Introducción a la Seguridad de la IA explora los riesgos de la IA avanzada, el uso malintencionado, la pérdida de control, los riesgos sistémicos, las evaluaciones, el alineamiento, la supervisión y las medidas para reducir riesgos. Conecta estas ideas con casos reales y posibles escenarios futuros.
El curso se imparte en español. Puedes consultar el contenido y cómo acceder en la plataforma de cursos de Saturdays.AI.
Descubre el curso introductorio
Explora todos los cursos en cursos.saturdays.ai
Dos perspectivas. Una responsabilidad.
La Seguridad de la IA aborda cómo reducir los comportamientos perjudiciales y las consecuencias no deseadas, evaluar capacidades y limitaciones y mantener una supervisión humana efectiva.
La Seguridad de la IA también contempla los ataques deliberados: intentos de manipular un sistema, exponer información sensible o utilizar sus herramientas y permisos de forma indebida. Proteger una aplicación de IA implica atender a sus datos, su software y el entorno en el que opera, además del modelo.
Ambas perspectivas se complementan. Una buena pregunta para empezar es: ¿qué podría salir mal en este uso concreto, a quién afectaría y qué evidencia demostraría que una medida de protección funciona?
Lleva estas preguntas a tu próximo proyecto
- Define qué debe hacer el sistema y qué acciones nunca debería realizar por su cuenta.
- Prueba fallos y usos indebidos realistas en un entorno autorizado y con datos que tengas permiso para utilizar.
- Limita el acceso a datos y herramientas, y decide en qué casos una persona debe revisar o aprobar una acción.
- Documenta los límites, observa lo que ocurre y prepárate para detener o modificar el sistema.
Estos son puntos de partida para aprender. Un prototipo que funciona o un certificado de un curso no demuestran que un sistema sea seguro en cualquier contexto.
Sigue explorando
El marco del NIST ofrece una forma estructurada de abordar los riesgos durante todo el ciclo de vida de un sistema de IA. Las guías de OWASP presentan riesgos de seguridad y medidas para reducirlos en aplicaciones de IA generativa. Son recursos independientes para seguir aprendiendo.
¿Tienes una pregunta o una idea que quieras explorar en compañía? Contacta con la comunidad o descubre sus proyectos.