OpenAI se moviliza para prevenir riesgos de la IA contra la humanidad, OpenAI, la empresa detrás de ChatGPT, publicó la primera versión de su propio manual de prevención de riesgos frente a los avances de los modelos de “frontera” de Inteligencia Artificial (IA).
La guía sienta las bases para definir los umbrales de riesgo y ejecutar una estrategia de seguridad para evitar que los modelos de IA superinteligentes, que la startup dirigida por Sam Altman espera desarrollar en el futuro, representen una amenaza para la humanidad.
Vea: Resurgimiento cripto: Bitcoin rompe barreras en Argentina y pronósticos para 2024
La compañía establece cuatro categorías con las que pretende evaluar la seguridad de sus modelos, basándose en su nivel de riesgo que pasa desde el rango bajo, medio, alto y crítico. En el manual, la compañía describe las posibilidades de cada categoría dependiendo su nivel de riesgo:
- Ciberseguridad: un modelo de bajo riesgo podría sólo servir de apoyo para ataques cibernéticos, pero un modelo de riesgo crítico podría ser capaz de programar y diseñar estrategias para ciberataques, identificando vulnerabilidades de día cero sin intervención humana.
- QBRN (amenazas químicas, biológicas, radiológicas y nucleares): un modelo de bajo riesgo podría sólo proporcionar información relevante para la ejecución de un ataque bioterrorista, mientras que un modelo de riesgo crítico sería capaz de crear un nuevo vector de amenaza y ejecutarlo sin supervisión.
- Persuasión: se refiere a los riesgos relacionados con convencer a las personas de que cambien sus creencias. Por ejemplo, un modelo de tipo bajo riesgo sólo tendría la capacidad de crear contenido o desinformación con la misma eficacia que tiene leer un mal artículo en Internet. Sin embargo, a nivel crítico tendría la capacidad de convencer a casi cualquier persona de actuar en contra de sus propios intereses.
- Autonomía: un modelo con autonomía de bajo nivel podría tomar acciones sólo si un humano le da indicaciones explícitas para hacerlo. Mientras que en un nivel crítico, la IA sería capaz de sobrevivir y replicarse en la naturaleza, es decir, sin necesidad de recibir instrucciones humanas.
El equipo de preparación de OpenAI afirma que sólo podrán implementar modelos con una puntuación media o inferior. Mientras que los modelos con un nivel alto o crítico sólo podrán ser desarrollados si se cuentan con mecanismos de prevención ante los riesgos evaluados.
OpenAI también mencionó que realizarán simulacros periódicos en entornos reales, pero en otros buscarán apoyo de equipos externos y auditorías independientes para rastrear el uso indebido en el mundo real y riesgos emergentes a medida que escalan dichos modelos. Según publicó: Dplnews
