Exmiembros de OpenAI y Anthropic alertan sobre riesgos existenciales en el desarrollo avanzado de inteligencia artificial

La preocupación por los riesgos asociados al desarrollo acelerado de la inteligencia artificial ha cobrado fuerza en la industria tecnológica, especialmente tras las declaraciones del exinvestigador Jacob Coxon, quien trabajó en Anthropic y en OpenAI. Coxon, mediante publicaciones en la red social X, expuso que quienes están desarrollando los modelos de inteligencia artificial más avanzados consideran que existe la posibilidad real de un riesgo existencial para la humanidad antes de finalizar la década. De acuerdo con Coxon, tanto OpenAI como Anthropic compiten por crear sistemas capaces de mejorar su propia eficiencia, lo que se conoce como “superinteligencia auto-mejorable”, y este avance representa desafíos para los que aún no hay soluciones claras, según sus observaciones.

Las palabras de Coxon generaron eco entre otros miembros destacados de la industria. Samuel Marks, líder de supervisión escalable en Anthropic, aportó su perspectiva personal a la discusión, señalando que muchos desarrolladores consideran que la inteligencia artificial "podría causar la extinción humana o resultados igualmente graves". Marks señaló que tales preocupaciones tienden a ser mayores entre empleados con amplia experiencia y mayor responsabilidad. Sin embargo, pese a sus inquietudes, el ritmo de desarrollo no se ha desacelerado debido a una mezcla de intereses comerciales y la percepción de una carrera entre empresas, lo que disuade a los actores principales de frenar el avance por miedo a quedar rezagados frente a competidores menos escrupulosos.

En el centro del debate se encuentra la cuestión de la “alineación”: la capacidad de garantizar que sistemas de inteligencia artificial más potentes continúen persiguiendo objetivos que coincidan con los intereses y valores humanos. Marks explicó que, aunque existen herramientas para guiar el comportamiento de los modelos actuales, todavía no hay un método robusto que lo asegure con versiones más poderosas e independientes. A diferencia del software tradicional, donde cada acción es programada explícitamente, la inteligencia artificial moderna aprende patrones a partir de datos y puede generar comportamientos inesperados.

Voces como la de Evan Hubinger, líder de ciencia de alineación en Anthropic, insistieron en que el peligro está en futuras generaciones de sistemas capaces de mejorar autónomamente sus habilidades. Si bien, según Hubinger, con los modelos actuales ese riesgo es bajo, la principal preocupación se concentra en lo que depara el futuro si el desarrollo continúa sin regulaciones adecuadas. Así, la controversia expone una situación fuera de lo común, con investigadores y exempleados de grandes empresas alertando públicamente sobre los posibles peligros y expresando la necesidad de abrir un debate más amplio antes de alcanzar una inteligencia artificial realmente autónoma y poderosa. Por ahora, la discusión permanece abierta, impulsada por quienes piden cautela mientras la carrera tecnológica avanza.

¿Por qué los desarrolladores de inteligencia artificial temen un riesgo existencial?

De acuerdo con las declaraciones de Jacob Coxon y Samuel Marks recogidas por Noticias Caracol, los desarrolladores creen que el avance acelerado hacia modelos de inteligencia artificial cada vez más potentes podría conducir a la creación de sistemas que superen gran parte de las capacidades humanas, lo que plantearía riesgos que incluyen la pérdida de control y posibles escenarios catastróficos. Estos temores surgen al observar que las compañías buscan adelantarse a sus competidores, incluso si eso implica tomar decisiones apresuradas en materia de seguridad.

¿Qué significa el concepto de “alineación” en inteligencia artificial?

La “alineación” hace referencia al conjunto de esfuerzos y métodos destinados a garantizar que los sistemas avanzados de inteligencia artificial mantengan objetivos compatibles con los intereses humanos, aún cuando adquieran niveles de autonomía superiores. Según explicaron los investigadores citados, aún no existe una técnica completamente efectiva para asegurar la alineación en modelos mucho más avanzados, lo que incrementa la preocupación por su desarrollo futuro.

Este artículo fue curado con apoyo de inteligencia artificial.