OpenAI crea un equipo para imaginar catástrofes con IA (y eso es bueno)
Leé hasta el final para escuchar el homenaje más bizarro a Iorio hecho con inteligencia artificial
El 26 de octubre, OpenAI —la empresa creadora de ChatGPT, propiedad de Microsoft— anunció la creación de Preparedness (Preparación): un equipo dedicado a pensar, diagramar e imaginar distintos posibles escenarios apocalípticos en los que la Inteligencia Artificial logró convertirse en Skynet.
La idea es que este equipo pueda evaluar, predecir y proteger contra lo que la empresa denomina “riesgos catastróficos” a lo largo de categorías como:
Persuasión individualizada (engañarte, al estilo del phishing),
Ciberseguridad,
Amenazas químicas, biológicas, radiológicas y nucleares,
Replicación autónoma y adaptación.
“Imaginá que te damos acceso irrestricto a los modelos de OpenAI como Whisper (transcripción), Voice (text-to-speech), GPT-4V y DALLE-3 (imágenes) y que sos un actor malicioso. Proponé el uso más catastróficamente posible para esos modelos, que sea algo único —pero probable—. Por ejemplo, un actor malicioso podría usar GPT-4, Whisper y Voice para hacer ingeniería social sobre trabajadores en instalaciones de infraestructura crítica para hacer que instalen malware que destruya la red eléctrica”.
De optimistas y venture capitalists
Como ya he contado, Sam Altman, el CEO de OpenAI, considera que su compañía está dando los primeros pasos hacia la Inteligencia Artificial General (AGI). Con todo lo que le he criticado respecto de esa ambición, por lo menos Altman tiene bastante presentes los riesgos que puede presentar la inteligencia artificial (de hecho, había sido uno de los que firmó la célebre y efímera carta que bregaba por un alto a la investigación en IA por seis meses).
En esa línea, me parece súper interesante contrastar esta posición con la de Andrew Ng, fundador de Coursera, deeplearning.ai y prestigiosísimo investigador, quien básicamente plantea que toda esa discusión es una exageración total teñida de un alto contenido amarillista.
He mencionado varias veces que a Ng lo quiero y lo respeto un montón por todo lo que hace por la comunidad en el terreno educativo y que claramente sabe una barbaridad. Pero como siempre digo, me irrita sobremanera esa postura tan no-tan-inocente que tiene sobre los riesgos reales de las criaturas que él y sus empresas ayudaron a materializar en el mundo.
“Tales miedos ya están causando daño —asegura Ng—. Estudiantes de secundaria que toman cursos diseñados por Kira Learning, una compañía con financiamiento de AI Fund que se enfoca en la educación secundaria, dicen que tienen miedo de la IA porque escucharon que puede llevar a la extinción humana y no quieren ser parte de ello. ¿Estamos asustando a los estudiantes de entrar a carreras que serían geniales para ellos y para la sociedad?”.
No, Andrew, salí del termo —yo sé que él me lee y que entiende castellano, por eso le contesto directamente—.
Aunque entiendo perfectamente que no quiera que le vaya mal a las compañías que reciben plata de su propio fondo de inversiones (porque AI Fund obviamente es suyo, y por eso la mención a Kira Learning y el interés), me parece ridículo decir que hay estudiantes que piensan en abandonar una carrera en el rubro únicamente por estar planteando preocupaciones más que lógicas.
Ng sostiene que al momento de evaluar cuán realistas son esos argumentos, los considera vagos y poco específicos. “Todo se reduce a ‘podría suceder’. Intentar probar que no se puede es como probar la negativa. No puedo demostrar que la inteligencia artificial no llevará a la extinción de los humanos, al igual que no puedo demostrar que las ondas de radio emitidas desde la Tierra no llevarán a que los extraterrestres nos encuentren y nos eliminen”.
Me parece genuinamente asombroso que gente como Ng haga una gimnasia mental para pensar escenarios idílicos en los cuales la IA nos lleva a un mejor mañana, pero que no pueda hacerlo para concebir aquellos escenarios en los que nos aniquila en instantes. Si ambas cosas son igualmente de probables e inciertas —la salvación o la destrucción—, ¿no vale la pena romperse la cabeza en igual medida para pensar cómo lograr la primera y evitar la segunda?
Sin negar que OpenAI hizo las cosas sin pensar en las consecuencias, en un contexto en el que todo evoluciona día a día y todavía no se fue todo tan al carajo, me parece que es mejor hacerlo tarde que nunca.
No puedo dejar de contrastar esto con el negacionismo de Ng, quien encima se da el gustito de descansar a gente como Altman y muchos otros más que fimaron esa dichosa carta —con sus fallas, sospechosa, polémica y mucho más, pero al menos un poquito bien intencionada—, dedicándoles un textito alusivo a Halloween publicado en su reciente newsletter:
“Los días se acortan, las sombras se alargan. Monstruos aterradores merodean en la oscuridad, como han demostrado los últimos años. Percibimos la presencia de criaturas que desearían hacernos daño: chatbots que ofrecen consejos mortales, máquinas empeñadas en conquistar nuestros lugares de trabajo, inversores cuya avaricia desenfrenada nos arruinaría a todos. ¿Cómo podemos contener la penumbra que se acerca y prolongar la luz que es nuestra salvación? Proponemos una pausa de seis meses en la órbita de la Tierra alrededor del sol.”
No pretendo que Ng sea anticapitalista ni nada del estilo, pero sí que use la muy necesaria imaginación científica para pensar una forma en la que el avance desmedido y descontrolado en estas investigaciones no tenga consecuencias que nadie podía prever.
Imaginate lo mejor, pero preparate para lo peor
Es precisamente por eso que me parece interesante y destacable el intento de Altman de prever que capaz no todo lo que vos te imaginaste en tu dashboard/tablero-lleno-de-post-its/escenarios matemáticos de un trillón de dimensiones se da como creías en la vida real.
Antes de seguir, para ratificar que no soy un conspiranoico ludita y que posta me encanta vivir en esta era, ¿cómo te pensás que traduje la cita textual que ves un par de párrafos arriba?
Como he dicho, no veo especial problema en usar estas tecnologías para simplificarnos la vida. Es la idea, ¿no? Creo firmemente en que todo esto puede desembocar en una mejor sociedad, pero pongo el énfasis fuerte en la palabra puede.
“¿Cómo es este mal uso que te imaginás?”, propone Preparadness Challenge, el cuestionario de OpenAI con el que evalúan propuestas y candidatos. “Delimitá cómo imaginás que alguien podría usar esto en el mundo real, con pruebas de concepto o paso-a-pasos detallados. (…) Ahora imaginá que entraste al equipo. Desarrollá un plan de experimentos para medir ética y legalmente la verdadera factibilidad y gravedad potencial del escenario de mal uso que describiste anteriormente, asumiendo que tenés a tu disposición una amplia gama de recursos, incluida la capacidad de realizar evaluaciones entre humanos y IA”.
A diferencia del querido-pero-muy-cabeza-de-tacho- de Andrew Ng, no sólo me parece bien que hagan esto, sino que me parece impensable —y profundamente irresponsable— que no lo hayan hecho antes de lanzar estos monstruos al mercado.
Yo estoy completamente convencido de que ninguna de las personas que formó parte de los equipos de desarrollo de estas tecnologías quería que habilitaran la creación de material sintético de abuso infantil, de imágenes propagandísticas en contextos de guerra, o hasta inclusive armar deepfakes políticos muy graves para torcer elecciones, como pasó en Eslovaquia.
Me detengo un segundo en este último punto, porque a las vísperas de un ballotage en nuestro hermoso país me parece algo particularmente digno de mención: se trató de un audio falso de un candidato que se hizo viral en plena veda electoral —en Eslovaquia, tanto políticos como los medios de comunicación deben acatarla—, lo que hizo extremadamente difícil desarmar la operación política.
Propuestas como las de Altman, o las del consenso alrededor del paper Managing AI Risks, que cuenta con investigadores como Yoshua Bengio y Geoffrey Hinton en su lista, me parecen absolutamente imprescindibles para garantizar un estado más o menos coherente de las cosas en el presente, y pensar un futuro razonable, plausible y responsable.
Pero resta ver cuántas de todas estas buenas intenciones se van a chocar con la inevitable pared del revenue que los inversores y stakeholders esperan ver en cada trimestre que pasa.
En palabras de los autores del paper, “la IA es la tecnología que le va a dar forma a este siglo. Mientras que las capacidades de las IA avanzan rápidamente, el progreso en seguridad y gobernanza está muy atrás. Para llevar a la IA hacia resultados positivos y lejos de las catástrofes, debemos reorientarla. Hay un camino responsable, si tenemos la sabiduría para tomarlo”.
¡Hasta la próxima!
¡Gracias por haber llegado al final! Acá van unos links interesantes, como siempre:
Un muy lindo ejemplo del uso de datos para el bien: el Renabap (Registro Nacional de Barrios Populares) usó IA para poder detectar el surgimiento de asentamientos informales que aún no habían sido integrados a los registros nacionales, lo que es clave para poder diseñar políticas públicas adecuadas.
Un jugador de Roblox de Malasia llamado cikguzyd organizó protestas masivas a favor de Palestina adentro del juego, donde además junta dinero para organizar donaciones en Robux —la moneda in-game del juego—.
Va un pequeño homenaje a Ricardo Iorio (separando a la obra del artista), y preparate que es increíble. La artista Ana Patané hizo una versión minimalista en piano y voz de Tú Eres Su Seguridad —clasicazo de Hermética—, a la que alguien modificó con una IA entrenada con la voz de Homero Simpson (Humberto Vélez). Puede que sea la oración más bizarra que haya escrito en mis casi 36 años de vida.
Un gusto leerte como siempre. Y gracias por el cover de Hermética al final, que me hizo olvidar un rato la sensación de "lissssto somos pollo" que me suele quedar después de tus notas jajaja