Cinco desafíos para el futuro (que tenemos en el presente)
Leé hasta el final para ver un stand-up hecho enteramente por bots
Andrew Ng —pronúnciese enshí— es uno de los popes de la industria del machine learning y con justa razón.
Este buen hombre es (entre otras cosas) el creador de Coursera y fundador de DeepLearning.ai, empresas dedicadas a la enseñanza de contenido vinculado al mundo de datos: muchxs desarrolladores (por supuesto que yo incluído) le debemos casi que nuestra carrera entera.
Además de eso, es un gran divulgador de la disciplina: por eso, en su sitio convocó a cinco referentes de la industria para que dieran su opinión sobre los desafíos para el mundo de datos + algoritmos en 2023.
Sin dudas, este va a pasar a la historia como el año en que la sociedad entera tuvo acceso a productos-con-IA a una escala completamente nueva, y si me apurás, también el inicio de una nueva revolución industrial.
Por eso me pareció interesante hacer un resumen con las ideas más interesantes de lo que hablaron quienes están en la vanguardia científico-tecnológica, y sumar mi granito de arena a la discusión.
Yoshua Bengio: Modelos que razonan y personas que no deciden
Profesor de Ciencia Computacional en la Universidad de Montreal y director científico de Mila - Quebec AI Institute. Ganador del Premio Turing 2018
En resumen…
Bengio hace foco en lo necesario del trabajo colaborativo con neurocientíficxs, semiólogxs y demás ciencias orientadas a lo cognitivo para intentar salvar la brecha entre el razonamiento que puede hacer un humano y el que puede hacer una IA, generando algoritmos que puedan razonar e interpretar cosas desde una perspectiva parecida a la nuestra.
“Los seres humanos pueden seleccionar los pedazos apropiados de conocimiento y pegarlos para generar una explicación, respuesta o plan relevante (...) y las técnicas actuales de IA no se acercan a esta capacidad humana. Frecuentemente tienen mucha confianza en que su decisión es la correcta, incluso cuando no lo es.”
Pero…
¿De qué sirve tanto razonar si hay respuestas que ya tenemos y no les damos pelota? No podemos decir que, por ejemplo, no sabemos por qué ocurre el cambio climático.
De nada sirve ser data-driven si no hay voluntad política de ejercer los cambios que ya sabemos que tenemos que hacer.
Quiero agregar que Bengio es una persona que respeto un montón: junto a Ian Goodfellow es autor de un clásico para aprender Deep Learning e hizo un montón de aportes para generar conciencia sobre el cambio climático, como el proyecto This Climate Does Not Exist (TCDNE), que refleja sus consecuencias en grandes ciudades mediante un filtro en Google Maps que simula inundaciones, o la librería Codecarbon que mide el gasto energético en el entrenamiento de modelos de ML.
Pero justamente por eso de él pido más: para empezar, TCDNE está caído hace años, y la documentación y ejemplos de Codecarbon1 son un gran te-la-debo.
Alon Halevy: Todo está guardado en la memoria
Director de la rama Reality Labs Research en Meta
En resumen…
Halevy habla sobre los desafíos de usar los datos que generamos en nuestra vida cotidiana (desde las redes sociales hasta apps de todo tipo, como bancos, salud, etc.) para crear un timeline personal, con el cual llevar un registro de la propia vida, y con eso poder generar impactos concretos en el bienestar individual.
“Inspirándonos en el campo de la psicología positiva, todxs podemos florecer creando experiencias positivas para nosotrxs mismxs y adoptar mejores hábitos. Un agente de IA con acceso a nuestras experiencias previas y objetivos puede darnos recordatorios oportunos y sugerencias de qué hacer o evitar.”
Pero…
¿Cómo puede una IA contemplar la totalidad de lo que hace a una vida humana y sugerirte qué hacer y qué no?
Más allá de los desafíos técnicos sobre cómo cruzar esos datos de una forma consciente y que respete lineamientos mínimos sobre privacidad y ética (buena suerte con eso), es complejo entender y asumir cómo afectan esta clase de “muletas tecnológicas” a la salud psíquica y emocional de las personas.
Si ya de por sí nuestra memoria se vio afectada por las nuevas tecnologías (¿te acordás cuando memorizábamos números de teléfono?), los alcances de esta clase de desarrollos son directamente imposibles de anticipar.
Douwe Kiela: El saber no ocupa lugar (porque no se lo ve)
Profesor de Sistemas Simbólicos en la Universidad de Stanford2. Ex jefe de investigación en Hugging Face3 e investigador en Facebook AI
En resumen…
Kiela advierte que hay que ir más allá del asombro que generan cosas como Stable Diffusion y ChatGPT y tener un alto grado de responsabilidad con estos modelos de lenguaje (large language models, LLM), que tienen la apariencia de tener significado, así como lenguajes e interacciones con un nivel de antropomorfización bastante alto.
“La IA moderna carece de un entendimiento lo suficientemente profundo de nuestro mundo humano, complejo y multimodal, y carece de lo que los filósofos llaman ‘psicología popular’, que es la capacidad de explicar y predecir la conducta y los estados mentales de otras personas. Es imprescindible educar al público en los límites, posibilidades y capacidades de estas tecnologías.”
Pero…
Si tanto hay que hacer para divulgar, ¿por qué no empezar por casa? En la declaración entera, Kiela menciona otras cosas con las que estoy muy de acuerdo y por lo que veo todo lo que hace en Stanford me voló la cabeza…
… o eso creo, porque de encontrar una publicación de lo que hacen, de cómo construyen el marco teórico y de los desarrollos producidos a partir de tener tamañas preguntas y claridad mental, ni noticia.
La academia tiene que encontrar formas de bajar del peldaño y empezar a acercarse al mundo, que no deja de ser tanto su objeto de estudio como una parte de ella.
Been Kim: Mejor pedir perdón que permiso
Investigadora y científica en Google Brain
En resumen…
Kim plantea que no debería ponerse la mirada en el para adelante sino en el para adentro, y ubicar a la IA en sí misma al centro de la investigación científica. La ciencia tiene que poner el foco en cómo interpretamos el mundo, y de esa forma, retroalimentarse positivamente con la ingeniería que crea las herramientas con las cuales intervenimos sobre este.
“Perseguir la ciencia no implica dejar la ingeniería. La ciencia nos permite construir mejores herramientas bajo los mejores principios y conocimientos, y la ingeniería lleva a la ciencia a ser más práctica. Me entusiasma generar un mejor diálogo que permita mejores colaboraciones y complemente los talentos de humanos y máquinas.”
Pero…
¿Por qué empresas como Google largan desarrollos al mundo que no pueden interpretar, sólo para “que no se les pase el tren”?
Me parece hermosa —y casi poética— la idea de pensar a los artefactos generados por la IA (modelos entrenados, algoritmos, configuraciones, etc.) como un otro con el cual construir conocimiento, pero me parece que en vez de alimentar una suerte de “guerra de los chatbots”, estas empresas deberían no obsesionarse tanto con la relación entre la ciencia y la ingeniería sino agregarle un propósito humano a los desarrollos que hacen.
Reza Zadeh: Retroalimentando el saber (y el chamuyo)
Fundador y CEO de Matroid, compañía de Computer Vision
En resumen…
Zadeh plantea que la explosión de la IA generativa va a traer progresos significativos en la rama del Active Learning, que permite que los modelos generen sus propios ejemplos de entrenamiento y sean supervisados por una persona.
“El active learning puede revolucionar el ML entero, porque permite que los sistemas evolucionen con el tiempo. En vez de quedarse con un set fijo de datos etiquetados, el sistema busca activamente nueva información y ejemplos para entender mejor el problema que quiere resolver.”
Pero…
Como sabemos gracias a ChatGPT —como mostré en el experimento del newsletter pasado, es un modelo capaz de resumir libros que no existen—, estos algoritmos arrojan resultados a veces cuestionables con una seguridad extrema de lo que están diciendo. Si el contenido generado por esa IA no es enviado a supervisión (o inclusive si lo envían), toda esa sarasa entra derecho al set de entrenamiento, retroalimentándose de su propia porquería inventada4.
Y esto es sin entrar en el problema del copyright en la IA generativa: si bien ahora Estados Unidos decidió que los outputs (resultados) de estos modelos no pueden estar sujetos a propiedad privada, no soluciona el tema de los datos de entrenamiento.
¡Hasta la próxima!
¡Gracias por haber llegado hasta acá! Esta edición fue bastante pesada, así que vamos con links y cosas muy tranquis para descontracturar.
Un clásico de Los Simpsons es el sketch de las hamburguejas al vapor (steamed hams en inglés), que fue ampliamente memeado por la comunidad simpsoniana. A la larga lista de recreaciones se suma una hecha por IA que genera variaciones infinitas en distintos estilos y podés verlo acá.
Que la evolución de la tecnología genera nuevos rubros laborales lo sabía, pero esta sí que no la vi venir:
Los stand-ups son esencialmente gente hablando sobre cosas, lo que hace al género un candidato obvio para que lo aprovechen modelos de lenguaje. En este caso, Netflix preparó un especial escrito íntegramente por un modelo que incorporó 40.000 horas de comediantes como datos de entrenamiento. El resultado es… extraño. Acá tenés el link, ¡ideal para el sábado a la noche!
Si sos developer y tenés ganas de que haga un workshop con esto, ¡hacémelo saber! 😁
Vale mencionar que Stanford es absolutamente pionera en el desarrollo de NLP (Procesamiento de Lenguaje Natural).
Compañía estadounidense que desarrolla herramientas para armar modelos de ML, entre ellos, la librería Transformers (clave para el desarrollo de LLM).
En términos técnicos, es un problema de feedback loop: el output de un modelo entrena a otro (en este caso, el mismo).