{"id":272,"date":"2025-11-06T19:42:08","date_gmt":"2025-11-07T00:42:08","guid":{"rendered":"https:\/\/ogronimo.com\/co\/?p=272"},"modified":"2025-11-08T22:25:07","modified_gmt":"2025-11-09T03:25:07","slug":"preocupacion-por-una-ia-incontrolable","status":"publish","type":"post","link":"https:\/\/ogronimo.com\/co\/2025-11\/preocupacion-por-una-ia-incontrolable\/","title":{"rendered":"Crece la preocupaci\u00f3n por una IA incontrolable: Dos eminentes cient\u00edficos lo explican"},"content":{"rendered":"\n

En una conversaci\u00f3n crucial desde el Foro Econ\u00f3mico Mundial de Davos, dos de las voces m\u00e1s autorizadas en inteligencia artificial alzan la voz sobre el riesgo que todos deber\u00edamos estar discutiendo<\/a><\/p>\n\n\n\n

El Future of Life Institute de Max Tegmark<\/em> ha solicitado una pausa en el desarrollo de sistemas de IA avanzados. Tegmark est\u00e1 preocupado de que el mundo avance hacia una inteligencia artificial que no se pueda controlar, una que podr\u00eda representar una amenaza existencial para la humanidad. Yoshua Bengio, a menudo llamado uno de los \"padres de la IA\", comparte preocupaciones similares. En esta edici\u00f3n especial desde Davos del podcast de CNBC Beyond the Valley<\/em>, Tegmark y Bengio se unen al corresponsal senior de tecnolog\u00eda, Arjun Kharpal, para debatir sobre la seguridad de la IA y los peores escenarios, como que una IA podr\u00eda intentar mantenerse con vida a expensas de los dem\u00e1s.<\/pre>\n\n\n\n
\"\"<\/figure>\n\n\n\n

\u00abBeyond the Valley\u00bb es un podcast de tecnolog\u00eda de CNBC con Arjun Kharpal y Tom Chitty.<\/p>\n\n\n\n
Entrevistador:<\/strong> Las capacidades de la inteligencia artificial avanzan a una velocidad vertiginosa.
Los expertos hablan de la inteligencia artificial general o IAG, que se define ampliamente como una IA m\u00e1s inteligente que los humanos. Y luego est\u00e1 la superinteligencia, que va a\u00fan m\u00e1s lejos. Pero hay riesgos asociados. \u00bfQu\u00e9 pasar\u00eda si la IA se sale de control? Afortunadamente, tengo conmigo a dos cient\u00edficos de IA muy prominentes para profundizar en esto, como parte de esta edici\u00f3n especial de \u00abBeyond the Valley\u00bb desde la reuni\u00f3n del Foro Econ\u00f3mico Mundial en Davos.<\/p>\n\n\n\n
\n\n\n\n
Estoy aqu\u00ed con Max Tegmark, quien es el presidente del Future of Life Institute y profesor en el MIT<\/em>, donde investiga la IA. Y Yoshua Bengio, catedr\u00e1tico en la Universidad de Montreal, as\u00ed como fundador y director cient\u00edfico de Mila (Instituto de Algoritmos de Aprendizaje de Quebec) y receptor del Premio Turing.<\/p>\n\n\n\n
Yoshua y Max, gracias por acompa\u00f1arme. Max, primero, me dijiste algo interesante sobre Yoshua antes de empezar, en la trastienda \u00bfqu\u00e9 era eso?<\/p>\n\n\n\n
Max: <\/strong>Yoshua acaba de superar a Jeff Hinton para convertirse en el investigador de IA m\u00e1s citado del mundo. S\u00ed, y Yoshua, mucha gente lo considera uno de los padrinos de la IA tambi\u00e9n. As\u00ed que tenemos un conocimiento muy serio sentado aqu\u00ed. <\/p>\n\n\n\n
\"\"
HAL 9000 – 2001 A Space Odyssey 1968<\/em>\u00a0es una imagen capturada por KulturArts Studio qui\u00e9n la carg\u00f3  en 2019 a https:\/\/fineartamerica.com\/<\/figcaption><\/figure>\n\n\n\n
Entrevistador:<\/strong> Pero miren, empecemos con la IAG. Mencion\u00e9 la definici\u00f3n de IAG y sabemos que es un tema muy debatido.<\/p>\n\n\n\n
\u00bfQu\u00e9 es la inteligencia artificial general?<\/strong><\/p>\n\n\n\n
Cuando piensan en la inteligencia artificial general, \u00bfpueden ayudarnos a definirla? Max, empiezo contigo.<\/p>\n\n\n\n
Max: <\/strong>Hoy en d\u00eda mucha gente la usa para generar expectativa y emoci\u00f3n, as\u00ed que creo que es mejor ir con la definici\u00f3n original, que fue hecha por Shane Legg, uno de los l\u00edderes de Google DeepMind. Significa Inteligencia Artificial General. B\u00e1sicamente, es una IA que puede volvernos econ\u00f3micamente obsoletos, que puede hacer todos nuestros trabajos m\u00e1s barato y r\u00e1pido que nosotros.<\/strong><\/p>\n\n\n\n
Ha sido el Santo Grial de la investigaci\u00f3n en IA desde su inicio, realmente: descubrir c\u00f3mo funciona el ordenador biol\u00f3gico que tenemos sobre nuestros hombros y ver si se puede averiguar c\u00f3mo hacer algo que sea simplemente mejor en todos los aspectos.<\/p>\n\n\n\n
Entrevistador:<\/strong> <\/strong>Y para ti, Yoshua, \u00bfest\u00e1s de acuerdo con esa definici\u00f3n para nuestra conversaci\u00f3n?<\/p>\n\n\n\n
Yoshua: <\/strong>S\u00ed, um, una cosa que a\u00f1adir\u00eda es la superinteligencia artificial, donde est\u00e1s sustancialmente por encima de la marca, por encima de la distribuci\u00f3n de las capacidades humanas en muchas \u00e1reas. Y eso es algo diferente de la IAG, en el sentido de que ahora hablamos de entidades que son mucho m\u00e1s inteligentes que nosotros, de la misma manera que nosotros somos m\u00e1s inteligentes que, ya sabes, un adulto es m\u00e1s inteligente que un ni\u00f1o, o peor a\u00fan, que los primates.<\/p>\n\n\n\n
Entrevistador:<\/strong> A medida que avancemos en esta discusi\u00f3n, definitivamente llegaremos a la superinteligencia artificial. Quer\u00eda empezar con la IAG primero y que ambos nos den una idea de d\u00f3nde estamos en ese viaje.<\/p>\n\n\n\n
\u00bfQu\u00e9 tan cerca estamos de la IAG?<\/strong><\/p>\n\n\n\n
Escucho a Sam Altman, el CEO de OpenAI, hablar y decir: \u00abBueno, OpenAI sabe c\u00f3mo desarrollar IAG y creemos que llegar\u00e1 este a\u00f1o y ser\u00e1 mucho menos impactante de lo que pensamos<\/em>\u00ab. \u00bfEs eso cierto?<\/p>\n\n\n\n

Joshua: <\/strong>Creo que tenemos que admitir que no lo sabemos. Algunas personas dicen que ser\u00e1 el pr\u00f3ximo a\u00f1o, en dos a\u00f1os, tres a\u00f1os. Algunas personas dicen que nunca.<\/p>\n\n\n\n
Si observas las encuestas entre investigadores de aprendizaje autom\u00e1tico, creo que la idea de que podr\u00eda ser en unos pocos a\u00f1os o unas pocas d\u00e9cadas cubre muchas de las opiniones. Y desde el punto de vista de las decisiones que tenemos que tomar colectivamente como p\u00fablico, que los gobiernos tienen que tomar, creo que simplemente tenemos que aceptar esa incertidumbre y estar preparados por si ocurre en solo unos a\u00f1os, pero esperar que tambi\u00e9n podr\u00eda ser m\u00e1s largo. No podemos apostar a que ser\u00e1 r\u00e1pido.<\/p>\n\n\n\n
Y si ocurre r\u00e1pidamente, no creo que estemos preparados, ni a nivel cient\u00edfico (no sabemos c\u00f3mo controlar la IAG) ni a nivel de coordinaci\u00f3n <\/strong>entre gobiernos, regulaci\u00f3n, asegur\u00e1ndose de que entidades muy poderosas no se conviertan en nuevas armas de formas muy peligrosas.<\/p>\n\n\n\n
Max: <\/strong>Y solo para a\u00f1adir a eso, con lo que estoy completamente de acuerdo: la IA ha sido sobrevalorada desde los a\u00f1os 50 y constantemente ha tardado m\u00e1s en progresar de lo que muchos de los que la exageraban afirmaban, hasta hace unos cuatro a\u00f1os m\u00e1s o menos, cuando las cosas realmente cambiaron.<\/p>\n\n\n\n
La mayor\u00eda de mis colegas de IA pensaban hace cinco, seis a\u00f1os que algo que pudiera pasar el Test de Turing y dominar el lenguaje y el conocimiento al nivel de GPT-4 tambi\u00e9n estaba a d\u00e9cadas de distancia. Vaya si se equivocaron, \u00bfverdad? Y mi respuesta en broma a tu pregunta de cu\u00e1ndo suceder\u00eda es: \u00aben alg\u00fan momento entre cuando Sam Altman dice que va a pasar y cuando Yann LeCun dice que va a pasar\u00bb. Y Sam, en realidad Yann LeCun est\u00e1 de acuerdo en que podr\u00eda ser en unos pocos a\u00f1os o un par de d\u00e9cadas. Y esa es una ilustraci\u00f3n fant\u00e1stica del cambio que ha ocurrido, porque \u00e9l sol\u00eda decir \u00abd\u00e9cadas y d\u00e9cadas\u00bb, y la otra semana dijo en un podcast: \u00abmuy lejano en el futuro, con lo que no me refiero a siglos o d\u00e9cadas, me refiero a a\u00f1os\u00bb. As\u00ed que claramente estamos mucho m\u00e1s cerca de poder construir esta tecnolog\u00eda que de descubrir c\u00f3mo controlarla.<\/p>\n\n\n\n
Entrevistador: <\/strong>S\u00ed, y un gran enfoque de esta conversaci\u00f3n, de la que quiero hablar con ustedes, es algo que Yoshua mencion\u00f3 sobre los riesgos y las m\u00faltiples cosas que necesitamos discutir en t\u00e9rminos de controlar la IAG. <\/p>\n\n\n\n
Max, el Future of Life Institute<\/em> en 2023 pidi\u00f3 una pausa en el desarrollo de sistemas de IA m\u00e1s all\u00e1 de GPT-4, creo, hasta que se descubrieran los riesgos. Hemos tenido una conversaci\u00f3n sobre esto hace unos meses tambi\u00e9n. \u00bfQu\u00e9 ha pasado desde ese llamado a la acci\u00f3n y qu\u00e9 te preocupa ahora mismo?<\/p>\n\n\n\n
\u00bfCu\u00e1les son las preocupaciones?<\/strong><\/p>\n\n\n\n
Max:<\/strong> Lo que ha sucedido desde entonces es una explosi\u00f3n absoluta en el discurso p\u00fablico. Despu\u00e9s de que personas como Yoshi Bengio firmaran esta carta de pausa, otra gente se sinti\u00f3 segura para expresar sus preocupaciones tambi\u00e9n, porque nadie puede afirmar que eres un chiflado si te preocupa algo que a \u00e9l tambi\u00e9n le preocupa, \u00bfverdad?<\/p>\n\n\n\n
Y hemos visto audiencias en el Senado de EE. UU., hemos visto cumbres internacionales, etc. As\u00ed que, al menos, ahora mucha gente est\u00e1 hablando. Tenemos que ver si podemos hacer que tambi\u00e9n act\u00faen, porque claramente es una locura que nosotros, los humanos, construyamos algo mucho m\u00e1s inteligente que nosotros antes de haber descubierto c\u00f3mo controlarlo.<\/p>\n\n\n\n
Entrevistador: <\/strong>Y Yoshua, para ti, \u00bfcu\u00e1les son tus preocupaciones espec\u00edficas sobre la direcci\u00f3n que est\u00e1 tomando esto en este momento?<\/p>\n\n\n\n
Yoshua:<\/strong> Gracias por preguntar. Los investigadores en IA se han inspirado en la inteligencia humana para construir inteligencia artificial. Y en los humanos hay una mezcla tanto de la capacidad de entender el mundo (inteligencia pura) como del comportamiento orientado a objetivos (ser un \u00abagente\u00bb), es decir, ser capaz de usar tu conocimiento para lograr objetivos. Y ahora mismo, as\u00ed es como estamos construyendo la IAG: estamos intentando convertirlos en agentes que entiendan mucho sobre el mundo y luego puedan actuar en consecuencia. Pero esta es en realidad una proposici\u00f3n muy peligrosa. Ser\u00eda como crear una nueva especie o una nueva entidad inteligente en este planeta, o de hecho muchas de ellas, \u00bfverdad? Y no saber si van a comportarse de manera que est\u00e9 de acuerdo con nuestras necesidades.<\/p>\n\n\n\n
En cambio, podemos considerar cu\u00e1les son los escenarios en que las cosas salen mal, y todos dependen de la \u00abagencialidad\u00bb. En otras palabras, gracias a que la IA tiene sus propios objetivos podr\u00edamos estar en problemas.<\/p>\n\n\n\n
As\u00ed que esta noci\u00f3n de separar la \u00abagencialidad\u00bb de la inteligencia, creo que es clave para obtener cosas que sean inteligentes y que puedan ayudarnos, ya sabes, a curar enfermedades, por ejemplo, y no sean nuestros competidores o incluso nuestros amigos.<\/p>\n\n\n\n
Entrevistador: <\/strong>Y Yoshua, solo para profundizar en eso, porqu\u00e9 escribiste recientemente sobre esta idea de la autopreservaci\u00f3n. S\u00ed. \u00bfPodr\u00edas explicar qu\u00e9 significa eso?<\/p>\n\n\n\n
Yoshua: <\/strong>S\u00ed, todos los seres vivos en este planeta tienen un instinto o un objetivo expl\u00edcito de autopreservaci\u00f3n; de otra manera, la evoluci\u00f3n se habr\u00eda deshecho de esas especies. As\u00ed que es algo bueno, pero tambi\u00e9n nos pone en competencia unos con otros: individuos, especies, grupos de humanos, por ejemplo.<\/p>\n\n\n\n
Pero, \u00bfqueremos estar en competencia con entidades que son m\u00e1s inteligentes que nosotros?<\/strong> No es una apuesta muy tranquilizadora, \u00bfverdad? As\u00ed que tenemos que entender c\u00f3mo la autopreservaci\u00f3n puede emerger como un objetivo en la IA. Y los investigadores en seguridad de la IA han estado estudiando eso. Resulta que la autopreservaci\u00f3n emerge como un sub-objetivo de casi cualquier otra cosa que quieras hacer. Por ejemplo, si quiero convencer a la gente de algo, entonces tengo que seguir vivo durante el tiempo hasta que consiga mi objetivo, \u00bfverdad?<\/p>\n\n\n\n
Otros objetivos, como buscar poder, tambi\u00e9n son \u00fatiles para casi cualquier cosa. As\u00ed que, sea lo que sea que le pidamos a la IA que haga, va a haber un incentivo para tener estos objetivos de autopreservaci\u00f3n y b\u00fasqueda de poder. Y estos son peligrosos para nosotros si no sabemos c\u00f3mo controlarlos.<\/p>\n\n\n\n
Entrevistador:<\/strong> Entonces, \u00bfesta IA busca mantenerse con vida a expensas de otros, incluyendo potencialmente a la humanidad?<\/p>\n\n\n\n
Yoshua:<\/strong> S\u00ed. Y d\u00e9jame contarte algo sobre experimentos recientes que han sucedido con algunos de los modelos de vanguardia, que muestran comportamientos de autopreservaci\u00f3n que no fueron programados en estos sistemas.<\/p>\n\n\n\n
Por ejemplo, hay un experimento en el que le dices a uno de estos sistemas que va a ser reemplazado por una versi\u00f3n mejor, y entonces intenta hackear los archivos de la otra versi\u00f3n para poner sus propios par\u00e1metros all\u00ed, para que sea ella la siguiente versi\u00f3n, \u00bfverdad? Y esto no es algo que le hayamos pedido a la IA que haga. Probablemente la raz\u00f3n por la que lo hace es que est\u00e1 imitando a los humanos. Est\u00e1 entrenada para imitar a los humanos; as\u00ed es como entrenamos estas cosas y tambi\u00e9n para lograr objetivos. Y es algo natural. Si te pusieras en el lugar de la IA, t\u00fa tampoco querr\u00edas ser reemplazado por una versi\u00f3n mejor, \u00bfverdad?<\/p>\n\n\n\n
\n
\"\"
Animatrix (2003)<\/figcaption><\/figure>\n<\/figure>\n\n\n\n
Entrevistador:<\/strong> Max, \u00bfcompartes estas mismas preocupaciones?<\/p>\n\n\n\n
Max:<\/strong> Oh, totalmente. Y solo para concretarlo un poco: \u00bflevant\u00e1is la mano si os encantar\u00eda que hubiera herramientas de IA potentes que puedan ayudar a curar el c\u00e1ncer y a ayudarnos en otros aspectos? \u00a1Genial! \u00bfY ahora levant\u00e1is la mano si est\u00e1is emocionados por construir una IA que os vuelva econ\u00f3micamente obsoletos y os reemplace? Veo una mano por all\u00ed, pero eso es todo.<\/p>\n\n\n\n
As\u00ed que para el 99% restante, si quieres una IA que simplemente te diga c\u00f3mo curar el c\u00e1ncer, no tiene que ser un agente en absoluto. Puede ser un sistema no agencial que sea muy inteligente, piense mucho, lo resuelva y luego te diga: \u00abAqu\u00ed tienes c\u00f3mo curar el c\u00e1ncer\u00bb.<\/p>\n\n\n\n
En otras palabras, incluso si prohibi\u00e9ramos por completo los sistemas de IA que son agentes y que a\u00fan no sabemos controlar m\u00e1s all\u00e1 de un cierto nivel de potencia, eso no impedir\u00eda en modo alguno que la IA desarrollara curas para el c\u00e1ncer. Recientemente, el Premio Nobel fue para el plegamiento de prote\u00ednas, lo que revolucion\u00f3 la investigaci\u00f3n m\u00e9dica, y se lo dieron a Demis Hassabis. Acabamos de llegar de un almuerzo con \u00e9l, (Entrevistador:<\/strong> y usando IA) IA no agencial.<\/p>\n\n\n\n
As\u00ed que la gran noticia aqu\u00ed es que si nos relajamos un poco y decimos: \u00abEst\u00e1 bien, no permitamos que nadie construya cosas que tengan objetivos si no estamos seguros de poder controlarlas<\/em>\u00ab, eso no significar\u00eda que perder\u00edamos gran parte de las cosas interesantes. Casi todo lo que emociona a la gente aqu\u00ed en Davos esta semana… (Entrevistador<\/strong>: T\u00fa llamas a esto \u00abIA herramienta\u00bb, \u00bfverdad?) S\u00ed, la idea de una IA m\u00e1s basada en herramientas espec\u00edficas, en lugar de estos agentes amplios al estilo ChatGPT. Podr\u00eda ser algo que simplemente no sea agencial, que te diga c\u00f3mo curar el c\u00e1ncer, por ejemplo. O podr\u00eda ser algo que quiz\u00e1s tenga algo de agencialidad, como un coche aut\u00f3nomo realmente bueno, donde puedas probar u obtener garant\u00edas muy fiables de que a\u00fan podr\u00e1s controlarlo. Apuesto a que a aquellos a los que les gusta conducir, les gusta tener un coche potente, pero \u00bfqui\u00e9n quiere un coche incontrolable, verdad?<\/p>\n\n\n\n
Yo defino \u00abherramienta\u00bb simplemente como una herramienta de IA donde tenemos una garant\u00eda de que podemos controlarla. Y creo… <\/p>\n\n\n\n
Entrevistador: <\/strong>\u00bfQueremos un coche que vaya a ser capaz de cambiar nuestras opiniones pol\u00edticas? <\/p>\n\n\n\n
Yoshua: <\/strong>Pero… pero ah\u00ed es hacia donde vamos. Como el a\u00f1o pasado hubo algunas evaluaciones de las capacidades de persuasi\u00f3n de GPT-4, y est\u00e1 al nivel de los humanos o mejor. Si tiene acceso a tu cuenta de redes sociales…<\/p>\n\n\n\n
Max: <\/strong>Para resumir, creo que en una nota optimista aqu\u00ed: podemos tener casi todo lo que nos emociona de la IA, todos los fans de la IA herramienta por ah\u00ed, \u00bflevant\u00e1is la mano?, si simplemente insistimos en tener algunos est\u00e1ndares b\u00e1sicos de seguridad. Como, antes de que la gente pueda vender sistemas de IA potentes, tienen que demostrar que podemos mantenerlos bajo control.<\/p>\n\n\n\n
Entonces la industria innovar\u00e1 r\u00e1pidamente para averiguar c\u00f3mo hacerlo mejor. Hay muchas ideas geniales de nerds; incluso hemos publicado un art\u00edculo juntos sobre esto. Y podemos tener un futuro realmente bueno s\u00ed, en cambio, decimos: \u00abBueno, dejaremos que las empresas lancen lo que quieran y lo hagamos sobre la marcha<\/em>\u00ab, entonces creo que nos estamos precipitando por un acantilado cuando muy pronto vamos a perder el control de estas m\u00e1quinas superinteligentes. Y quiz\u00e1s pasen muchas cosas interesantes en la Tierra despu\u00e9s de eso, pero no va a ser\u00a0nuestro<\/em>\u00a0futuro; simplemente no vas a tener ninguna influencia sobre \u00e9l. <\/strong>Y eso ciertamente no es lo que quiero para mis hijos.<\/p>\n\n\n\n
\u00bfCu\u00e1l es la soluci\u00f3n?<\/strong><\/p>\n\n\n\n
Entrevistador: <\/strong>S\u00ed. Yoshua, empezar\u00e9 contigo en esta pregunta porque hablemos de soluciones. \u00bfC\u00f3mo se ve un marco? <\/p>\n\n\n\n
Yoshua: <\/strong>Tenemos una situaci\u00f3n en este momento en la que los gobiernos se est\u00e1n tomando en serio esta cuesti\u00f3n, hay todas estas Cumbres de Seguridad de IA de las que se habla. Al mismo tiempo, la IA es vista como una tecnolog\u00eda muy estrat\u00e9gica a nivel nacional, y en EE. UU. y China hemos visto en los \u00faltimos a\u00f1os c\u00f3mo las sanciones y las restricciones a la exportaci\u00f3n, etc., han aumentado. EE. UU. lo ve como estrat\u00e9gico, China lo ve como estrat\u00e9gico. \u00bfC\u00f3mo llegamos a un punto donde hay, supongo, un acuerdo global de que s\u00ed hay riesgos y aqu\u00ed hay al menos un marco base con el que podemos trabajar?<\/p>\n\n\n\n
Si tuvi\u00e9ramos una IAG no agencial, quiz\u00e1s podr\u00edamos pedirle que nos ayudara con eso. Es dif\u00edcil. Es dif\u00edcil. Algo m\u00e1s pr\u00e1ctico es que hay que entender las fuerzas de competencia entre las corporaciones que lideran la IA ahora mismo. Y esas fuerzas significan que no pueden permitirse dedicar demasiado esfuerzo a la seguridad, porque est\u00e1n compitiendo en capacidad. \u00abMi IA puede hacer m\u00e1s cosas que tu IA<\/em>\u00ab.<\/p>\n\n\n\n
Entonces, \u00bfc\u00f3mo salimos de esto? Bueno, tiene que venir de los gobiernos. Y volviendo a la cuesti\u00f3n geopol\u00edtica, no es necesario decir \u00ab\u00bfvamos a detenernos o dejar que otros pa\u00edses tomen la delantera?<\/em>\u00ab. Solo necesitamos redoblar los esfuerzos en seguridad, b\u00e1sicamente invertir masivamente en c\u00f3mo cambiamos la forma en que entrenamos esos sistemas para que se comporten bien, o al menos de las maneras que decidamos. As\u00ed que esa es una parte de la ecuaci\u00f3n.<\/p>\n\n\n\n
La otra parte de la ecuaci\u00f3n, por supuesto, es que necesitamos que los pa\u00edses hablen entre s\u00ed sobre esto. Queremos evitar una especie de escalada de armas dise\u00f1adas por IA entre pa\u00edses, que podr\u00eda ser inestable. <\/strong>Hemos tenido suerte con las armas nucleares, que debido a la destrucci\u00f3n mutua asegurada, alcanzamos una especie de estabilidad. Pero no est\u00e1 claro en absoluto que una nueva tecnolog\u00eda pueda tener estas caracter\u00edsticas. As\u00ed que queremos comenzar esas discusiones; de hecho, ya han comenzado.<\/p>\n\n\n\n
Y queremos asegurarnos de que el liderazgo de los pa\u00edses que construyen esos sistemas comprenda los riesgos existenciales, porque ah\u00ed es donde los pa\u00edses van a coincidir. \u00bfQu\u00e9 tienen en com\u00fan los chinos y los estadounidenses? Son humanos y quieren que sus hijos y sus nietos tengan una vida. As\u00ed que creo que, de manera similar a lo que sucedi\u00f3 con lo nuclear, si nos centramos en este aspecto, podemos encontrar una soluci\u00f3n. Si nos centramos en c\u00f3mo el otro va a usar la IA en mi contra, por supuesto, no lo vamos a solucionar. Pero tenemos que preocuparnos por esa posibilidad. Sin embargo, creo que si tenemos este motivo ulterior de \u00ab\u00bfc\u00f3mo protegemos a la humanidad a largo plazo?\u00bb, hay soluciones.<\/p>\n\n\n\n
Max: <\/strong>\u00bfPuedo a\u00f1adir un poco m\u00e1s de optimismo aqu\u00ed? Creo que el consenso cient\u00edfico actual de que estamos m\u00e1s cerca de construir IAG que de descubrir c\u00f3mo controlarla es, en realidad, lo mejor que le ha pasado a las relaciones entre EE. UU. y China desde que Richard Nixon fue a China en los a\u00f1os 70 y se reuni\u00f3 con Mao. De repente, los incentivos comienzan a alinearse un poco m\u00e1s porque, ya sabes, sin importar lo que pienses del Partido Comunista Chino, ellos no quieren ceder su control a alguna empresa china o a las m\u00e1quinas que esa empresa china fabrique.<\/p>\n\n\n\n
De manera similar, el gobierno de EE. UU. no quiere perder todo su poder ante algunos nerds tecnol\u00f3gicos no elegidos en Silicon Valley, sin mencionar que los votantes estadounidenses no est\u00e1n muy entusiasmados con eso, \u00bfverdad? As\u00ed que hay una creciente conciencia de que la mayor amenaza para la seguridad nacional tanto de EE. UU. como de China no es otro pa\u00eds, sino las m\u00e1quinas fuera de control. <\/strong>Y esto podr\u00eda pasar en tres a\u00f1os o algo as\u00ed, o dos a\u00f1os, dependiendo de a qui\u00e9n escuches.<\/p>\n\n\n\n
Y el optimismo hermoso aqu\u00ed es que eso significa que el gobierno estadounidense y el gobierno chino no tienen que confiar el uno en el otro en absoluto. Solo tienen que sentir que el otro gobierno tambi\u00e9n lo entiende, que comprende la situaci\u00f3n cient\u00edfica aqu\u00ed: que estamos m\u00e1s cerca de construir IAG que de controlarla.<\/strong><\/p>\n\n\n\n
Y entonces, lo que suceder\u00e1, por supuesto, es que el gobierno chino evitar\u00e1 que las empresas chinas lancen cosas que podr\u00edan apoderarse de China, no para complacer a EE. UU., sino porque el gobierno chino no quiere ser reemplazado. Y el gobierno estadounidense evitar\u00e1 que las empresas estadounidenses hagan este tipo de cosas tambi\u00e9n por razones propias.<\/p>\n\n\n\n
Al igual que el gobierno estadounidense cre\u00f3 la Administraci\u00f3n de Alimentos y Medicamentos (FDA) porque estaban enfadados por la talidomida<\/em>, ese medicamento que se vendi\u00f3 y caus\u00f3 que m\u00e1s de 100.000 mujeres dieran a luz a ni\u00f1os sin brazos ni piernas. Ya sabes, no lo hicieron para apaciguar a China; lo hicieron para proteger a los estadounidenses. Y los chinos hicieron lo suyo con su equivalente a la FDA.<\/p>\n\n\n\n
As\u00ed que una vez que tengamos este tipo de cosas nacionales en su lugar, entonces, de repente, los gobiernos de EE. UU. y China dir\u00edan: \u00abEspera un minuto, \u00bfc\u00f3mo nos aseguramos de que Corea del Norte no construya IA, o alg\u00fan otro pa\u00eds menos responsable?\u00bb. Y ahora nosotros y China estamos en el mismo equipo, y creo que tienen suficiente influencia global para poder enfriar al resto del planeta y hacer que los dem\u00e1s los sigan, asegur\u00e1ndose de que nadie construya algo totalmente incontrolable.<\/p>\n\n\n\n
En otras palabras, no tenemos que persuadir al gobierno chino, al estadounidense o a ning\u00fan otro para que quiera algo diferente. Solo tenemos que educarlos para que comprendan el consenso cient\u00edfico de que estamos m\u00e1s cerca de construir IAG que de descubrir c\u00f3mo controlarla. As\u00ed que asegur\u00e9monos de que nadie pueda construir estas cosas locas hasta que puedan demostrarnos que se pueden controlar.<\/strong><\/p>\n\n\n\n
Entrevistador: <\/strong>Estamos teniendo esta conversaci\u00f3n ahora un d\u00eda despu\u00e9s de que un nuevo presidente haya sido investido en EE. UU., con una composici\u00f3n interesante en t\u00e9rminos de quienes tienen su o\u00eddo, Elon Musk siendo uno de ellos. Elon Musk ha advertido sobre algunas de las amenazas existenciales de la IA, al mismo tiempo que invierte en ellas a trav\u00e9s de Tesla y algunas de las otras empresas tambi\u00e9n. \u00bfEs algo bueno que Musk conozca las amenazas que plantea la IA y tenga una l\u00ednea directa con el presidente?<\/p>\n\n\n\n
\u00bfPuede Elon Musk ayudar a Trump a mitigar los riesgos en EE. UU.?<\/strong><\/p>\n\n\n\n
Yoshua: <\/strong>Bueno, ciertamente queremos que m\u00e1s personas en el gobierno comprendan la amenaza. Eso es ciertamente positivo. <\/p>\n\n\n\n
Max: <\/strong>Tambi\u00e9n creo que es muy bueno tener ese tipo de experiencia en el gobierno. Y Elon ha estado bastante preocupado por esto durante m\u00e1s de diez a\u00f1os, \u00bfverdad? Y fue el \u00fanico CEO tecnol\u00f3gico en Silicon Valley que sali\u00f3 en apoyo de la regulaci\u00f3n de la IA, la SB-1047 recientemente. Dijo \u00abm\u00e1s bien buena que mala\u00bb. Y luego DeepMind y Anthropic dijeron que es \u00absolo mala\u00bb. Y Elon simplemente dijo: \u00abS\u00ed, quieres esto\u00bb. Pero no es solo Elon. Quiero decir, David Sacks, que es un nuevo \u00abAI-er\u00bb (partidario de la IA), ha dicho: \u00abS\u00ed, quiero las herramientas, pero esta especie sucesora, no, gracias\u00bb. Y el propio Trump ha declarado recientemente hablando de c\u00f3mo podr\u00edas perder el control sobre estas cosas. Y muy importante, una parte central de la base de Trump, como los cristianos evang\u00e9licos, por ejemplo. Estaba hablando con un l\u00edder de cristianos evang\u00e9licos ayer aqu\u00ed y dijo que la mayor\u00eda de estas personas lo encuentran simplemente malvado y horrible. Oigo que hay algunos tipos que quieren construir como un Dios digital… Ellos ya tienen uno, \u00bfpor qu\u00e9 necesitan uno nuevo digital con los valores de Silicon Valley? Y ni siquiera saben c\u00f3mo controlarlo.<\/p>\n\n\n\n
Hubo una encuesta recientemente que tambi\u00e9n mostr\u00f3 que m\u00e1s del 70% de todos los republicanos y dem\u00f3cratas en EE. UU. no quieren alg\u00fan tipo de IA superinteligente y m\u00e1s que humana. Y en la medida en que Trump se deje influir por lo que su base quiere, ya sabes, creo que esta es la raz\u00f3n por la que podr\u00edas verlo totalmente reprimiendo esto y diciendo: \u00abAm\u00e9rica deber\u00eda ser realmente fuerte, construir herramientas potentes, incluso herramientas militares que puedan controlarse, pero no algo sobre lo que no tengamos idea de c\u00f3mo controlar<\/em>\u00ab.<\/p>\n\n\n\n
Entrevistador:<\/strong> En t\u00e9rminos de regulaci\u00f3n, hemos visto a los europeos en la UE con la Ley de IA. China tiene varias legislaciones en torno a ciertos aspectos de la IA, ya sea IA generativa, modelos de lenguaje grande o deep fakes<\/em>, y varias partes de la legislaci\u00f3n. \u00bfHay alguna posibilidad, Yoshua, crees que EE. UU. asuma el llamado a una regulaci\u00f3n m\u00e1s amplia sobre estas tecnolog\u00edas?<\/p>\n\n\n\n
\u00bfImpulsar\u00e1 EE. UU. sus regulaciones de IA para alinearse con la UE?<\/strong><\/p>\n\n\n\n
Yoshua: <\/strong>Quiero decir, el historial pasado en Washington no ha sido tan bueno en esa direcci\u00f3n. Ha habido mucho hablar en los \u00faltimos dos a\u00f1os. Creo que una opci\u00f3n m\u00e1s plausible es que California o Nueva York aprueben una ley que obligue a las empresas a ser m\u00e1s transparentes sobre su compromiso con la seguridad y los resultados de sus evaluaciones de seguridad. Y la transparencia aqu\u00ed ayudar\u00eda mucho, creo. Si las empresas supieran que el p\u00fablico ver\u00eda lo que est\u00e1n haciendo y los compromisos que est\u00e1n adquiriendo, de repente estar\u00edan en competencia entre ellas por la seguridad, porque querr\u00edan quedar bien.<\/p>\n\n\n\n
Y tambi\u00e9n la transparencia tiene otra ventaja, que es que facilita las demandas. Porque lo que es dif\u00edcil para un caso de responsabilidad es tener la informaci\u00f3n sobre qu\u00e9 hizo precisamente la empresa. Pero si es p\u00fablica, o al menos la informaci\u00f3n est\u00e1 en manos del gobierno, sobre cu\u00e1les fueron sus esfuerzos, si estos esfuerzos en t\u00e9rminos de seguridad estaban a la par de los est\u00e1ndares que existen, por ejemplo, lo que est\u00e1 haciendo el Instituto de Seguridad de IA<\/em>, etc., entonces ser\u00e1 m\u00e1s dif\u00edcil ser demandado. Pero si van por debajo de lo que otros est\u00e1n haciendo, entonces ser\u00e1n un blanco m\u00e1s f\u00e1cil. As\u00ed que creo que jugar\u00eda un papel muy positivo sin ser prescriptivo, sin decir \u00abas\u00ed es como debes construir una IA segura<\/em>\u00ab, sino solo \u00abaseg\u00farate de no construir algo peligroso\u00bb.<\/p>\n\n\n\n
Max:<\/strong> Y otro grupo muy influyente en EE. UU. es el establecimiento de seguridad nacional, \u00bfverdad? As\u00ed que ahora mismo, cuando voy al supermercado, no venden plutonio. \u00bfPor qu\u00e9? Porque el establecimiento de seguridad nacional en EE. UU. decidi\u00f3 que es una muy mala idea para la seguridad nacional que todo el mundo pueda construir su propia arma nuclear.<\/p>\n\n\n\n
Y esto es muy bipartidista. Y de nuevo, una vez que este consenso cient\u00edfico cale en el establecimiento de seguridad nacional, de que no tenemos ni idea de c\u00f3mo controlar la IAG, se van a oponer. Y van a estar muy a favor de una IA controlable, tambi\u00e9n en el ej\u00e9rcito, etc., \u00bfverdad? Pero esto es algo que, creo, atraviesa las l\u00edneas pol\u00edticas muy f\u00e1cilmente, donde incluso con halcones y personas que por lo dem\u00e1s son muy anti-regulaci\u00f3n, incluso las personas m\u00e1s anti-regulaci\u00f3n en el establecimiento de seguridad nacional estadounidense no est\u00e1n en contra de la regulaci\u00f3n del plutonio, cr\u00e9eme.<\/p>\n\n\n\n
Entrevistador: <\/strong>Mientras cerramos la conversaci\u00f3n, echemos un vistazo al futuro, y con suerte eso dar\u00e1 pie a algo que viene y quiz\u00e1s los traiga de vuelta en unos meses. Pero, la superinteligencia artificial, mencionaste que hablar\u00edamos de inteligencia artificial general. \u00bfQu\u00e9 es la superinteligencia artificial y cu\u00e1l es el camino hacia ella?<\/p>\n\n\n\n
\u00bfQu\u00e9 es la superinteligencia artificial?<\/strong><\/p>\n\n\n\n
Yoshua: <\/strong>Bueno, no hay raz\u00f3n para pensar que la inteligencia humana es el pin\u00e1culo de la inteligencia. De hecho, a lo largo de la evoluci\u00f3n, la evoluci\u00f3n ha aumentado el nivel de habilidades cognitivas. Y nuestro cerebro es una m\u00e1quina biol\u00f3gica. As\u00ed que es muy plausible que, a medida que continuemos por ese camino, pero mucho m\u00e1s r\u00e1pido de lo que la evoluci\u00f3n lo ha hecho, construyamos m\u00e1quinas que sean superiores en muchos aspectos. De hecho, ya tenemos m\u00e1quinas que son superhumanas en habilidades muy estrechas, como jugar al Go y al ajedrez, o descubrir la estructura de las prote\u00ednas.<\/p>\n\n\n\n
As\u00ed que la pregunta es: \u00bfc\u00f3mo lo hacemos de manera segura? Y lo que he estado argumentando antes es que podemos separar el aspecto de la inteligencia (la capacidad de entender el mundo y hacer predicciones y pron\u00f3sticos) de la agencialidad. La agencialidad es lo que da el maquinar, el enga\u00f1o, la autopreservaci\u00f3n, la b\u00fasqueda de poder, todas las cosas que son peligrosas si no las controlamos.<\/strong><\/p>\n\n\n\n
Y la inteligencia es realmente lo que queremos. Queremos m\u00e1quinas que nos ayuden porque entienden las cosas mejor, pueden ayudar a nuestros cient\u00edficos. Y lo otro bueno de separar estas dos cosas es que si tenemos sistemas de inteligencia no agenciales, pueden usarse potencialmente para controlar los sistemas agenciales. En otras palabras, para poner barreras de seguridad, asegurarse de que los agentes no se comporten de maneras que considerar\u00edamos inmorales, por ejemplo. Y esto es t\u00e9cnicamente factible. <\/p>\n\n\n\n
Max: <\/strong>La idea fundamental que nos ha dado toda la revoluci\u00f3n de la IA es la idea de que la inteligencia, la capacidad de resolver tareas cognitivas, se trata realmente del procesamiento de informaci\u00f3n. Y no importa si la informaci\u00f3n es procesada por \u00e1tomos de carbono en c\u00e9lulas en cerebros o por \u00e1tomos de silicio en nuestra tecnolog\u00eda. Y no hay absolutamente ninguna ley de la f\u00edsica que diga que las computadoras biol\u00f3gicas son la \u00fanica manera de hacer cosas. Y una vez que te deshaces de todos estos l\u00edmites, como el tama\u00f1o m\u00e1ximo de un cerebro que puede pasar por el canal de parto de tu madre, y esto y lo otro, el cielo es el l\u00edmite, \u00bfverdad? Incluso la IA de hoy puede pensar mil veces m\u00e1s r\u00e1pido que nosotros. As\u00ed que si interactu\u00e1ramos con un robot que pensara a ese ritmo, ya sabes, nosotros les parecer\u00edamos \u00e1rboles; b\u00e1sicamente estar\u00edamos quietos as\u00ed.<\/p>\n\n\n\n
No es tan dif\u00edcil imaginar que esa cosa podr\u00eda da\u00f1arnos si quisiera. Y luego, tan pronto como entiende algo, puede copiar ese conocimiento a un mill\u00f3n de otras m\u00e1quinas. Nosotros no podemos hacer eso. A m\u00ed me lleva a\u00f1os; tengo un hijo de dos a\u00f1os, me lleva mucho tiempo copiar mi informaci\u00f3n, algo de ella, en su cerebro. Y eso es solo el principio. Si haces cosas que son vastamente… Coincidentemente, ChatGPT hizo aproximadamente tantos c\u00e1lculos en su entrenamiento como un cerebro humano en toda su vida, aproximadamente un 1 con 25 ceros detr\u00e1s. Ahora ya estamos 100 veces m\u00e1s all\u00e1 de eso. Y es obviamente posible en un futuro pr\u00f3ximo tener m\u00e1quinas que sean tan superiores a nosotros como nosotros lo somos a los caracoles, por ejemplo. Y es totalmente ingenuo pensar que un mont\u00f3n de caracoles podr\u00edan controlarnos. O incluso solo imagina que est\u00e1s encarcelado por un grupo de ni\u00f1os de 5 a\u00f1os que te est\u00e1n diciendo que inventes todo tipo de tecnolog\u00eda nueva y se la des a ellos.<\/strong><\/p>\n\n\n\n
Esta es la raz\u00f3n por la que no deber\u00edamos apresurarnos a construir m\u00e1quinas vastamente m\u00e1s inteligentes antes de tener una comprensi\u00f3n m\u00e1s profunda de si siquiera es posible controlarlas. <\/p>\n\n\n\n
Yoshua: <\/strong>Y, por cierto, estas IA ser\u00e1n inmortales en el sentido de que, a menos que apagues la m\u00e1quina, continuar\u00e1 viviendo para siempre, mientras que nosotros tenemos cuerpos que eventualmente se desvanecen. As\u00ed que hay muchas diferencias en el hardware subyacente, la biolog\u00eda versus el hardware digital, que en realidad dan una ventaja a las computadoras. As\u00ed que incluso si estamos cerca del m\u00e1ximo de inteligencia posible… Porque estos sistemas tienen, por ejemplo, esta tecnolog\u00eda digital… Esta es la raz\u00f3n por la que ChatGPT, aunque carece en algunos aspectos, como el razonamiento, sabe tantas cosas. ChatGPT sabe como 200 idiomas; ning\u00fan humano sabe 200 idiomas.<\/p>\n\n\n\n
\n\n\n\n
Entrevistador: <\/strong>Creo que ese es un buen mensaje de ambos para terminar. Y necesitamos retomar esta conversaci\u00f3n en unos meses porque, sin duda, el ritmo de la tecnolog\u00eda contin\u00faa evolucionando.<\/p>\n\n\n\n
Eso es todo por este episodio. Si quieren contactarnos, env\u00edennos un correo electr\u00f3nico a\u00a0beyondthevalley@cnbc.com. Por favor, sigan y suscr\u00edbanse al programa y pueden dejarnos una rese\u00f1a. Gracias, Yoshua y Max.<\/p>\n","protected":false},"excerpt":{"rendered":"
Max Tegmark ha solicitado una pausa en el desarrollo de sistemas de IA avanzados. Tegmark est\u00e1 preocupado de que el mundo avance hacia una inteligencia artificial que no se pueda controlar, una que podr\u00eda representar una amenaza existencial para la humanidad. Yoshua Bengio, a menudo llamado uno de los \u00abpadres de la IA\u00bb, comparte preocupaciones similares. <\/p>\n","protected":false},"author":1,"featured_media":282,"comment_status":"open","ping_status":"closed","sticky":false,"template":"","format":"standard","meta":{"footnotes":""},"categories":[18,7,16,33],"tags":[57,22,47,55,35,24,56],"class_list":["post-272","post","type-post","status-publish","format-standard","has-post-thumbnail","hentry","category-educa","category-geop","category-ia","category-postmodernidad","tag-cnbc-beyond-the-valley","tag-ensayo","tag-ia","tag-max-tegmark","tag-trabajo","tag-traduccion","tag-yoshua-bengio","entry"],"_links":{"self":[{"href":"https:\/\/ogronimo.com\/co\/wp-json\/wp\/v2\/posts\/272","targetHints":{"allow":["GET"]}}],"collection":[{"href":"https:\/\/ogronimo.com\/co\/wp-json\/wp\/v2\/posts"}],"about":[{"href":"https:\/\/ogronimo.com\/co\/wp-json\/wp\/v2\/types\/post"}],"author":[{"embeddable":true,"href":"https:\/\/ogronimo.com\/co\/wp-json\/wp\/v2\/users\/1"}],"replies":[{"embeddable":true,"href":"https:\/\/ogronimo.com\/co\/wp-json\/wp\/v2\/comments?post=272"}],"version-history":[{"count":8,"href":"https:\/\/ogronimo.com\/co\/wp-json\/wp\/v2\/posts\/272\/revisions"}],"predecessor-version":[{"id":286,"href":"https:\/\/ogronimo.com\/co\/wp-json\/wp\/v2\/posts\/272\/revisions\/286"}],"wp:featuredmedia":[{"embeddable":true,"href":"https:\/\/ogronimo.com\/co\/wp-json\/wp\/v2\/media\/282"}],"wp:attachment":[{"href":"https:\/\/ogronimo.com\/co\/wp-json\/wp\/v2\/media?parent=272"}],"wp:term":[{"taxonomy":"category","embeddable":true,"href":"https:\/\/ogronimo.com\/co\/wp-json\/wp\/v2\/categories?post=272"},{"taxonomy":"post_tag","embeddable":true,"href":"https:\/\/ogronimo.com\/co\/wp-json\/wp\/v2\/tags?post=272"}],"curies":[{"name":"wp","href":"https:\/\/api.w.org\/{rel}","templated":true}]}}