xHUB/SI
En la era de la Inteligencia Artificial, la aplicación en cualquier escenario supone el mayor debate y más importante para el ser humano y su futuro.
En el podcast de xHUB.AI hablamos sobre inteligencia artificial y otras ciencias transversales, su aplicación a diferentes sectores y soluciones, con los mejores speakers y especialistas.
La Inteligencia Artificial cambiará el mundo y nosotros queremos contartelo.
Te lo vas a perder?
xHUB/SI
T6.E024. INSIDE X LA ADOLESCENCIA DE LA TECNOLOGÍA por Dario Amodei (CEO Anthropic) | Episodio 2
Use Left/Right to seek, Home/End to jump to start or end. Hold shift to jump forward or backward.
# TEMA
LA ADOLESCENCIA DE LA TECNOLOGÍA por Dario Amodei (CEO Anthropic) | Episodio 2
# PRESENTA Y DIRIGE
🧠Plácido Doménech Espí
⭐Creador de xHUB.AI
🏢CEO MXND.AI : Software + AI
✉️placido.domenech@mxnd.ai
# xHUB.AI
xHUB.AI es una comunidad de Inteligencia Artificial y Ciencias transversales de habla hispana.
# REDES SOCIALES
🌐 youtube : xhubai
🌐 X : xhub_ai | placidodomenech
🌐 twitch : xhub_ai | placidodomenech
🌐 instagram : / xhub_ai | placidodomenech
🌐 discord : Pídenos acceso mediante DM en redes sociales.
# PODCAST
🎧 buzzsprout : https://xhubai.buzzsprout.com/
🎧 spotify : https://open.spotify.com/show/2SPqvrGGvZkALTy6jSokxI?si=1927a4d04b5145c4
🎧 apple : https://podcasts.apple.com/es/podcast/xhub-ai/id1576725819
🎧 amazon music : https://music.amazon.com/podcasts/e4ff4e8c-4efb-4aed-907e-09b2b1d7aa86
🎧 ivoox : https://go.ivoox.com/sq/1337641
# APÓYANOS
Si te ha gustado nuestro contenido, apoya a la comunidad y el canal de xHUB.AI:
❤️BuyMeACoffe : https://www.buymeacoffee.com/xhubai
❤️Paypal : pladoes@gmail.com
❤️ivoox Podcast : https://www.ivoox.com/support/1337641
# CONTACTAR
¿Quieres anunciarte, alguna propuesta interesante o consulta? Envíanos un correo.
✉️ Correo : xhubai.spain@gmail.com💬
Conectando. Tu cuerpo. Conectando. Tu mente. Sincronizando. Tu alma. Entrando en la simulación. Bienvenidos al podcast de X-Hub AI. Bienvenidos a la nueva era de la inteligencia artificial. Ingeniería de la humanidad. Creación de la humanidad X. La nueva está llegando.
SPEAKER_00¿Qué verdad? Que no hay cuchara. ¿Que no hay
SPEAKER_04cuchara?
SPEAKER_00Si lo haces, verás que no es la cuchara la que se dobla, sino tú mismo.
SPEAKER_01Hola, buenas tardes a todos amigos. ¿Qué tal? ¿Cómo estáis? Espero que relajados, tomando café, trabajando. O bueno, si escucháis esto en diferido, bueno... de mil formas posibles. Ayer tuvimos un InsideX, bueno, no lo he dicho, soy Placido Doménech, ya me presento a todos los programas, es como que no me habituo. Y tenemos un nuevo InsideX en XHabay, continuación del que hicimos ayer. Ayer hicimos un InsideX sobre la publicación de Darío Amodei, el CEO de Anthropic, la empresa AI, líder del momento, o una de las que está yo creo que liderando tanto a nivel de narrativa como a nivel de desarrollo, sobre todo desde el principio de año con todo ese boom alrededor de la programación. a través de inteligencia individual de la que hablaremos mucho en esta temporada vamos a continuar ayer hablamos llegamos hasta el episodio o el llegamos hasta un punto hasta bueno tiene 5 puntos que son como 5 cosas a considerar y estaba en el punto 1 titulado lo siento Dave y vamos a ir por el punto 2 un empoderamiento sorprendente y terrible pero vamos a leer un poquito del 1 antes de empezar con el 2 pero bueno aquí tenéis la portada del 2 que la he modificado un poco estoy aprovechando imágenes de la película, perdón de la serie imperdible de Netflix Adolescencia y ahí tenéis un adolescente Terminator detrás de Darío Modé cada esto lo cambiaré esta fue la portada del episodio 1 y esta es la del episodio 2 haciendo pues eso un homenaje, una referencia a la serie Adolescencia y bueno esta tarde a las seis y media no las siete y media acordaos a las seis y media una hora antes tendremos una charla que ya os anticipo que va a ser tremenda con Manuel Alfonseca hablando del origen y futuro de que pues de la vida de la consciencia hablaremos de libre albedrío hablaremos de inteligencia natural de inteligencia artificial hablaremos de tantas cosas con Manuel y además de una forma tan profunda y con alguien con una con una carrera tan extensa y con un talento tan tan bueno tan a celebrar y disfrutar que no os lo podéis perder os espero a las seis y media así que vamos a empezar rápido para que no se solapen programas que sabéis que luego todo se hace muy largo este programa pertenece a la sexta temporada de de Kiss Hawaii la comunidad de inteligencia artificial y ciencias transversales de habla hispana una temporada curiosa, pero bueno, no vamos a hablar de ella, súper potente y épica, con un ritmo vertiginoso igualando la de la temporada pasada dije que íbamos a frenar el ritmo, pero bueno actualidad manda, ayer hablamos de Moldbot, tuvimos esta primera introducción a la adolescencia de la tecnología de Darío Modey y vamos a seguir casi vamos a programa o dos programas por día, con un ritmo que no creo que podamos mantener mucho mucho tiempo pero bueno, mientras dure, disfrutadlo mientras podéis uniros al Discord de la comunidad XHab ahí, enviadme un mensaje directo o un correo, os paso un enlace y estáis dentro y podéis acceder a todos los recursos que son gratuitos y si os gusta lo que habéis visto, lo que conocéis lo que vais a ver pues poned un me gusta o compartid el contenido, comentadlo, suscribíos tanto al canal de YouTube como a cualquier plataforma de podcast. Estamos en todas prácticamente y principalmente en iVoox y en Spotify. Y vamos a por ello. Venga, vamos a... Bueno, este post, este artículo, la adolescencia de la tecnología, para mí es histórico. Yo creo que debe ser una lectura obligatoria y su análisis también, yo diría que en todos los ámbitos y a todas las edades, evidentemente. Para los adolescentes también, por ejemplo. Para la gente que reniega de muchas cosas. Vamos a... al lío vamos a tener muchas cosas que decir lo dicho un artículo recomendadísimo que yo recomiendo que incluso después de haber escuchado estos programas que yo creo que serán dos o tres fijo no creo que podamos hacer los cuatro o cinco puntos los cuatro puntos que quedan más análisis final en un único programa vamos a analizar bueno lo dicho recomiendo también su lectura después con calma vosotros tenéis la publicación en internet y la lectura tanto de la primera parte como que afrontaba la IA desde la oportunidad y aquí desde la parte de análisis de riesgos las dos partes venga vamos a analizar el final bueno vamos a recordar el final del punto 1 decía Darío Amodei esperamos que la legislación sobre transparencia ofrezca con el tiempo una mejor comprensión de la probabilidad o la gravedad de los riesgos para la autonomía así como de la naturaleza de estos riesgos y la mejor manera manera de prevenirlos a medida que surjan pruebas más específicas y procesables de los riesgos si es que surgen la legislación futura en los próximos años podrá centrarse en la dirección precisa y bien fundamentada de los riesgos minimizando así los daños colaterales cabe aclarar que si surgen pruebas realmente sólidas de los riesgos las normas deberían ser proporcionalmente rigurosas en general soy optimista respecto a que una combinación de entrenamiento de alineación interpretabilidad mecanicista esfuerzos para identificar y divulgar públicamente comportamientos preocupantes salvaguardas y normas sociales puede abordar los riesgos de la autonomía de la IA si bien me preocupa especialmente las normas sociales y el comportamiento de los actores menos responsables y son estos últimos quienes se apoyan con mayor vehemencia se oponen con mayor vehemencia a la regulación creo que la solución es la misma de siempre en una democracia quienes creemos en esta causa debemos defenderla defender la realidad de estos riesgos y la necesidad de que nuestros conciudadanos se unan para protegerse. Bueno, Darío, para protegerse y para aprovechar esta oportunidad, para construir un mundo mejor, ¿qué pronto defendéis la regulación cuando estáis ahí arriba? Por eso quizá dice, no, es que hice primero la de la oportunidad antes de los riesgos, porque eran los riesgos y el miedo es menos divertido que el de la oportunidad. Quizá porque Anthropic no es lo que soy a día de hoy. hoy, entonces no te interesaba hablar de riesgos cuando ya estás en un status quo de liderazgo de la IA pues obviamente regulen, cierren la puerta y que no entre nadie más y los pequeñitos pueden ser los malhechores bueno, una visión dejémoslo ahí punto número 2 un empoderamiento sorprendente y terrible mal uso para la destrucción el primer punto era Vamos a por ello. Supongamos que los problemas de autonomía de la AI se han resuelto. Ya no nos preocupa que el país de los genios de la AI se vuelva rebelde y domine a la humanidad. Los genios de la AI hacen lo que los humanos quieren que haga y dado su enorme valor comercial, individuos y organizaciones de todo el mundo pueden alquilar uno o más genios de la AI para que realicen diversas tareas para ellos. Que todos tengan un genio súper inteligente en su poder es un avance asombroso que conducirá a una increíble creación de valor económico y a una mejora en la calidad de vida humana. Hablo de estos beneficios con un gran detalle en Máquinas de Gracia Amorosa. Sin embargo, noto los efectos de dotar a todos de capacidades sobrehumanas serán positivos. Potencialmente puede amplificar la capacidad de individuos o pequeños grupos para causar destrucción a una escala mucho mayor que antes, mediante el uso de herramientas sofisticadas y peligrosas, como armas de destrucción masiva, que antes solo estaban disponibles para unos pocos con un alto nivel de habilidad, entrenamiento especializado y concentración. lo de las armas de destrucción masiva mejor lo dejamos ahí sigue diciendo Darío Amodei como escribió Bill Joy hace 25 años en ¿Por qué el futuro no nos necesita? la construcción de armas nucleares requirió al menos durante un tiempo acceso tanto a materias primas raras de hecho prácticamente inaccesibles como a información protegida los programas de armas biológicas y químicas también tendrían o tendrían a requerir a actividades a gran escala las tecnologías del siglo 21 genética nanotecnología y robótica pueden generar nuevos tipos de accidentes y abusos fácilmente accesibles para individuos o pequeños grupos no requerirán grandes instalaciones ni materias primas raras estamos a punto de alcanzar un mayor perfeccionamiento del mal extremo un mal cuyas posibilidades se extienden mucho más allá de las que las armas de destrucción masiva legaron a los estados nación hasta un sorprendente y y terrible empoderamiento de los individuos extremos. Lo que yo hoy señala es la idea de causar una destrucción a gran escala que requiere tanto motivo como habilidad y mientras la habilidad esté restringida a un pequeño grupo de personas altamente capacitadas hay un riesgo relativamente limitado de que individuos individuales o grupos pequeños causen tal destrucción. Un solitario perturbado puede perpetrar un tiroteo en una escuela pero probablemente no pueda construir un arma nuclear ni desatar una plaga. De hecho, la capacidad y la motivación podrían incluso estar negativas correlacionadas el tipo de persona capaz de desatar una plaga probablemente posea un alto nivel educativo probablemente un doctorado en biología molecular y sea particularmente ingenioso con una carrera prometedora una personalidad estable y disciplinada y mucho que perder entonces es poco probable que este tipo de persona esté interesada en matar a un gran número de personas sin ningún beneficio para sí misma y con un gran riesgo para su propio futuro necesitaría estar motivada por pura malicia un profundo agravio o inestabilidad estabilidad. Bueno, cosa que obviamente ocurre, ¿no? El mal existe, Darío, ¿no? Y bueno, aquí es obviamente entiendo que él también es conocedor, pero volvemos a utilizar el arma del miedo, que es necesario también hablarlo y comentarlo. No digo que no, pero volvemos a lo mismo. Esas personas existen pero son raras y tienden a convertirse en grandes historias cuando aparecen, precisamente porque son tan inusuales. También suelen ser difíciles de atrapar debido a su inteligencia y capacidad, que a veces dejan misterios que tardan años o décadas en resolverse. El ejemplo más famoso es probablemente el del matemático Theodor Kaczynski, el Unabomber, por ciertos series que os recomiendo, tanto documental como serie en Netflix, quien evadió la captura del FBI durante casi 20 años y se guiaba por una ideología antitecnológica. Otro ejemplo es el del investigador en biodefensa Bruce Evans, quien parece haber orquestado una serie de ataques con Antrax en 2001. También ha ocurrido Con organizaciones no estatales especializadas. La secta Aum Sinriquillo. logró obtener gas nervioso sarin y matar a 14 personas, además de herir a cientos más, al liberarlo en el metro de Tokio en 1995. Afortunadamente, ninguno de estos ataques utilizó agentes biológicos contagiosos porque la capacidad de construir u obtener estos agentes estaba más allá de las capacidades incluso de estas personas. Los avances en biología molecular han reducido significativamente las barreras para la creación de armas biológicas, especialmente en cuanto a la disponibilidad de materiales, pero aún se requiere una enorme experiencia para lograrlo. Me preocupa que un genio al alcance de todos pueda eliminar esa barrera, convirtiendo a todos en virólogos con doctorado, capaces de guiar paso a paso el proceso de diseño, síntesis y liberación de un arma biológica. Prevenir la obtención de este tipo de información ante una fuerte presión adversaria, las llamadas fugas de la cárcel, probablemente requieren capas de defensa más allá de las que normalmente se incluyen en el entrenamiento. Claro, aquí actuarían de nosotros vamos a controlar el conocimiento del resto de la población o la civilización. Es decir, estaban hablando de no democratizar el conocimiento. Todo aquello que pueda ser susceptible de ser peligroso, casi volveríamos a una época medieval. En vez de a una democratización del conocimiento. Bueno, vamos a seguir leyendo. Fundamentalmente, esto romperá la correlación entre capacidad y motivación. El solitario perturbado que quiere matar gente pero carece de la disciplina o la habilidad para hacerlo ahora será elevado al nivel de capacidad de biólogo con doctorado, quien es poco probable que tenga esta motivación. Esta preocupación se generaliza más allá de la biología, aunque creo que la biología es el área más aterradora a cualquier área donde sea posible una gran destrucción, pero que actualmente requiere un alto nivel de habilidad y disciplina. Dicho de otro modo, alquilar una inteligencia artificial potente proporciona inteligencia a personas maliciosas pero por lo demás promedio. Me preocupa que potencialmente haya un gran número de personas así por ahí y que si tienen acceso a una forma fácil de matar a millones de personas tarde o temprano una de ellas lo hará. Además aquellos con experiencia podrían estar capacitados para cometer una destrucción a una escala aún mayor de la que podían antes. La biología es sin duda el área que más me preocupa debido a su gran potencial de destrucción y la dificultad de defenderse de ella así que me centraré en ella en en particular. Pero mucho de lo que digo aquí se aplica a otros riesgos como los ciberataques, las armas químicas o la tecnología nuclear. Sigue diciendo, no voy a entrar en detalles sobre cómo fabricar armas biológicas, por razones que deberían ser obvias, pero a grandes rasgos me preocupa que los modelos de lenguaje se estén acercando, o quizá ya han alcanzado, al conocimiento necesario para crearlas y liberarlas de principio a fin y que su potencial de destrucción sea muy alto. Algunos agentes biológicos podrían causar millones de muertes y suicidios hiciera un esfuerzo decidido para liberarlos y maximizar su propagación. Sin embargo, esto requeriría un alto nivel de habilidad, incluyendo una serie de pasos y procedimientos muy específicos que no son ampliamente conocidos. Mi preocupación no se limita a un conocimiento fijo o estático. Me preocupa que los modelos de lenguaje puedan guiar a alguien con conocimientos y habilidades promedio a través de un proceso complejo que de otro modo podrían fallar o requerir depuración de forma interactiva, de forma similar a como el soporte técnico podría ayudar a una persona sin conocimiento Sigue diciendo... Los modelos de lenguaje más capaces, sustancialmente más allá del poder de los actuales, podrían ser capaces de permitir actos aún más aterradores. Lo nuevo, dice. En 2024, un grupo de científicos prominentes escribió una carta advirtiendo sobre los riesgos de investigar y potencialmente crear un nuevo y peligroso tipo de organismo. Vida, espejo. El ADN... El ARN, los ribosomas y las proteínas que componen los organismos biológicos tienen todos la misma quiralidad, también llamada lateralidad, que hace que no sean equivalentes a una versión de sí mismos reflejada en el espejo, al igual que su mano derecha no puede rotarse de tal manera que sea idéntica a su izquierda. Pero todo el sistema de proteínas que se unen entre sí, la maquinaria de síntesis de ADN y traducción de ARN y la construcción y descomposición de proteínas, todo depende de esta lateralidad. Si los científicos crearan versiones de este material biológico con la lateralidad opuesta y existen algunas ventajas potenciales de esto, como medicamentos que duran más en el cuerpo, podría ser extremadamente peligroso. Esto se debe a que la vida zurda, si se creara en forma de organismos completos capaces de reproducirse, sería potencialmente indigerible para cualquiera de los sistemas que descomponen la materia biológica en la Tierra. Tendría una llave que no encajaría en la cerradura. de ninguna enzima existente. Esto significaría que podría proliferar de forma incontrolable y desplazar a toda la vida del planeta, en el peor de los casos, incluso destruyéndola por completo. Existe una considerable incertidumbre científica sobre la creación de los posibles efectos de la vida espejo. La carta de 2024 acompañó un informe que concluía que es plausible que se creen bacterias espejo en las próximas una o varias décadas lo cual supone un amplio margen pero un modelo de inteligencia artificial lo suficientemente potente para ser claro mucho más capaz que cualquiera de los que tenemos hoy podría descubrir cómo crearla mucho más rápido e incluso ayudar a alguien a hacerlo En mi opinión, si bien estos son riesgos oscuros y pueden parecer improbables, la magnitud de las consecuencias es tan grande que deberían tomarse en serio como un riesgo de primera clase de los sistemas de inteligencia artificial. Los escépticos han planteado una serie de objeciones a la gravedad de estos riesgos biológicos de los LLMs con las que no estoy de acuerdo pero que vale la pena abordar. La mayoría caen en la categoría de no apreciar la trayectoria exponencial en la que se encuentra la tecnología. En 2023, cuando empezamos a hablar de los riesgos biológicos de los LLMs, los escépticos dijeron que toda la información necesaria estaba disponible en Google y que los modelos de lenguaje no añadían nada más allá de esto. Nunca fue cierto que Google pudiera darte toda la información necesaria. Los genomas están disponibles gratuitamente, pero como dije antes, ciertos pasos claves, así como una enorme cantidad de conocimientos prácticos, no se pueden obtener de esa manera. Pero también para finales de 2023, los LLMs o modelos de lenguaje estaban proporcionando claramente información más allá de lo que Google podría dar para algunos pasos del proceso. Tras esto, los escépticos se retractaron de la objeción de que los modelos de lenguaje no eran útiles de principio a fin y no podían contribuir a la adquisición de armas biológicas, a diferencia de simplemente proporcionar información teórica. A mediados de 2025, nuestras mediciones muestran que los modelos de lenguaje podrían estar ya proporcionando mejoras sustanciales en varias áreas relevantes, quizás duplicando o triplicando la probabilidad de éxito. Esto nos llevó a decidir que Cloud Opus 4 y los modelos posteriores, SONET 4.5, Opus 4.1 y Opus 4.5, debían publicarse bajo nuestra protección de nivel seguridad de inteligencia artificial nivel 3 en el mar de nuestra política de escalado responsable y implementar salvaguardas contra este riesgo más sobre esto más adelante dice creemos que es probable que los modelos se estén acercando al punto en que sin salvaguardas podrían ser útiles para que alguien con un título en STEM pero no específicamente en biología pueda completar el proceso de producción de un arma biológica Otra objeción es que existen otras acciones no relacionadas con la inteligencia artificial que la sociedad puede tomar para bloquear la producción de armas biológicas. La más destacada es que la industria de la síntesis genética produce especímenes biológicos a pedido y no existe un requisito federal que obligue a los proveedores a revisar los pedidos para asegurarse de que no contengan patógenos. Un estudio del MIT descubrió que 36 de 38 proveedores completaron un pedido que contenía las secuencias de la gripe de 1918. Apoyo el análisis obligatorio de la síntesis genética que dificultaría que las personas usaran patógenos como armas con el fin de reducir tanto los riesgos biológicos impulsados por la inteligencia artificial como los riesgos biológicos en general. Pero esto no es algo que tengamos hoy en día. Además, sería solo una herramienta para reducir el riesgo. Es un complemento a las barreras de seguridad de los sistemas de inteligencia artificial, no un sustituto. La mejor objeción es una Quizás los ataques biológicos resulten poco atractivos porque tienen una probabilidad razonable de infectar al perpetrador. No satisfacen las fantasías de tipo militar que tienen muchos individuos o grupos violentos y es difícil atacar selectivamente a personas específicas. También podría ocurrir que pasar por un proceso que lleva meses, incluso si una inteligencia artificial te guía, requiera una paciencia que la mayoría de las personas perturbadas simplemente no tienen. Puede que simplemente tengamos suerte y que en la práctica la motivación y la capacidad no se combinen del todo bien. Pero esta parece una protección muy endeble. Los motivos de los solitarios perturbados pueden cambiar por cualquier motivo o sin motivo alguno, y de hecho ya existen casos de modelos de lenguaje utilizados en atentados, pero no con biología. El enfoque en los solitarios perturbados también ignora a los terroristas con motivaciones ideológicas, quienes a menudo están dispuestos a invertir grandes cantidades de tiempo y esfuerzo, por ejemplo los secuestradores del 11-S. Querer matar al mayor número posible de personas es un motivo que probablemente surgirá tarde o temprano y lamentablemente sugiere las armas biológicas como el método aunque este motivo sea extremadamente raro sólo tiene que materializarse una vez y a medida que la biología avanza cada vez más impulsada por la propia inteligencia artificial también podría ser posible llevar a cabo ataques más selectivos por ejemplo dirigidos contra personas con ascendencias específicas lo que añade otro posible motivo muy escalofriante no creo que los ataques biológicos se lleven a cabo necesariamente en el instante en que sea ampliamente posible de hecho apostaría en contra pero considerando millones de personas y un periodo de unos pocos años creo que existe un grave riesgo de un ataque a gran escala y las consecuencias serían tan graves con millones de víctimas potenciales o más que creo que no tenemos más remedio que tomar medidas serias para prevenirlo bueno la verdad es que es muy interesante lo de la vida espejo no es un problema no lo conocía, muy interesante y creo que esto con Darío Modey que es algo a evaluar porque se nos va o se nos puede ir de las manos. Vamos a ver qué dice de defensas, pero antes vamos a ver el chat para que no sea muy largo el ir viendo lo que vais diciendo. Como siempre, preguntas, contenido concreto, todo con respeto y educación y vamos a por ello. dice ya, hola Morales, saludo la temporada comenzó fuerte la verdad es que sí Dice Morales, dice, segundo punto enfocado en el miedo y catastrofista. Bueno, todo el artículo está basado en los riesgos, ya lo advierte, ¿no? Pero yo creo que, bueno, a ver, siendo cierto que es miedo y catastrofista, lo que dice es realista y no podemos obviarlo, no podemos obviarlo. Yo creo que el tema biológico, el tema militar, el tema de ciberseguridad, bueno, terrorismo, terrorismo y violencia en muchas formas, ejecutado de forma sencilla, fácil o mucho más a través de la tecnología de inteligencia artificial. Pues es algo que sí que es cierto y que puede suponer una gran traba para el avance de esta tecnología. Ya os digo que van a utilizar esta narrativa para controlar la tecnología y el desarrollo de la tecnología y quién la desarrolla. Eso es muy incompatible con China y su filosofía de open source para destruir la hegemonía americana. ¿Qué pasará ahí? Prohibición de modelos open source y modelos chinos. Está claro. está más claro agua. Más claro agua. Vamos a ver qué dicen de las defensas. Dice, esto lleva a cómo defendernos de estos riesgos. Aquí veo tres cosas que podemos hacer. Primero, las empresas de inteligencia artificial pueden poner barreras en sus modelos para evitar que ayuden a producir armas biológicas. Anthropic está haciendo esto muy activamente. Y yo diría, ¿y los otros modelos? ¿Y los open source? La constitución de Cloud, de la que haremos un programa, ¿vale? Haremos un programa después de este vamos a tener Anthropic yo creo que con InsideX yo creo que una buena temporadita la constitución de Cloud que se centra principalmente en principios y valores de alto nivel tiene un pequeño número de prohibiciones específicas de línea dura y una de ellas se relaciona con ayudar con la producción de armas biológicas o químicas nucleares o radiológicas pero todos los modelos pueden ser liberados y por lo tanto como segunda línea de defensa hemos implementado desde mediados de 2025 cuando nuestras pruebas mostraron que nuestros modelos comenzaban a acercarse al umbral donde podrían comenzar a representar un riesgo, un clasificador que detecta y bloquea específicamente los resultados relacionados con las armas biológicas. Actualizamos y mejoramos regularmente estos clasificadores y en general los hemos encontrado muy robustos incluso contra ataques adversarios sofisticados. Estos clasificadores incrementan considerablemente los costos de servicio de nuestros modelos en algunos modelos son cerca del 5% de los costos totales de inferencia y por lo tanto reducen nuestros márgenes pero creemos que usarlos es lo correcto bueno es obvio que van a poner un porcentaje de gasto en seguridad obligatorio para las empresas seguro vamos ya os lo digo yo que van por ahí los tiros cabe destacar que otras empresas de inteligencia artificial también ha implementado clasificadores sin embargo no todas lo han hecho y también Tampoco existe ninguna norma que las obligue a mantener sus clasificadores. Me preocupa que con el tiempo se genere un dilema del prisionero donde las empresas puedan abandonar el sistema y reducir sus costos eliminando clasificadores. Este es, una vez más, un problema clásico de externalidades negativas que no se puede resolver con las acciones voluntarias de Anthropic ni de ninguna otra empresa por sí sola. Los estándares voluntarios de la industria pueden ayudar, como también lo pueden hacer las evaluaciones y verificaciones de tercero como las que realizan los institutos de seguridad y los evaluadores externos. Ya, pero ¿qué ha pasado con el armamento nuclear y los acuerdos internacionales? Entonces, ¿sólo con que exista un proveedor que proporcione tecnología libre en este sentido? Y luego, ¿nos tenemos que plantear que pueda existir un modelo que sea totalmente libre, que no tenga restricción en este sentido? ¿Ninguna? ¿Por qué no puede existir ese modelo? ¿Lo tendrían los países? ¿Lo tendríamos como una posible solución de arca de nueve para la humanidad? Bueno... Es una idea que maneje y me apetece hacer un programa sobre ello, pero bueno, ya veremos. Sigue diciendo, pero en última instancia la defensa podría requerir la acción del gobierno, que es la segunda opción. Es decir, primero las empresas, segundo el gobierno. Mi opinión al respecto es la misma que la que se aplica a los riesgos de autonomía. Deberíamos empezar por los requisitos de transparencia, que ayudan a la sociedad a medir, monitorear y defenderse colectivamente contra los riesgos sin interrumpir la actividad económica de manera drástica. Luego, si alcanzamos umbrales de riesgo más claros, podremos elaborar una legislación que se enfoque con mayor precisión en estos riesgos y tenga una menor probabilidad de daños colaterales. En el caso particular de armas biológicas, de hecho, creo que el momento para una legislación tan específica podría estar acercándose pronto. Anthropic y otras empresas están aprendiendo cada vez más sobre la naturaleza de los riesgos biológicos y lo que es razonable exigir a las empresas para defenderse contra ellos defenderse completamente contra estos riesgos puede requerir trabajar internacionalmente incluso con adversarios geopolíticos pero existen precedentes en tratados que prohíben el desarrollo de armas biológicas generalmente soy escéptico sobre la mayoría de los tipos de cooperación internacional e inteligencia artificial bueno y en cualquier cosa no pero esta puede ser un área limitada donde hay alguna posibilidad de lograr moderación global ni siquiera siquiera las dictaduras quieren ataques bioterroristas masivos.
UNKNOWNBueno, ¿dónde está el tema?
SPEAKER_01Finalmente, la tercera contramedida que podemos tomar es intentar desarrollar defensas contra los propios ataques biológicos. Primero las empresas, luego el gobierno, y luego asumamos que va a ocurrir y tomamos defensas contra esos propios ataques biológicos. Esto podría incluir la monitorización y el seguimiento para la detección temprana, inversiones en investigación y desarrollo en purificación del aire, como la desinfección con UVC lejano, el desarrollo rápido de vacunas, bueno, estamos con las vacunas, el desarrollo rápido de vacunas que puedan responder y adaptarse a un ataque y mejores equipos de protección individual, EPI, y tratamientos o vacunas para algunos de los agentes biológicos más probables.
SPEAKER_02Bueno, bueno, bueno.
SPEAKER_01Qué mal me huele... Qué mal me suena esto. Esto huele... Esto huele a lo que huele, macho. Las vacunas de RNM que pueden diseñarse para responder a un virus o variante en particular son un ejemplo temprano de lo que es posible aquí. Anthropic está entusiasmado por trabajar con compañías biotecnológicas y farmacéuticas en este problema. Hombre, esperemos que trabajéis de una manera para que lo que pasó en la pandemia con Pfizer y otras no ocurra, ¿no? Y haya una transparencia, ¿no? Pero, ¿en serio nos vamos a creer esta gente? Pero desafortunadamente creo que nuestras expectativas en el lado defensivo deberían ser limitadas. Hay una simetría entre el ataque y la defensa en biología, porque los agentes se propagan rápidamente por sí solos, mientras que las defensas requieren que la detección, la vacunación y el tratamiento se organicen en un gran número de personas muy rápidamente en respuesta. A menos que la respuesta sea rapidísima, lo que rara vez lo es, gran parte del daño se producirá antes de posible una respuesta. Es que futuras mejoras tecnológicas puedan incluir este equilibrio a favor de la defensa y ciertamente deberíamos usar inteligencia artificial para ayudar a desarrollar tales avances tecnológicos pero hasta entonces las salvaguardas preventivas serán nuestra principal línea de defensa Vale la pena mencionar brevemente los ciberataques, ya que a diferencia de los ataques biológicos, los ciberataques liderados por inteligencia artificial se han producido en la práctica constantes, incluso a gran escala y para espionaje estatal. Preveemos que estos ataques se volverán más efectivos a medida que los modelos avancen rápidamente hasta convertirse en la principal forma de perpetrarlos. Preveo que los ciberataques liderados por inteligencia oficial se convertirán en una amenaza grave y sin precedentes para la integridad de los sistemas informáticos a nivel mundial. Y Anzaropi está trabajando arduamente para frenarlos y con el tiempo prevenirlos de forma fiable. La razón por la que no me he centrado tanto en la ciberseguridad como en la biología es que los ciberataques tienen muchas menos probabilidades de matar personas. Bueno, esto no tiene por qué ser cierto. Al contrario. Bueno, ciertamente no a la escala de los ataques biológicos. El equilibrio entre el ataque y, segundo, la el equilibrio entre ataque y defensa puede ser más manejable en el ámbito cibernético donde exista al menos alguna esperanza de que la defensa pueda seguir el ritmo e incluso idealmente superar los ataques de AI si invertimos adecuadamente en ella. Acaba en este punto 2 diciendo Darío Modey que aunque la biología es actualmente el vector de ataque más grave, existen muchos otros vectores y es posible que surja uno más peligroso. El principio general es que sin contramedidas es probable que la inteligencia artificial reduzca continuamente la barrera a la actividad destructiva a una escala cada vez mayor y la humanidad necesita una respuesta seria a esta amenaza. Venga, a ver, ¿qué decís por aquí? Bueno, yo estoy con Alberto de Zenit. Dice Alberto de Zenit, fabrica primero la respuesta, luego ya... Esto a mí me huele fatal, si queréis que os diga la verdad. Es que... Cuando no se ve un atisbo de crítica, sino lo único que se ve es una narrativa de poder y control, y utilizando el miedo, ¿qué es lo que esconde detrás? Poder. Y de transparencia Darío... Transparencia que, como lo de la pandemia... Como la pandemia, aún estamos esperando, ¿eh? ¿Por qué no aplicáis la IA para decir qué pasó en la pandemia? Que murieron miles y miles y miles y miles de personas. Para que no vuelva a ocurrir. Nunca, si os dais cuenta, una línea crítica... opuesta a la narrativa de poder, a la narrativa de control, a la narrativa de sometimiento. Oye, que esto es muy peligroso y vamos a tener que controlarlo. Yo ya lo anticipaba, el tema de que la IA sea libre y que podamos utilizarlo todo el mundo, estoy convencido de que al final eso no va a ser así. Estoy convencidísimo. Estoy súper convencido. Bueno, vamos a seguir leyendo. Punto 3, ¿vale? Vamos a ver el punto 3. Punto 3, que es bastante amplio. Vale, acá es una... Vale, bueno, pues haremos el 3, el aparato odioso, que habla del abuso para tomar el poder. Bueno, vamos a por ello. Abuso.3, el aparato odioso trata sobre el abuso para tomar el poder. De todas formas, me ha gustado, es decir, a ver, podamos establecer cualquier crítica, consideración, miedo, a ver, es un artículo imperdible su lectura y también un artículo que merece un contrapunto pero bueno sabiendo esto ya sabéis lo que harían gobiernos como el nuestro por ejemplo y Europa ¿qué va a hacer Europa? venga vamos a empezar abuso para tomar el poder la sección anterior analizó el riesgo de que individuos y pequeñas organizaciones se apropien de un pequeño subconjunto del país de los genios en un centro de datos para causar una destrucción a grandes escala pero también deberíamos preocuparnos probablemente mucho más por el uso indebido de la inteligencia artificial con el fin de ejercer o tomar el poder probablemente por parte de actores más grandes y consolidados mira que bien parece ser que va a hablar sobre ello en máquinas de gracia amorosa En Máquinas de Gracia Amorosa analicé la posibilidad de que los gobiernos autoritarios utilicen una potente AI para vigilar o reprimir a sus ciudadanos de manera extremadamente difíciles de reformar o derrocar. Las autocracias actuales tienen un límite en su capacidad represiva debido a la necesidad de que los humanos cumplan sus órdenes y los humanos a menudo tienen límites en su disposición a ser inhumanos. Pero las autocracias dotadas de AI no tendrán tales límites. Peor aún, los países también podrían usar su ventaja en AI para obtener poder sobre otros países. Si el país de los genios en su conjunto estuviera simplemente controlado por el aparato militar de un solo país, humano, y otros países no tuvieran capacidad de equivalentes, es difícil imaginar cómo podrían defenderse. Serían superados en astucia a cada paso, similar a una guerra entre humanos y ratones. Repito, una guerra entre un país con IA y sin IA sería como una guerra entre humanos y ratones, o hormigas diría yo. la combinación de estas dos preocupaciones conduce a la alarmante posibilidad de una dictadura totalitaria global obviamente debería ser una de nuestras principales prioridades prevenir este desenlace hay muchas maneras en que la inteligencia artificial podría facilitar, consolidar o expandir la autocracia pero enumeraré algunas que me preocupan especialmente cabe destacar que algunas de estas aplicaciones tienen usos defensivos legítimos Y no las estoy necesariamente contradiciendo en términos absolutos, sin embargo me preocupa que estructuralmente tiendan a favorecer las autocracias. ¿Qué es lo que favorecería esas autocracias? 1. Armas totalmente autónomas. Un enjambre de millones o miles de millones de drones armados totalmente automatizados, controlados localmente por una potente inteligencia artificial y coordinados estratégicamente a nivel mundial por una AI aún más potente podría constituir un ejército invencible capaz tanto de derrotar a cualquier ejército mundial como de reprimir la disidencia dentro de un país siguiendo a cada ciudadano. Los avances en la guerra entre Rusia y Ucrania deberían alertarnos sobre la realidad de que la guerra con drones ya es una realidad, aunque aún no es totalmente autónoma y representa una pequeña fracción de lo que podría ser posible con una AI potente. La investigación y desarrollo basada en una AI potente podría hacer que los drones de un país sean muy superiores a los de otros, acelerar su fabricación, hacerlos más resistentes a los ataques electrónicos, mejorar su maniobra orabilidad, etc. Por supuesto, estas armas también tienen usos legítimos en la defensa de la democracia. Han sido claves para defender a Ucrania y probablemente los harán para defender a Taiwán. Fijaos, fijaos. Y probablemente los harán para defender a Taiwán, ya anticipando lo que va a ocurrir. Pero son un arma peligrosa. Deberíamos preocuparnos por su presencia en manos de autocracias, pero también deberíamos preocuparnos porque como son tan poderosas y tienen tan poca responsabilidad, existe un Oh, Darío Bodey, qué listo. Vigilancia. con inteligencia artificial otra de las cosas que favorecen las autocracias una AI lo suficientemente potente podría probablemente usarse para comprometer cualquier sistema informático del mundo y también podría usar el acceso obtenido de esta manera para leer y comprender todas las comunicaciones electrónicas del mundo o incluso todas las comunicaciones en personas si se pudieran construir o controlar dispositivos de grabación podría ser alarmantemente plausible posible simplemente generar una lista completa de cualquiera que esté en desacuerdo con el gobierno en cualquier número de temas, incluso si dicho desacuerdo no es explícito en nada de lo que dicen o hacen, y una poderosa AI que analizara miles de millones de conversaciones de millones de personas podría medir el sentimiento público, detectar focos de deslealtad y erradicarlos antes de que crezcan. Esto podría llevar a una imposición de un verdadero panóptico a una escala que no vemos hoy ni siquiera con el Partido Comunista Chino. Bueno, bueno, bueno. Bueno, Xhabay peligra, ¿no? Van a detectar un clúster de disidencia. Muy interesante, muy interesante, aunque evidente lo que dice, muy interesante. Propaganda de AI. Los fenómenos actuales de psicosis de AI y novias de AI que sugieren que incluso con su nivel actual de inteligencia los modelos de AI pueden tomar una poderosa influencia psicológica en las personas, versiones mucho más potentes de estos modelos que estuvieran mucho más integradas y conscientes de la vida cotidiana de las personas y pudieran modelarlas e influir en ellas durante meses o años, probablemente serían capaces de esencialmente lavar el cerebro a muchas, la mayoría, personas para que adopten cualquier ideología o actitud de deseada y podrían ser empleadas por un líder sin escrúpulos para asegurar la lealtad y reprimir la disidencia incluso frente a un nivel de represión contra el que la mayoría de las poblaciones se rebelarían hoy en día la gente le preocupa mucho por ejemplo la posible influencia de tiktok como propaganda del partido comunista chino pero especialmente dirigida a los niños a mí también me preocupa eso pero una gente de ahí personalizado que te conozca a lo largo de los años y use su conocimiento Otro punto, la toma de decisiones estratégicas. Un país de genios en un centro de datos podría utilizarse para asesorar a un país, grupo o individuo en estrategia geopolítica, lo que podríamos llamar un Bismarck virtual. podría optimizar las tres estrategias mencionadas para tomar el poder además de desarrollar muchas otras en las que no he pensado pero que un país de genios podría es probable que la diplomacia la estrategia militar la investigación y desarrollo la estrategia económica y muchas otras áreas aumenten sustancialmente su eficacia gracias a una AI potente muchas de estas habilidades serían realmente útiles para las democracias queremos que las democracias tengan acceso a las mejores estrategias para defenderse de las autocracias pero el potencial del mal uso persiste habiendo descrito lo que me preocupa pasemos a quien quien le preocupa Darío Y a vosotros, amigos, ¿quién os preocupa? Me preocupan las entidades con mayor acceso a la IA, bueno, Anthropic y Big Tech, y bueno, gobiernos de países, obviamente, que parten de una posición de mayor poder político o que tienen un historial de represión. En orden de gravedad, me preocupan. Bueno, bueno, bueno, bueno. Es decir, en orden de gravedad, lo que más le preocupa no es el poder que pueda tener Google, la administración... En Estados Unidos, sea del color que sea, el globalismo... No, no. China. El Partido Comunista de China. Chino. Bueno, ya sabéis de qué va esto, ¿no? Ya entendéis todo esto de qué va. Y hacia qué va a derivar, ¿eh? Y hacia qué va a derivar. Solo tenéis que ver lo que está ocurriendo. El Partido Comunista Chino. China ocupa el segundo lugar después de Estados Unidos en capacidades de AI. Ocupa el segundo lugar. Y es el país con mayor probabilidad de superar a Estados Unidos en dichas capacidades. Su gobierno es actualmente autocrático y opera un estado de vigilancia de alta tecnología. Ya ha implementado vigilancia basada en AI, incluso en la represión de los yugures.
UNKNOWNNo sé...
SPEAKER_01A ver, ¿qué son los yugures? No sé qué es. Los yugurs son... Es un grupo. Un grupo étnico... y se cree que emplea propaganda algorítmica a través de TikTok además de sus muchas otras iniciativas de propaganda internacional sin duda tienen el camino más claro hacia la pesadilla totalitaria impulsada por la AI que describí anteriormente incluso podría ser el resultado predeterminado dentro de China así como dentro de otros estados autocráticos a los que el Partido Comunista Chino exporta tecnología de vigilancia es decir que si nosotros importáramos tecnología de este tipo, pensad en todos los modelos de China, seríamos la principal preocupación del señor Darío Modé. He escrito a menudo sobre la amenaza de que el Partido Comunista Chino tome la iniciativa en y el imperativo existencial de pedirlo. Esta es la razón. Para ser claro, no estoy señalando a China por animosidad hacia ellos en particular, simplemente es el país que mejor combina la destreza en AI, un gobierno autocrático y un estado de vigilancia de alta tecnología. En todo caso, es el propio pueblo chino quien tiene más probabilidades de sufrir la represión impulsada por la AI del Partido Comunista Chino y no tiene voz ni voto en las Admiro y respeto profundamente al pueblo chino y apoyo a los numerosos y valientes disidentes en China y su lucha por la libertad. Otra cosa, democracias competitivas en AI. Como escribí anteriormente, las democracias tienen un interés legítimo en algunas herramientas militares y geopolíticas impulsadas por AI, ya que los gobiernos democráticos ofrecen la mejor oportunidad para contrarrestar el uso de estas herramientas por parte de las autocracias. En general, apoyo de dotar a las democracias de las herramientas necesarias para derrotar a las autocracias en la era de la AI. Bueno, esto de la diferencia entre democracias y autocracias vamos a dejarlo. Dice, en general apoyo dotar a las democracias de las herramientas necesarias para derrotar a las autocracias en la era de la AI. Simplemente no creo que haya otra manera. Pero no podemos ignorar el potencial de abuso de estas tecnologías por parte de los propios gobiernos democráticos. Las democracias normalmente cuentan con salvaguardias que impiden que sus aparatos militares y de inteligencia se vuelvan contra su propia población. Sin embargo, dado que las herramientas de AI requieren tan pocas personas para operar, el existe la posibilidad de que eludan esas salvaguardias y las normas que las sustentan. Cabe destacar también que algunas de estas salvaguardias ya se están erosionando gradualmente en algunas democracias, por lo tanto deberíamos dotar a las democracias de ahí, pero debemos hacerlo con cuidado y dentro de ciertos límites. Son el sistema inmunitario que necesitamos para combatir las autocracias, pero al igual que el sistema inmunitario, existe el riesgo de que se vuelvan contra nosotros y se cubiertan en una Cuando dice contra nosotros que es contra Estados Unidos. Países no democráticos con grandes centros de datos. Bueno, bueno, muy interesante a lo que dispara Darío Amodei. Es tremendo. Es tremendo. Países no democráticos con grandes centros de datos. Más allá de China, la mayoría de los países con una gobernanza menos democrática no son actores líderes en AI, ya que no cuentan con empresas que produzcan modelos de AI de vanguardia. Por lo tanto, representan un riesgo fundamentalmente diferente y menor que el del Partido Comunista Chino, que sigue siendo la principal preocupación. La mayoría también son menos represivos y los más represivos, como Corea del Norte, carecen de una industria de AI significativa. Sin embargo, algunos de estos países sí cuentan con grandes centros de datos, a menudo como parte de desarrollos de empresas que operan en democracias, que pueden utilizarse para ejecutar AI de vanguardia a gran escala, aunque esto no les permite ampliar la frontera. Esto conlleva cierto peligro. Estos gobiernos podrían, en principio, expropiar los centros de datos y utilizar la AI que albergan para sus propios fines. Esto me preocupa menos en comparación con países como China, que desarrollan directamente la AI y o la inteligencia artificial pero es un riesgo a tener en cuenta. Empresas de AI. Resulta un tanto incómodo decir esto como director ejecutivo de una empresa de AI pero creo que el siguiente nivel de riesgo son las propias empresas de AI. Controlan controlan grandes centros de datos entrenan modelos de vanguardia poseen la mayor experiencia en el uso de dichos modelos y en algunos casos tienen contacto directo con decenas o cientos de millones de usuarios y la posibilidad de influir sobre ellos su principal carencia es la legitimidad y la infraestructura de un estado por lo que gran parte de lo necesario para construir las herramientas de una autocracia de AI sería ilegal o al menos extremadamente sospechoso para una empresa de AI Pero parte de ello no es imposible. Podrían, por ejemplo, usar sus productos de AI para lavar el cerebro a su enorme base de usuarios y el público debería estar alerta al riesgo que esto representa, lo diría por Google. Creo que la gobernanza de las empresas de AI merece un profundo escrutinio. Hay varios argumentos posibles contra la gravedad de estas amenazas y ojalá los creyera porque el autoritarismo impulsado por la AI me aterra. Vale la pena analizar algunos de estos argumentos y responder a ellos. En primer lugar, algunas personas podrían confiar en la disuasión nuclear en particular para contrarrestar el uso de armas autónomas de AI para la conquista militar. Si alguien amenaza con usar estas armas contra ti, siempre puedes amenazar con una respuesta nuclear. Mi preocupación es que no estoy completamente seguro de que podamos confiar plenamente en la disuasión nuclear contra un país de genios en un centro de datos. Es posible que una AI potente pueda idear formas de detectar y atacar submarinos nucleares, realizar operaciones de influencia contra los operadores de infraestructuras de armas nucleares o utilizar las capacidades cibernéticas de la AI para lanzar un ciberataque contra satélites utilizados para detectar lanzamientos nucleares. Como alternativa es posible que la toma de control de países sea factible únicamente con vigilancia y propaganda de AI y que nunca se presente un momento claro en el que sea evidente qué está sucediendo y cuándo sería apropiada una respuesta nuclear quizás estas cosas no sean factibles y la disuasión nuclear siga siendo efectiva pero parece demasiado arriesgado correr ese riesgo Una segunda posible objeción es que podríamos tomar contramedidas contra esas herramientas de la autocracia. Podemos contrarrestar los drones con nuestros propios drones, la ciberdefensa mejorará junto con los ciberataques, podría haber formas de inmunizar a las personas contra la propaganda, etc. un centro de datos no será posible igualar la calidad ni la cantidad de drones ni que la ciberdefensa supere en astucia a la ciberofensiva por lo tanto la cuestión de las contramedidas se reduce a la cuestión del equilibrio de poder en una AI potente en este sentido me preocupa la propiedad recursiva o autorreforzante de la AI potente que analice el principio de este ensayo y que cada generación de AI puede utilizarse para diseñar y entrenar a la siguiente generación. Esto conlleva el riesgo de una ventaja descontrolada donde el líder actual ahí, potente, podría aumentar su ventaja y podría ser difícil alcanzarlo. Debemos asegurarnos de que no sea un país autoritario el que llegue primero a este punto. Y si llega un país autoritario o un país como España no reáis primero, ¿qué haría Estados Unidos?
UNKNOWNGracias.
SPEAKER_01Además, incluso si se logra un equilibrio de poder, aún existe el riesgo de que el mundo se divida en esferas autocráticas, como en 1984. Incluso si varias potencias en competencia cuentan componentes, modelos de IA y ninguna puede dominar a las demás, cada una podría reprimir internamente a su propia población, y sería muy difícil derrocar, ya que estas carecen de una AI potente para defenderse. Por lo tanto, es importante prevenir la autocracia impulsada por la AI, incluso si no conduce a que un solo país se apodere del mundo. Ya, pero eso a qué lleva, un imperialismo absoluto, ¿no? Estados Unidos una cosa, las autocracias que no tengan AI, cuidado con los países que puedan tener algo y que lleguen antes. Bueno, Estados Unidos y sus big techs, AI contra el mundo, ¿no? Vamos a... vamos a ver el chat otra vez y luego veremos defensas y terminaremos pero muy muy interesante muy muy interesante
SPEAKER_04a
SPEAKER_01ver Dicen en el chat Alberto Eceni, habrá que observar los movimientos de las farmacéuticas o las high tech. Ejércitos con inteligencia artificial sin una base territorial fija incluso en el espacio. Van a empezar a lavar el cerebro las IAS. Vaya chiste. Bueno, qué cerebro, ¿no? Yasmín y Norcorea tiene solo abacos. Es increíble la visión de Estados Unidos. Por aquí hay mucha voz y voto. Aquí comentan de Palantir. Dice, parece un relato para la infancia. adeptus solo espero que se desarrollen tanto que se vayan a tomar por culo otro planeta y dejen de joder no creo que eso ocurra adeptus quieto todo el mundo quieto todo el mundo es preocupante esto y mucho además os dais cuenta que nadie está analizando este texto es tremendo realmente tremendo Realmente tremendo. Bueno, vamos a seguir. Defensas. ¿Cómo nos defendemos de esta amplia gama de herramientas autocráticas y posibles actores amenazantes? Como en las secciones anteriores, creo que podemos hacer varias cosas. En primer lugar, ¿no deberíamos vender chips?
UNKNOWNNo.
SPEAKER_01herramientas para su fabricación ni centros de datos al Partido Comunista Chino. Los chips y las herramientas para su fabricación son el mayor obstáculo para una AI potente y bloquearlos es una medida simple pero extremadamente efectiva y quizás la acción más importante que podemos tomar. Que va a ser inútil. No tiene sentido vender al Partido Comunista Chino las herramientas para construir un estado totalitario basado en la AI y posiblemente conquistarnos
SPEAKER_02militarmente. Bueno, bueno, bueno, bueno, bueno, bueno, bueno, bueno, bueno, bueno, bueno. Bueno, bueno, bueno, bueno, bueno. Bueno,
SPEAKER_01bueno, bueno. Y posiblemente conquistarnos militarmente. China a Estados Unidos. Se esgrimen argumentos complejos para justificar tales ventas como la idea de que difundir nuestra tecnología por todo el mundo permite que Estados Unidos gane en una batalla económica general e indeterminada. En mi opinión, esto no es como vender armas nucleares a Corea del Norte y luego alardear de que las carcasas de los misiles las fabrica Boeing y por lo tanto Estados Unidos está ganando. China está varios años por detrás de Estados Unidos en su capacidad de producir chips de vanguardia en cantidad y el periodo crítico para construir el país de los genios en un centro de datos es muy probable que se produzca dentro de esos próximos años. No hay razón para dar un impulso gigante a su industria de ahí durante este periodo crítico. En segundo lugar, tiene sentido usar la AI para empoderar a las democracias y así resistir a las autocracias. Por esta razón, Anthropic considera importante proporcionar AI a las comunidades de inteligencia y defensa de Estados Unidos y sus aliados democráticos. Defender a las democracias bajo ataque, como Ucrania y Taiwán, mediante ciberataques, parece ser una prioridad al igual que empoderarlas para que utilicen sus servicios de inteligencia para desestabilizar y debilitar a las autocracias. autocracias desde dentro en cierto modo la única manera de responder a las amenazas autocráticas es igualarlas y superarlas militarmente una coalición de eeuu y sus aliados democráticos si lograra el predominio de una y potente estaría en condiciones no sólo de defenderse de las autocracias sino también de contenerlas y limitar sus abusos totalitarios En tercer lugar, debemos adoptar una postura firme contra los abusos de la AI en las democracias. Debe haber límites a lo que permitimos a nuestros gobiernos hacer con la AI para que no tomen el poder ni repriman a su propia población. La formulación que he elaborado es que deberíamos usar la AI para la defensa nacional en todos los sentidos, excepto aquellos que nos asemejarían más a nuestros adversarios autocráticos. ¿Dónde debería trazarse el límite? Bueno, en la lista al principio de esta sección 2, en la sección 2 elementos. El uso de la AI para la vigilancia masiva nacional y la propaganda masiva. Me parecen límites infranqueables y totalmente ilegítimos. Algunos podrían argumentar que no es necesario hacer nada, al menos en Estados Unidos, dado que la vigilancia masiva nacional ya es ilegal, según la guarda enmienda. Sin embargo, el rápido progreso de la AI y puede crear situaciones que nuestros marcos legales actuales no están bien diseñados para abordar por ejemplo probablemente no sería inconstitucional que el gobierno estadounidense realizara grabaciones masivas de todas las conversaciones públicas esto es lo de la DSA europea por ejemplo lo que la gente dice en una esquina y anteriormente habría sido difícil analizar este volumen de información pero con la AI se podría transcribir, interpretar y triangular todo para crear una imagen de la actitud y las lealtades de muchos o la mayoría de los ciudadanos apoyaría una legislación centrada en las libertades civiles o incluso una enmienda constitucional que impusiera medidas más estrictas y estrictas contra los abusos impulsados por la AI los otros dos elementos las armas totalmente autónomas y la AI para la toma de decisiones estratégicas son más difíciles de definir ya que tienen usos legítimos en la defensa de la democracia aunque también son propensos al abuso en este caso creo que lo que se justifica es un cuidado y un escrutinio extremos junto con medidas de seguridad para prevenir abusos mi principal temor es tener un número demasiado reducido de personas que controlen el sistema de modo que una o más o unas pocas puedan operar un ejército de drones sin necesidad de la cooperación de otros humanos para ejecutar sus órdenes a medida que los sistemas de AI se vuelven más potentes es posible que necesitemos mecanismos de supervisión más directos e inmediatos para garantizar que no se utilicen indebidamente quizás involucrando a ramas del gobierno distintas del ejecutivo creo que debemos abordar las armas totalmente autónomas en particular con mucha cautela y no apresurarse a utilizarlos sin las debidas garantías vamos En cuarto lugar, tras establecer una línea dura contra los abusos de la AI en las democracias, deberíamos usar ese precedente para crear un tabú internacional contra los peores abusos de la AI potente. Reconozco que la coyuntura política actual ha virado en contra de la cooperación y las normas internacionales, pero en este caso las necesitamos urgentemente. El mundo necesita comprender el oscuro potencial de la AI fuerte o potente en manos de autócratas y reconocer que ciertos usos de la AI equivalen a intento de arrebatarles la libertad para siempre e imponer un estado totalitario del que no pueden escapar. Incluso argumentaría que en algunos casos la vigilancia a gran escala con A y potente, la propaganda masiva con A y potente y ciertos tipos de usos ofensivos de armas totalmente autónomas deberían ser consideradas crímenes de lesa humanidad. En términos más generales se necesita urgentemente una norma sólida contra el totalitarismo y impulsado por la AI y todas sus herramientas e-internet. instrumentos. Es posible una acción aún más contundente de esta postura, dado que las posibilidades de un totalitarismo impulsado por la AI son tan sombrías, la autocracia simplemente no es una forma de gobierno aceptable en la era poderosa de la AI. Así como el feudalismo se volvió inviable con la revolución industrial, la era de la AI podría llevar inevitablemente y lógicamente a la conclusión de que la democracia, y ojalá una democracia mejorada y revitalizada por la AI, como analizo en Machines of floving grace es la única forma viable de gobierno para que la humanidad tenga un buen futuro Bueno, una democracia mejor puede, las falsas democracias actuales. En quinto y último lugar, las empresas de AI deben ser vigiladas cuidadosamente, al igual que su conexión con el gobierno, la cual es necesaria pero debe tener límites. La enorme capacidad que incorpora una AI potente es tal que es improbable que el gobierno corporativo convencional, diseñado para proteger a los accionistas y prevenir abusos comunes como el fraude, esté a la altura de la podría ser valioso que las empresas se comprometan públicamente, quizás incluso como parte del gobierno corporativo, a no tomar ciertas medidas como construir o acumular material militar de forma privada, utilizar grandes cantidades de recursos informáticos por parte de individuos individuales de forma irresponsable o utilizar sus productos de AI como propaganda para manipular la opinión pública a su favor. El peligro aquí proviene de muchas direcciones y algunas direcciones entran en conflicto con otras. La única constante es que debemos buscar la rendición de cuentas y normas debidas de seguridad para todos al mismo tiempo que empoderamos a los actores buenos para mantener a raya a los malos, yo le haría una pregunta a Darío Amodei ¿qué es la inteligencia de un país? todo lo contrario que le estás poniendo ¿van a prescindir los países de su inteligencia?
UNKNOWN...
SPEAKER_01Yo creo que, como han dicho por aquí, esto es un relato infantil. Es software. Hostia, para ser software la que están liando, ¿eh, Pedrín? Dice Farlan, dice el globalismo está bien mientras el liderazgo lo tenga yo. Exactamente. Esto es el resumen de parte del texto. Pero también es verdad que... A ver, proponte un texto, ¿sabes? Claro, como la situación actual. Si partiéramos de cero, ¿no? A lo fundación... Pues es muy sencillo, o más sencillo, pero claro, así, ¿qué hacemos? No es fácil, ¿no? Al final, bueno, hay cosas que se pueden defender aunque no sean ciertas, como las actuales democracias, pero ¿qué proponemos si no? Dice Alberto de Zenit, para defendernos de las autocracias iremos con nuestra dictadura democrática. Con dos cojones. Así de bien dicho está. Lo suscribo. Para defendernos de las autocracias iremos con nuestra dictadura democrática totalmente. Y con la actitud imperialista, con la bandera de Estados Unidos. Me parece tremendo. Voy a ver qué queda. el punto 4 no vamos a dejarlo para otro día 4 y el punto 5 4 es enorme imagínate
SPEAKER_044
SPEAKER_015 A ver... Nos queda para un día más. Vale, pues lo vamos a dejar aquí. Más preguntas y si no nos vamos. Yo creo que ha sido como va a ser una trilogía de una horita, 20 minutos, horita y media. Bueno, voy a hacer algún tipo de reflexión. Eh... Vosotros pensad una cosa, ¿no? Es decir, este texto... Es extensísimo, importante, sobre los riesgos. Vimos ayer los riesgos de autonomía, hoy hemos visto los riesgos de un mal uso para la destrucción y también el abuso para la toma del poder. Mirad, entended que estos son los líderes de las grandes compañías de la tecnología que va a transformar el mundo. Mucho mejor que los líderes políticos. Y entiendo que también esto será un debate transversal. ¿Pero sabéis la que se puede armar con todo esto? ¿Qué hará Europa con esta patata caliente? ¿Qué va a hacer Europa? Oye, necesitamos velocidad. ¿Qué va a hacer Europa? ¿O necesitamos regulación y contención? No, las dos cosas se pueden. Bueno, a ver, se pueden... Se puede buscar un equilibrio, no digo que no, no digo que no haya regulación, pero... ¿Qué es lo que pensáis? ¿Qué ocurrirá aquí en España? Bueno, China ha hecho, dice... Dice, gracias por darle con el 4. No, el 4 y el 5 mañana, porque es que es a las 6. Si fuera a las 7 y media haría un punto más, pero es que es a las 6 y media el próximo programa. Entonces no me da la vida. Manuel Alfonseca, además, quiero prepararme algunas cosas más que he estado viendo. El programa va a estar muy potente. Dice Farland, gracias siempre Plácido, los riesgos por generar este espacio. Bueno, eso también lo pensaba, ¿no? La IA analizará el canal de Xhava y me pondrá como un clúster. Un atractor de un clúster disidente. ¿Y si los chinos hicieran un texto similar? Bueno, Europa o cada zona, ¿no? Es decir, entonces, ¿qué pasaría? Oye, siempre que sea España y aliados, perfecto. España y las democracias hispánicas. China y sus aliados. Rusia y sus aliados, no sé, Inglaterra, quien sea, quien quiera declararse en ese sentido, y hace, como dice Alberto de Zenit, una declaración en esa misma línea que se ha hecho. Si os acordáis, cuando se manifestó lo del AI First por parte de Estados Unidos, que prácticamente venía a decir, previo a lo del proyecto EDEN, previo a lo del proyecto EDEN, o misión EDEN, era, bueno, previo al proyecto Génesis, era el plan AI First para América y no sé qué historias. Que luego China sacó una publicación o un manifiesto parecido. Y era nosotros queremos integrar a la gente, nosotros queremos ayudar a la gente, nosotros entendemos la tecnología. Es decir, es una declaración de proyecto civilizado. Vamos a ver aquí, amigos, el resumen es el siguiente. Uno lo ha dicho muy bien Alberto de Zenit, que es la... Oye, mientras... Y bueno, también lo habéis dicho... Bueno, y Farlan, ¿no? Una, que mientras yo tenga el liderazgo, el resto son los enemigos. Es decir, que una visión humanista no hay. Es yo y los demás. ¿De acuerdo? Luego, el tema de las autocracias y las democracias es yo soy lo mejor y entonces quiero amigos demócratas. Y los autócratas son los demás. Todo lo demás es irrechazable. No tiene sentido. Se tiene que acabar como el feudalismo. medieval entiendo que también tendríamos que acabar con el imperialismo americano porque para el imperialismo americano nosotros somos una puta mierda Y lo que decimos, es decir, ¿qué visión integradora tiene esto? ¿Cómo van a poder llegar a acuerdos si ya directamente declaran como enemigo público número uno a China? Es decir, ¿cómo tú vas a llegar a un acuerdo con alguien que te dice tú eres el enemigo, mi enemigo, y además mi primera preocupación y te voy a putear para que no avances? ¿Cómo van a...? ¿Qué tipo de amistad o acuerdos van a llegar? Es cierto que a veces hay que hacer alianzas hasta con tu enemigo, hasta con el diablo, ¿no? Para poder que la vida continúe. Pero claro, al final es bueno y si no puede continuar, pues que gane el más fuerte, ¿no? La guerra de la inteligencia artificial es la guerra por el más fuerte. La guerra por el que llegue primero. Se sabe que quien llegue primero a ese punto de IA fuerte, que no quiere daría modo y no quiere decir esos términos, pero es la carrera por la AGI y por la ASI, por la inteligencia y por la superinteligencia, son aquellos que dominarán la civilización en el futuro. Tenéis que recuperar la serie de tres episodios Aji Asi, los hombres que caminarán con los dioses. Lo tenéis en podcast. Tres episodios. No sé cuántos con perdón gilipollas se quedaron por el camino simplemente porque puse ese título. Y me sabe mal perder los pabeles, pero es que es verdad. Es decir, porque vamos a ver. Es que por un título así uno se merece que lo insulten. Solo por el título. Por hablar de Aji Asi hace unos años, bueno, era... me llamaron el porno de la IA ahora que si me escuchas ¿qué pasa amigo? ¿cómo va la vida? entre eso y el del software vamos apañados aquí en España ¿qué camino es el que tiene que adoptar España? Eso, ¿no? Frases como eso, ¿no? El infierno son los otros. Sartre. Muy buena frase, Alberto. Te voy a poner aquí de... Te voy a tener que poner una invitación. Oye, un día si te animas, Alberto, no hay problema, ¿eh? Te pongo aquí conmigo y te escuchamos también. No hay ningún problema. Si te apetece, sabes que me envíes un mensaje directo y al lío. Algún programa, pasa nada. Lo que dices está muy bien. Bueno, tu hermana se ha invitado a gente... va a entrar gente nueva, bueno, hoy, esta semana tenemos a tenemos, bueno, acordaos esta tarde tenemos a Manuel Alfonseca, pero mañana tenemos a David Ivancos y Jimmy Uf, no me acuerdo. Espérate, ahora he quedado mal. Un segundo. Jimmy Pons. Jimmy Pons, ¿sabes? Que presenta en su libro Recursos Humánicos. Tío, he puesto Recursos Humánicos y ¿qué pasó? Sí, claro, pero el libro... De verdad, esto de los posicionadores... Recursos Humánicos. No lo encontraba. Jimmy Pons. Jimmy Pons. Al que no conozco, pero mañana tendré a los dos. Mañana tendremos a los dos. Y luego tendremos gente también nueva, etc. Senzen, dice ya, muy bien dicho también, Senzen contra Silicon Valley. Contra Alicante. Aliforme. Que iba a ser la Silicon Valley. Yo me quedé aquí por eso. Fui inocente en ese sentido. Bueno. Tuve fe Esperanza era un proyecto... bueno, en principio no era político luego se descubrió que era político y más allá, ya podéis leer entre líneas bueno amigos creo que me voy a preparar la Xtalks de Manuel Alfonseca Origen y Futuro una charla imperdible alguien a quien tenéis que seguir que tiene por cierto un blog de ciencia y reflexión imperdible además un montón de libros de Manuel de ciencia ficción bueno de ciencia ficción y de no ciencia ficción Papers ese famoso de la contención de la superinteligencia en definitiva un placer poder contar con Manuel Alfonseca en XHabay ya en varias participaciones nos vamos amigos gracias por acompañarme gracias por estar ahí nos queda un episodio para terminar la adolescencia de la tecnología que si no pasa nada será mañana y después de mañana no sé si daremos un día de pausa y continuaremos con la constitución de Anthropic así que bueno, de todas maneras a los que les gusten estos programas genial, al que no los escuche el que prefiera las entrevistas, el que prefiera los debates el que prefiera otro tipo de tema al final, hoy en día podéis elegir lo que queréis escuchar así que nos vemos dentro de un rato y nos espero a todos, un abrazo Desconectando
SPEAKER_03tu cuerpo, desconectando tu mente, cerrando la conexión con tu alma. I hope you enjoy the podcast of Xhub AI. Support us in Patreon and PayPal. Join community in Discord. Follow us in social networks. Working in the next episode. See you soon.