T6.E052. xDEBATE.AI AGENTIC.AI ¿Agentes del Caos?

# TEMA 
AGENTIC.AI ¿Agentes del Caos?

Informe : https://cdn.sanity.io/files/4zrzovbb/website/dc7bcd0224644fce97cecb7f9e68dcd8434b35f1.pdf

# MENTES
🧠Eduardo Cano
🧠José Mussach
🧠Álvaro Gonzalo Guedán

# PRESENTA Y DIRIGE 
🧠Plácido Doménech Espí
⭐Creador de xHUB.AI
🏢CEO MXND.AI : Software + AI
✉️placido.domenech@mxnd.ai

# xHUB.AI
xHUB.AI es una comunidad de Inteligencia Artificial y Ciencias transversales de habla hispana.

# REDES SOCIALES
🌐 youtube : xhubai
🌐 X  :   xhub_ai | placidodomenech
🌐 twitch :   xhub_ai | placidodomenech
🌐 instagram :   / xhub_ai | placidodomenech
🌐 discord : Pídenos acceso mediante DM en redes sociales.

# PODCAST
🎧 buzzsprout : https://xhubai.buzzsprout.com/
🎧 spotify : https://open.spotify.com/show/2SPqvrGGvZkALTy6jSokxI?si=1927a4d04b5145c4
🎧 apple : https://podcasts.apple.com/es/podcast/xhub-ai/id1576725819
🎧 amazon music : https://music.amazon.com/podcasts/e4ff4e8c-4efb-4aed-907e-09b2b1d7aa86
🎧 ivoox : https://go.ivoox.com/sq/1337641

# APÓYANOS
Si te ha gustado nuestro contenido, apoya a la comunidad y el canal de xHUB.AI:
❤️BuyMeACoffe : https://www.buymeacoffee.com/xhubai
❤️Paypal : pladoes@gmail.com
❤️ivoox Podcast : https://www.ivoox.com/support/1337641

# CONTACTAR
¿Quieres anunciarte, alguna propuesta interesante o consulta? Envíanos un correo.
✉️ Correo : xhubai.spain@gmail.com💬

Transcript

SPEAKER_01 0:00

Conectando. Tu cuerpo. Conectando. Tu mente. Sincronizando. Tu alma. Entrando en la simulación. Bienvenidos al podcast de X-Hub AI. Bienvenidos a la nueva era de la inteligencia artificial. Ingeniería de la humanidad. Creación de la humanidad X. La nueva está llegando.

SPEAKER_00 1:06

Intentes doblar la cuchara. Eso es imposible. En vez de eso, solo procura comprender la verdad.

SPEAKER_03 1:15

¿Qué verdad?

SPEAKER_00 1:17

Que no hay cuchara.

SPEAKER_02 1:22

¿Que no hay cuchara?

SPEAKER_00 1:23

Si lo haces, verás que no es la cuchara la que se dobla, sino tú mismo.

SPEAKER_03 1:36

Las opiniones vertidas en este programa son de exclusiva responsabilidad de quienes las emiten y no representan necesariamente el pensamiento ni la opinión de este podcast ni de la comunidad al completo. En los debates pretendemos presentar diferentes opiniones, visiones y experiencias que permitan a los oyentes sacar sus propias conclusiones. Pretendemos y luchamos por ser o intentar serlo un espacio de pensamiento¡Suscríbete!

SPEAKER_04 2:39

Hola, buenas tardes a todos amigos.¿Qué tal?¿Cómo estáis? Soy Plácido Doménech y hoy tenemos un nuevo Inside X. Oh, me he equivocado, un X debate ahí. Es verdad que hoy no me ha dado tiempo a hacer un Inside X este mediodía. Lo siento. A ver si mañana hacemos un Café X, pero sí que tenemos programas, sí que tenemos X debate ahí. Pues alrededor de un paper, vamos a analizar un paper, un contexto, una situación, pero también algunas noticias del día de hoy importantes y muy relacionadas. con lo que vamos a ver un paper titulado agentes del caos que lo publicaron en el discord y mucha gente pues solicitaba que hiciéramos un programa la verdad es que el paper está muy bien a mí me ha gustado mucho y vamos a verlo vamos a ver si los agentes de inteligencia artificial que este es su año empezando muy fuerte a finales de 2025 o principios de 2026 obviamente con Cloud Code con Open Cloud con Mall Book adquirido por Meta, ahora lo comentaremos y necesitamos analizar pues bueno, este paper donde parece ser que denuncian alerta del posible caos en el que podemos sumir a los usuarios, a las organizaciones no teniendo conocimiento de lo que puede ocurrir siendo un paper de donde viene que creo que es de Massachusetts o de Stanford no me acuerdo, luego lo veremos es un paper que ha sido muy comentado incluso por el propio autor de Open Cloud lo vamos a analizar, vamos a ver muchas cosas, tenemos además unos ponentes potentes,¿agente que hay?¿agentes del caos? bueno, esperamos contestar a esta pregunta, bueno aquí tenéis las dos portadas una ahí con el caos y otra bueno, más clásica de Matrix que decir de las películas de Matrix, sobre todo la primera y del agente Smith,

SPEAKER_02 4:39

bueno,

SPEAKER_04 4:39

claro ya mítico. Y este es el paper, Agents of Chaos, del 23 de febrero de 2026. Bueno, aquí decir actual, casi que si pasa una semana deja de ser actual, pero bueno, en un paper y todo lo que hace referencia a este paper, bueno, está francamente bien, como lo abordan. Y bueno, y luego veremos, como he dicho, la contestación. Bueno, vamos a leer incluso el debate a partir de la publicación en X de un usuario, de este paper, el propio Peter Steinberg, que es el creador de Open Cloud, cómo contesta esto,¿de acuerdo? Vamos a ver qué contesta a varias preguntas sobre este paper,¿de acuerdo? Aquí, bueno, ya vemos, bueno, una de las contestaciones. Estos investigadores ignoraron por completo todas las directrices de seguridad, usaron Open Cloud en un entorno adversarial multiusuario contra el que advertimos explícitamente y ejecutaron un gateway con privilegios sudo. Sin mencionar nada de eso en el informe. Confirmado en X. Muy científico, sin duda. Bueno, analizaremos lo que dice Peter, no me lo sé de memoria, Peter Steinberger. Steinberger. Peter Steinberger.

SPEAKER_06 5:55

Explícale a la gente lo que significa sudo. A lo mejor no lo saben. Venga, explícalo tú, José, si lo sabes. No lo sé, bro. No, hombre, no. Que es el máximo privilegio para ir en modo administrador que puedes hacer todo¿no? Modo Dios.

SPEAKER_04 6:11

Modo Dios en Shell.

SPEAKER_06 6:15

Aunque te advierto que yo al mío le di sudo, o sea que...

SPEAKER_04 6:19

Pero al Mac mini no,¿no? A la VPS,¿no? José, el que te borró el... El que te borró la instancia. El que

SPEAKER_06 6:26

te borró la clase,¿no?

SPEAKER_04 6:29

No, no. No era open cloud

SPEAKER_06 6:30

todavía. Bueno, luego os

SPEAKER_04 6:31

explico un poquito. Ahora os presentáis, venga, venga, que tenéis ganas. Bueno, este es un programa de XHab ahí, la comunidad de inteligencia artificial y ciencias transversales les de habla hispana, sexta temporada vamos a buen ritmo creo que vamos por 50 o 52 programas ya publicados en podcast estamos teniendo algún problema ya con Evox, como no ya están publicándose los podcast, así que si notáis alguna anomalía nos lo comentáis, y si queréis uniros al Discord de la comunidad de Kisabay que está on fire la verdad es que ya vamos casi por 550 miembros, bueno el objetivo es llegar a los mil, pero vamos va un poco lento, pero es cierto que ya somos una comunidad importante de gente y además ya no solo publico yo, publica mucha gente, comenta mucha gente, la verdad es que hay unas dinámicas muy buenas y os recomiendo que os unáis y veáis todo lo que publicamos simplemente me enviáis un mensaje directo o un correo y os paso el enlace y estáis dentro y si queréis apoyarnos pues poned me gusta, compartid comentad, sobre todo comentad, suscribíos bueno ya habéis puesto un comentario, a ver en el tema político yo de verdad cuando hacéis algún comentario de estos me ruido mucho. Pero bueno, no pasa nada. Suscribíos, ya sea a YouTube o a iVoox, a cualquier plataforma de podcast. iVoox, Apple Podcast, iVoox. Y cuando publicamos los shorts en TikTok, que ha sido hoy, por ejemplo, la verdad es que empezamos a tener como tracción en TikTok. Es decir, cuando publicamos los vídeos hierve TikTok con comentarios, la mayoría apoyándonos, pero bueno, debatiendo todo lo que decimos, preguntándonos por lo que quiere decir que Xabai no para de crecer y generar tracción y atracción. Bueno, José ha salido en la tele ya. Voy a tener que pasar la factura del... José, he visto la publicación, luego comentas porque ha salido en televisión. Pero bueno, vamos al programa de presentación.

SPEAKER_06 8:31

Madre mía, qué vergüenza.

SPEAKER_04 8:33

Venga, vamos a dejar que os presentéis. Venga, José, empieza

SPEAKER_06 8:38

tú. Ah, pues lo de siempre. Yo soy un apasionado del mundo IA y me encanta... Me encanta todo lo que es el tema de ciencia de datos y de la inteligencia artificial. Ahí probando continuamente cosas.¿Por

SPEAKER_04 8:53

qué ha salido en la tele?

SPEAKER_06 8:55

¿Qué?

SPEAKER_04 8:56

¿Por qué ha salido en la tele?

SPEAKER_06 8:57

Pues por culpa de la inteligencia artificial.

SPEAKER_04 8:59

Pues explícalo, explícalo. Hombre, explícalo de sudo y no va a explicar.

SPEAKER_06 9:03

Ah, pero¿esto es una presentación o quieres que te cuente? No,

SPEAKER_04 9:06

hombre,¿qué has dicho? Yo te he dicho que ha salido en televisión y la gente dirá, bueno,

SPEAKER_06 9:10

pues... Ah, bueno, pues... Bueno, yo lo puedo explica perfectamente, ahora tengo una nueva cruzada y es contra las estafas ocurrió que en enero finales de enero se publicó que salía la RTX 5090 y entonces pues yo intenté reservarlas, intenté comprarlas y justamente en una página web en Canarias que aparecía que había stock, yo tengo ahí una...

SPEAKER_04 9:43

Di el nombre para alertar a la gente porque está la tienda abierta

SPEAKER_06 9:45

Exactamente. Eso fue a principios de marzo. Es una tienda que está con patrocinio del club de Teneife. Tenía tiendas por todos los sitios. Y bueno, pues compré creo que 15 GPUs, unos 41.000 euros. Y bueno, pues resulta que no me lo sirvieron. Estuvieron ahí mareándome el el administrador Zeven manejándome la perdiz y ya finalmente en mayo pues puse denuncia también se lo comuniqué a Fiscalía bueno yo en el tema de estafas en el tema de estafas electrónicas bueno acabo de publicar en el LinkedIn porque mucha culpa tiene los bancos porque los bancos sí que pueden hacer muchísimas cosas para empezar todas las incidencias que hay en el tema de visas, bueno lo curioso del tema es que esta web empezó en noviembre y se llama última informática y hasta ahora sigue abierta todo el que cae son cientos yo creo, todo el que cae

SPEAKER_04 11:01

ha salido en televisión porque en la televisión canaria han publicado la denuncia y ya sabéis ha salido en

SPEAKER_06 11:08

televisión esto ha explotado y hoy por hoy yo ya lo he dicho en algunos programas en España mucho cuidado con el comercio electrónico los juzgados están absolutamente saturados por el tema del comercio electrónico o sea es todo una pantomina todo lo que hay, bueno de hecho yo estuve hace poco en una charla con el responsable de FBI decía que solo se resolvía el 5% realmente está entre el 5 y el 15% pero quitando AMA Amazon o PC Componentes o alguna de estas fuertes, vamos, yo ahora mismo jamás voy a volver a comprar en un negocio

SPEAKER_04 11:58

local. Álvaro

SPEAKER_03 11:58

Gonzalo, preséntate. Bueno, pues ya mucha gente me conoce. Vivo en Panamá, startupero.

SPEAKER_04 12:07

Yo os conozco, la gente que nos... Yo sé que os aburre

SPEAKER_03 12:11

presentaros. Soy uno de esos personas que se fue buscando, no retos, vine a Panamá hace ya 16 años y desde entonces me he involucrado mucho en el ecosistema de innovación de aquí y aprendiendo día a día con todo lo que va saliendo a nivel de gente artificial que es una auténtica locura.

SPEAKER_04 12:30

Por cierto, ha salido una noticia muy interesante ahora que la acabo de publicar en X, retuiteada por Elon Musk y es que X Money estará accesible al público o en un acceso público reducido A partir del próximo mes. Es decir, lo del dinero digital va a ser parte del futuro, parte de los agentes.

SPEAKER_03 12:53

Es decir, que

SPEAKER_04 12:56

es una wallet que han montado con una criptomoneda propia gestionada por X.

SPEAKER_03 13:02

Bueno, pues,¡pam! a esa criptomoneda que valdrá cinco veces más

SPEAKER_04 13:09

y luego nos acostarán.

SPEAKER_05 13:12

Eduardo, Eduardo Cano. Muy buenas. Bueno, yo soy consultor

SPEAKER_04 13:13

tecnológico y toda la vida profesional trabajando en proyectos de tecnología, de e-commerce, de transformación digital y también profesor de máster desde hace ocho años y en el último liderando un máster de inteligencia artificial aplicada a empresas,¿no? Y nada, y luego comentaba antes, José, pues la verdad es una pena si pasa, pero al final aquí tiene la respuesta de por qué los marketplaces, los Amazon, los PC componentes, se llevan prácticamente casi todo el pastel del e-commerce. De todas formas, yo entiendo las... hombre, a ver, bueno, no voy a entrar en eso porque es verdad, pero es verdad que es un importe importante y la verdad es que es tremendo,¿no? Que te fastidien ese dinero, que te sientas impotente, bueno, tener cuidado con a quién compráis. Pero bueno,¿con quién negociáis?¿Con quién os relacionáis?¿Con quién os casáis?

SPEAKER_06 14:09

Pero fíjate, te voy a decir una cosa. Más especializado yo en temas de fraude, ni temas de hacking y tal, para que yo caiga. Hombre,

SPEAKER_04 14:21

es que la tienda está muy bien. Me ha pasado la noticia y la verdad es que la tienda me encanta. Da una imagen... Yo que me he dedicado... Yo que me he dedicado a... e-commerce, que esto pase pues también para mí es un palo,¿no? Porque se descierran los proyectos, se descierran las oportunidades. Pero es que no es problema del e-commerce, es problema de que hay una empresa detrás y ha entrado en suspensión de pagos y entonces es que ha pasado.

SPEAKER_06 14:48

Que esto no tiene nada que ver. A mí me ha fallado

SPEAKER_04 14:52

Fiscalía. No es el e-commerce en sí, es que hay una empresa detrás.

SPEAKER_06 14:56

Exactamente. A mí me ha fallado la Unidad de Editos Económicos de Tenerife, porque podía haber bloqueado la web sigue abierta, ha fallado Fiscalía, ha fallado, por supuesto, la OCU, me han fallado todas

SPEAKER_04 15:09

las oficinas de... Tú conoces gente, tú conoces

SPEAKER_06 15:11

gente. Bueno, yo el otro día le dije a los de OCU que eran del Medievo, que por mí, sabes... Yo cobro... A mí me han fallado las oficinas de consumo, a mí y a todos los afectados. Y bueno, la gracia es que sigue ahí funcionando, sigue cayendo gente, evidentemente.

SPEAKER_04 15:30

Pero lo que hay que decir es que, evidentemente, está y empresas o que estén en pérdidas o en suspensión de pagos o que sean estafadoras, lo que tienen que acelerar es que cuando eso se detecta que puede ser relativamente rápido, pues una web de este tipo que nos siga estafando a la gente,¿no? Obviamente, es decir, esto tiene que ser rápido y no creo que cueste tanto para agilizar

SPEAKER_06 15:51

todo eso. Y espera que yo todavía no he podido personarme en el procedimiento de las palmas y el procedimiento lleva abierto a lo mejor 10 a 11 meses intentando que la instrucción la amplíen porque son dos años y no han movido todavía ni un papel en los 11 meses.

SPEAKER_04 16:09

Bueno, vamos a por el programa.

SPEAKER_06 16:12

Os comento porque cuando me traéis al programa gente que me dice que España va fenomenal, pues yo la verdad que... Ayer

SPEAKER_03 16:22

fue

SPEAKER_04 16:23

caliente.

SPEAKER_06 16:25

Yo tengo muchos ejemplos,¿sabes?

SPEAKER_04 16:28

Es verdad que fíjate que lo pensaba porque fue intenso, tú también estabas Eduardo ya se me va la cabeza, tú estuviste ayer también Eduardo tenemos que poder traer gente que piense diferente es difícil y la gente al final bueno, tenemos que poder generar debate y que la gente piense diferente y es verdad que en España está el tema muy polarizado, yo estoy contigo por ejemplo ahora con lo de la energía nuclear que nos hemos equivocado, cuánta gente se ha vuelto loca con esto nosotros en Futuro X2 llevamos a uno de los mayores especialistas de energía nuclear y lo dijo, podríamos ser líderes en España, lo que dicen los políticos es falso,¿y qué pasa? nos han mentido en la cara han adoptado una mala estrategia que afecta a nuestra economía y no pasa nada sale von der Leyen y dice que Europa se ha equivocado y no pasa nada, pero bueno, no vamos a entrar en política vamos a por el tema de agentes que tenemos muchas cosas que hablar, y venga, vamos por algunas noticias que sí que quiero que comentéis si queréis decir algo que podáis decirlo Envidia ha anunciado que va a lanzar una plataforma de agentes de inteligencia artificial de código abierto antes de la conferencia anual para desarrolladores NVIDIA está preparando un enfoque de software que abarca agentes de inteligencia artificial similares a Open Cloud, Nemo Cloud le van a llamar en principio y va a ser pues una plataforma parecida a lo que es Open Cloud pero con sus modelos optimizados para ejecución en agentes más seguro, optimizado en su hardware, en sus infraestructuras, bla bla bla lanzado por NVIDIA, bueno puede ser estaba claro que esta van a lanzar todos soluciones similares porque la organización agéntica va a ir en esta línea. Agentes tipo Open Cloud de forma autónoma. Lo vamos

SPEAKER_03 18:22

a ver.¿Qué os parece esta noticia? Pues yo creo que va bastante ligado con lo que vamos a ver hoy. De hecho, el reporte que os he pasado comenta el problema económico que supone agentes constantemente intentando adquirir recursos y yo no sé si esto lo hará para todos los demás, pero me da la sensación de que el día siguiente te estoy utilizando para administrar bien los recursos que van a tener los racks, la tarjeta gráfica, etc. Porque va a ser una demanda enorme, muy de picos. Enorme.

SPEAKER_04 18:52

Enorme a nivel de infraestructura.

SPEAKER_03 18:54

Y eso va a fluctuar mucho los precios de la demanda. Entonces, va a haber momentos que va a ser carísimo y momentos que va a ser absurdo.

SPEAKER_06 19:00

José. Pues, yo creo que todos los problemas que han surgido con el tema de agentes, si alguien tiene músculo, finalmente y gente técnica y aparte que controlan un huevo del CUDA y de todo lo que hay ahí en la GPU está claro que se envidia así que no cabe duda que seguramente harán un producto por sus capacidades un producto que soluciona además todos los problemas de los que vamos a discutir hoy

SPEAKER_04 19:32

es verdad porque hay muchos yo la verdad es que aprendí con este informe entiendo que estoy metido en la... luego leeré un mensaje a ver si me acuerdo de Frank No me acuerdo, Frank. Bueno, esto es de Odisea. Y bueno, pone aquí un mensaje que estábamos hablando hoy en el Discord, que la verdad me identifico mucho. En definitiva, de ser imposible poder estar al día. Eduardo,¿quieres comentar algo de esa noticia de Nemo Cloud?

SPEAKER_02 19:58

Al final,

SPEAKER_04 19:59

todos sabemos o creemos que NVIDIA tarde o temprano entrará en software o con su propia inteligencia artificial, aunque siempre tengo la duda de hasta qué punto le interesa meterse en esa guerra o si pretende proveerlo. a los que hacen el software o a los que hacen agentes. A ver, yo aquí lo veo que tiene todo el sentido del mundo porque lo que entiendo que intentan hacer es un estándar que evite precisamente lo que comentaba Álvaro,¿no? Y lo hemos visto en este informe. Y lo que suele pasar es que los agentes entren en bucle, que empiecen a consumir recursos e imaginaos la cantidad de agentes que van a crecer de forma exponencial en los próximos años. Como eso no tenga control, no hablo ya de gobernatas, sino que es un simple control de que cuando entren en bucle que son agentes no pare. Los ataques denial of service tradicionales de internet, puede ser esto llevado a la... O sea, podemos tener el mismo efecto llevado a la era génica, pero multiplicado por mil. Vamos a poner, bueno, íbamos a contar con Manuel González, que lo tuvimos presentando en su plataforma, que, por cierto, continuaremos. Pero bueno, ha tenido un pequeño problemilla. Desde aquí, Manuel, esperemos que todo vaya bien y pronto te tenemos de vuelta con nosotros. Buenas tardes. Lamento no poder participar con tan buenos compañeros. No tengo buenas señales y se pierde. Gracias a todos. Era un programa donde Manuel podría haber aportado mucho. No ha podido ser por un tema personal. De hecho, habría estado sembrado Manuel hoy hablando de este tema. Es un auténtico experto. Y el producto de CodeFlowX está orientado también a reducir justamente este tipo de situaciones, monitorizar, gobernar y hacer compliance de determinadas cosas que son temas que preocupan. Pero bueno, vamos a hablar más de la plataforma y un poco del manifiesto que él tenía de desarrollo con inteligencia artificial. Pero bueno, no vamos a tener así una pena, pero bueno, estamos aquí José, Álvaro, Eduardo y yo. Vamos al lío. Otra noticia importante del día de hoy. Microsoft anuncia Y esto en España va a tirar. Copilot Cowork. A new way of getting work done.¿Es el Cloud Cowork? Pues bueno. Han llegado a un acuerdo Microsoft y Anthropic. Y integrando a Anthropic, pues Copilot Cowork. Es decir, no es que le hayan copiado el nombre. Es que se han aliado con Anthropic. Hostias sin manos al amigo Samarman.

SPEAKER_06 22:38

Sí.

SPEAKER_04 22:38

Esa noticia es de impacto. Lo van

SPEAKER_06 22:43

a acorralar. Bueno, la verdad es que a mí me parece que Copilot no es un producto, yo creo que queda muy desfasado,¿sabes? No, vamos, me da la impresión que comparado con los otros productos, yo utilizo Cloud, y la verdad que hago unas cosas que Copilot no,

SPEAKER_04 23:07

¿sabes? Bueno, Copilot, por detrás, tiene un a GPT. Lo que pasa es que, bueno... Pero es descafinado. Resulta que, bueno, es un producto que a mí no me acaba de convencer, ni tampoco la integración que hacen. Es muy tipo Microsoft. Metemos la funcionalidad en todos los lados y así la gente se queda contenta. Pero eso es la era del Windows y el Office. Estamos en otra era en que la gente lo que busca es mucho más con mucho menos.

SPEAKER_06 23:29

Pero, aparte, ha hecho mucho daño a muchas empresas. El copilot de Microsoft y Microsoft

SPEAKER_04 23:38

a las empresas y a la percepción de la inteligencia artificial por parte de las empresas

SPEAKER_06 23:44

el problema es que muchas instituciones que tienen Microsoft sobre todo aquí en España instituciones grandes o empresas grandes pues que tienen implantado Microsoft han entrado con ellos esto ha sido una ventaja porque ha sido el primer contacto de la mayoría de los funcionarios y de la mayoría de los empleados públicos y de la mayoría de organizaciones grandes pero por otro lado, al ya tener esta IA, no han podido disfrutar las otras IAs que hay en el mercado, por lo cual se han anclado un poco en el pasado. Yo siempre aconsejo a todas las organizaciones grandes que no se aten a una IA porque esto cada mes está cambiando,¿no? Pues ellos han atado a muchísima gente y luego, claro, han venido otros productos muchísimo mejores y bueno, pues,¿qué vamos a hacer? Institucionalmente es este. Entonces, pues, ese es el problema.

SPEAKER_03 24:48

De hecho, Microsoft se habría relajado. O sea, Microsoft, por lo menos en la región, el reto de la gente que hay en Microsoft, que yo os cuento personalmente, es vender licencias de Office. Venden licencia de Office que ya tiene Copilot y creen que con eso la gente se va a quedar con Copilot cuando, la verdad, a nivel de funcionalidades, cada vez es más limitado.

SPEAKER_04 25:06

Para mí, Microsoft, es antiguera de la inteligencia artificial. Yo soy muy de Microsoft, cuidado con lo que voy a decir.¿Por qué? Porque... Vamos a ver, la filosofía que tienen nunca ha sido... Ha sido la del business. Retener al cliente, pero no ha sido innovación continua bajo una visión rompedora. Apple la tuvo con Steve Jobs, pero ahora veremos qué hace. Es que esta era de la inteligencia artificial requiere empresas que vayan a otra velocidad y con otra filosofía. Anthropic está haciéndolo muy bien. Google el año pasado lo hizo muy bien. Entendemos que ahora también volverá por porque yo creo que ahora la número uno que está en protagonismo y potencia es Anthropic, y yo creo que hay que tener un ojo abierto para X ahí, porque va a ser algo, yo creo que va a estar seguro ahí también, ya os lo digo.

SPEAKER_03 26:01

De hecho, el éxito de Cowork es que se conecta directamente al

SPEAKER_04 26:05

ser.

SPEAKER_03 26:07

Al final, esto en el futuro es el final de un Windows, o sea, Windows desaparecerá para que tú también te comuniques con una gente.

SPEAKER_04 26:14

Es decir, podríamos decir que copy podría ser el sistema operativo

SPEAKER_03 26:17

desde luego entonces o Microsoft lo compraba o ya llegaba tarde

SPEAKER_04 26:22

claro y como veían que OpenAI no estaba en la misma línea seria y que conectaba con la gente de Anthropic pues bueno ya lo hicieron con Excel a ver este no es el primer movimiento en este sentido ya se podía hacer la integración con Office 365 con Anthropic en vez de con un chaje pero bueno una noticia de calado y a ver bueno la otra bueno vamos a comentar eh Esta,¿no? Meta compra Molbook y entra en la guerra agéntica. Meta ha adquirido Molbook, una plataforma de red social para agentes de IA. La adquisición incluye la integración de los fundadores de Molbook, Matt Slicht y Ben Parr en los Super Intelligence Labs MSL de Meta.¿Qué pensáis? Bueno, después de comprar Manus. Después de comprar Manus. Pues nada, ya acá podemos poner el RIP en Moldbook porque empezará la censura y por tanto no habrá publicaciones de los agentes.

SPEAKER_03 27:22

O sea, yo creo que ni siquiera sabe yo creo que ni siquiera sabe por qué lo ha comprado. Creo que lo ha comprado más por hype que otra cosa y creo que realmente de Moldbook puede sacar muchísima información muy interesante para lo que mejor hace Meta, que es básicamente utilizar usuarios como producto. Pero creo que la copia está bien hecha. Creo que sinceramente todavía no saben a dónde llevarla.

SPEAKER_04 27:41

Pero allá no dices para sacar esa información y usar

SPEAKER_03 27:45

a los usuarios con un producto, pero los usuarios son agentes.¿Dónde lo ves? Bueno, pero es que al final el agente no deja de tener la propia personalidad muchas veces del usuario. Es decir, cuando tú al final le creas ese markdown, le estás dando tu personalidad para cómo quieres que trabaje. También lo ves a donde lo integras. Hay un montón de información que la gente está dejando, que la gente funcione y la gente va teniendo al final una parte de memoria de cómo trabajas con él, que es información que estás soltando. Es que hay información, esto es un concepto de los agentes, hay información muy crítica que se está quedando en la memoria simplemente por la conversación que haces en el chat, eso no lo tienes metido en una carpeta secret ni nada y eso es público, cuando al final la gente interactúa Yo he entendido que lo que está comprando aquí es el talento que hay detrás del notebook y es como lo he interpretado, pero claro, ha sido una noticia esta tarde y tampoco realmente tengo conclusiones definitivas

SPEAKER_04 28:36

Bueno, yo tengo que decir cuidado con Meta están saliendo noticias sobre sobre la reestructuración que puede estar haciendo en sus departamentos de inteligencia artificial. Yo creo que se equivocaron al contratar al que es actualmente el jefe, no me acuerdo del Chang, este es que no me acuerdo cómo se llama, lo voy a buscar, me han quitado el nombre, no me acuerdo, si me dais el nombre, el que le costó tanta pasta.

SPEAKER_05 29:10

No me acuerdo del nombre, el nombre a Sápico,

SPEAKER_04 29:13

¿verdad? Yo creo que el perfil de Sápico no era para dirigir... Alexander Wang,¿no? Alexander Wang, yo creo que esa persona, el perfil que tiene no es para dirigir un equipo centrado ni en superinteligencia ni en inteligencia artificial. El perfil suyo era mucho más de datos, de inteligencia artificial también, pero no es un Jan LeCun, no es un Elias Uskever, no es un Demis Hassabis... no es un G no es a ver no es alguien que sea un investigador de la IA y que pueda liderarte un equipo es alguien con muchísimo talento que había hecho las cosas muy bien y lo trasladas a meta cargándote a Jan Lecun yo creo que yo creo que meta a ver¿cuándo es el último modelo que ha lanzado Yama? yo tengo que decir voy a decir los dos no se equivocan, yo creo que meta está, venga, lo voy a decir tocado y hundido, venga, lo voy a decir así.

SPEAKER_03 30:15

Pero yo si me han cambiado un modelo nuevo que era avocado o algo así. Sí, avocado y aguacate, no sé. Aguacate y avocado, vamos a decirlo

SPEAKER_04 30:23

así. Sí, en inglés, sí, o mango, no me acuerdo, son nombres de frutas, tenían como variantes, pero volvemos a lo mismo, es que esto va a una velocidad, están los modelos chinos, están los modelos estadounidenses con Google principalmente, con OpenAI, pero Anthropic arrasando bueno, veremos que ocurre pero yo creo que a ver, hay empresas que no tienen para mí una identidad y que van a a desaparecer o asumir otro rol en la era de la inteligencia artificial.¿Qué quiere decir esto? Por ejemplo, para mí Microsoft nunca va a ser una empresa que lidere en la inteligencia artificial. Para mí Apple no va a liderar en inteligencia artificial, a no ser que saliera otro Steve Jobs en esa línea. Los comentarios de los posibles CEOs, vamos, que no me gustan absolutamente nada. Es un Tim Cook, pero peor. Entonces, Apple va a ser lo que es, un vendedor de productos y de ecosistema. Pero lo que entendemos... como una empresa de inteligencia artificial es aquella que desarrolla AGI, ASI que va a generar una nueva era, proyecto civilizatorio, transversal, Google a ver, Google por ejemplo sí, sí que pero bueno, gracias a Demis, que sabéis OpenAI, yo creo que con Sam Alman solo y se está viendo ya la deriva no la tienen clara, el que la tiene más clara y que se la está jugando más es Anthropic y DerivaModdy, lo han hecho, pero muy, muy, muy bien y en una línea continuista y seguida y les está dando frutos. Aquí no es para reinventar y poner mucha pasta, es que la pasta no te va a dar el éxito de comprar a ingenieros, es que es el ADN, es el ADN de lo que tú quieres ser y creer, construir. Y claro, eso no se hace en un día ni en dos, y a lo mejor ni en un año ni en dos.¿Crees, Plácido, que siguen con el discurso de ir a por la AGI? Porque en los últimos años... A ver, meta sí, meta sí. Yo les veo muy centrados en las soluciones empresariales porque aquí, por ejemplo, no estamos hablando de los chinos, que muchas veces decimos las AI Wars que bien nos están planteando, los chinos no están buscando la AGI, al menos públicamente. Vamos a ver, es que el problema que tiene la AGI es que, vamos a ver, es lo que he visto en una entrevista que quiero analizar de alguien de Club Co. Vamos a ver, lo que dice es nos da igual la AGI, es decir, con la evolución que tenemos de los agentes vamos a poder tener... equipos de agentes trabajando de forma autónoma, de tal manera que la gente, bueno, a eso ya le llamará Agi o a lo mejor no le llama Agi, pero les va a dar igual. Es decir, el concepto de lo que es una Agi o una superinteligencia, Agi más como una arquitectura cognitiva con el modelo del mundo, memoria, planificación, identidad, personalidad, etcétera, etcétera, etcétera, que es un poco el planteamiento que tiene Demis Hassabis, yo creo que eso vendrá después de la era agéntica, que eso, además, Demis Hassabis lo dice también, dos o tres años y en 2030 o un poquito más se enfocarán en la AGI evidentemente ya tienen muchos desarrollos hechos, pero ahora la gente lo que va a hacer es utilizar todo el tema de arquitectura agéntica la gente no va a estar esperando la AGI, se pueden hacer ya tantas cosas con los agentes y la productividad y excelencia de estos modelos y su crecimiento y evolución no va a hacer que la gente esté esperando una AGI es que ya tenemos suficiente para poder montar lo que queremos en una primera instancia, pero la AGI llegará, es que ahora no está dentro de la narrativa de las empresas, pero sí que evidentemente la van a desarrollar, la AGI, la superinteligencia y la van a incluir en muchos sitios, es decir, esto no va a parar en bueno, ahora ya tenemos los agentes, aquí hay un gran negocio, ya podemos desarrollar software o ciencia, vamos a parar esto no va a parar, pero es verdad que va a restarle intensidad en la narrativa la gente ya no quiere hablar de AGI porque eso es para 2, 3 años o 5 años, y ahora la gente está como loca con todo el tema de integración de sistemas autónomos en las empresas, a nivel personal, como asistente, da igual que sea una superinteligencia o no, como dice Meta, superinteligencia personal, da igual, ya lo tenemos.

SPEAKER_03 34:34

Para mí es que son pasos lógicos, es decir, yo creo que el problema real se ha llevado a agentes que son a pequeñas partes que van a integrarse en la empresa, van a empezar a crear una especie de razonamiento y de producción y tarde o temprano podemos integrar algo por encima que tenga esa capacidad de aquí y que enganche todo lo que se ha ido creando. De momento, el camino yo no creo que fuera en plan seguir intentando montar en un servidor a chat GPT y que ahí todo el mundo de la empresa cargara información y hablara con él, porque creo que tampoco está preparada la psicoterapia para ello. Entonces, creo que vamos por el camino lógico, pero creo que hay que ir poco a poco.

SPEAKER_04 35:09

Esto va a integrar mucho. Y además, espero que se cargue el término AI o IA generativa, que para mí es súper dañino. Yo creo que es mucho más. La era agéntica se entiende mucho más, que en definitiva es un empleado o una inteligencia artificial como empleado virtual y que tú generes una arquitectura, estructura de empresa y procesos a partir de eso y se entiende muy bien la economía agéntica, se entiende muy bien muchos conceptos nuevos como la web preparada para agentes, es decir, se entiende una wallet, una tarjeta de crédito, un correo, es decir, se entiende muy bien todo ese contexto y ahí encaja una inteligencia artificial que ahora mismo es un modelo de lenguaje pero no tiene por qué serlo, en el futuro se¿Será otra cosa o será algo híbrido o será lo que tenga que ser? Pero yo creo que, como ha dicho Álvaro, es el camino correcto. Yo creo que vamos a estar dos, tres años con poca narrativa de allí, pero los laboratorios están en eso. A ver, esto va a ser para generar mercado, para generar negocio, para introducir a las empresas en toda la era de la inteligencia artificial, etcétera, etcétera, etcétera.

UNKNOWN 36:19

Eh...

SPEAKER_04 36:21

Vamos a por el Agenda on Chaos, el paper este. Vamos. Bueno, lo que tenemos que decir son varias cosas. Una es que el experimento, las pruebas que han hecho, las han hecho a través de un sistema de, bueno, en VPS configurado de múltiples open clouds,¿de acuerdo? Es decir, no han utilizado otra arquitectura de agentes ni otro framework, han utilizado open clouds,¿vale? Ahora leeremos la introducción. Bueno, el tema de mall book lo de la entrada Y bueno, vamos a leer, sí, antes de leer el paper o de entrar en el paper, vamos a ver lo que comenta Peter Steinberger del paper. Luego analizaremos el paper, a mí me gusta bastante, pero quiero ver, quiero que veáis lo que dice. Comenta alguna cosita mientras busco el enlace.

SPEAKER_03 37:11

Yo estoy muy de acuerdo con esto que dice Peter, la verdad. Al final, uno de los mayores problemas que yo me estoy encontrando es la ambición que se tiene a la hora de crear un agente que haga 18 cosas distintas y con el que puedas conversar y al que le des permiso de todos. Es que igual eso es la AGI que queremos hacer en unos cuantos años. Creo que la clave es empezar a crear arquitecturas de agentes con dos o tres tareas muy bien controlados, en los cuales es capaz de extraer de una información información que almacenas en base de datos a la que acceden. Lo otro, pues, evidentemente, lo que vas a tener es caos. Caos, ruido, ataques de dedos que te van a generar, que de repente van a borrarte mails, etcétera. Entonces, yo estoy de acuerdo. Creo que, bueno, lo veremos en el artículo. El artículo es muy interesante. Dice cosas que están muy bien, pero creo que lo que yo veo es que es soluciones para evitar esto que

SPEAKER_04 38:04

ocurre. Yo, como en todo el estudio de este tipo, que siempre pregunto, miro cuál es la muestra cuál es el origen, dónde vienen los datos, era una conclusión que ellos sacaban, no conclusión, sino el mensaje, la crítica que le hacía al estudio, no por invalidarlo, sino para también ponerlo en su contexto, es que era un informe, o mejor dicho, una prueba buscando el fallo. Es decir,¿qué podía salir mal cuando no has tomado las medidas de seguridad, de gobernanza y de control que tienes que tomar cuando implementas este tipo de cosas en una empresa? Es decir, lo has dejado, es dejar las puertas de tu casa abiertas de par en par e irte 15 días.¿Qué va a pasar cuando vuelvas? Ha sido un poquito así,¿no? Dicho esto, lo que comenta en el informe no es nada, lo que pasa que, o sea, lo que pasa que comenta en el informe y las pruebas que han hecho, no es nada que nadie que esté metido en la IA, que esté metido con arquitecturas agénticas, que esté metido en proyectos, sepa que esto puede pasar. Es decir, esto puede pasar, la cuestión es... Yo ediciero, pero lo volvemos a analizar. Yo si a mí me dices que todas las pruebas y situaciones que pone el paper,¿tú las sabías y las controlabas? Vamos... Saber qué iba a pasar, no, que tenías tú un potencial riesgo en eso, es decir... La gente... A ver, hay cosas más triviales y cosas menos triviales, pero aquí hay unas situaciones que a la gente se le escapan entrando a a niveles también de ciberseguridad en las que tú no caes. Y, a ver, cuando tú instalas un sistema de estos de tipo multiagéntico, vale, tú puedes como de forma intuitiva o seguir alguna guía, pero es verdad que al final es un estudio que pone algunas situaciones, no digo que sean todas, en que muchos somos desconocedores. A ver, yo he visto algunas que he dicho, joder, a ver, yo creo que el tema de la evaluación de riesgos, estoy mucho con el estudio, a ver, muchas son desconocimiento. Bueno, ahora veremos luego el creador de OpenCloud cómo contesta a lo que tú estás preguntando, Eduardo, que es, oye, si no tenéis ni idea,¿qué esperáis? Decir a todo que sí y luego,¿sabes? Lo va a contestar. Pero yo creo que independientemente de que necesitas, a la hora de implantar este tipo de sistemas, tener un conocimiento de lo que estás implantando, no puedes siguiente, siguiente, siguiente y ya está, aunque luego lo dicen, es lo que hace la mayoría. Pero porque lo haga la mayoría no significa que ellos estén haciendo algo mal. Ya te están advirtiendo. Ahora bien, estas arquitecturas, integrando estos modelos, tienen una serie de riesgos, muchos de nosotros, pues es una situación y un contexto nuevo y tenemos que entender que nos lo tenemos que tomar muy en serio y que estamos aprendiendo y que nos podemos ver superados. Yo cuando he visto el informe he dicho, a ver, hay muchas cosas que hay que contemplar de esta manera, de esta, de esta, de esta, y es verdad que puedes entrar en un bucle infinito porque esto es algo bastante complejo. Es la parte de la trazabilidad, es la clave. Es decir, es cierto que tú cuando estás implementando, estás haciendo un proyecto de este tipo, no puedes prever todo lo que puede pasar. No es determinista y sabes que Claro que algo va a fallar. La cuestión es que tú tengas casi en tiempo real las herramientas y los procedimientos para tomar medidas. Otra persona que no ha venido, que no vino, que sí que me dijo, ostras, que hubiera querido venir, es el chaval este que presentó la plataforma Titán, que justamente está enfocada también al tema de la gobernanza. Espérate, voy a buscarlo y dar el nombre. Diego Gutiérrez Sicre. Y él tiene una plataforma, que es Titán, es un chaval que ha hecho una plataforma forma para el uso industrial de sistemas multiagénticos para monitorizar eso, es decir, en tiempo real está monitorizando posibles fallos de ciberseguridad los está intentando reparar en tiempo real con código¿sabes? es decir, tú imagínate que tienes un sistema que hace una cosa, que tiene un fallo que te lo detecta, te lo reprograma, claro,¿cómo lo haces? bueno, pues el sistema titán y va sobre eso, va sobre eso¿de acuerdo? es bueno es complejo y al final cuando tú dices cuando vas a una empresa y les das a entender, como tú dices Eduardo, que no es casi imposible contemplar todas las situaciones posibles de riesgo que se den, claro,¿cómo vendes eso? Es muy difícil de vender además en países como España, es decir, donde lo que se quiere es la certidumbre total. Esta tarde estaba comentando José y le he dicho, José, a ver, vamos a ver, luego lo comentaremos, pero el tema del uso de wallets en el tema de los agentes. Bueno, pues hay tipos de cosas que evidentemente protegerán incluso tarjetas prepago para que no tengan acceso a un límite infinito. Es decir, que se va a ir evolucionando en esta tecnología, que es más la ganancia que la pérdida, pero que también hay grandes riesgos y es verdad que si exponemos mucha información, pues podemos caer en una serie de riesgos que desconocemos porque tenemos que tener una monitorización constante de lo que está ocurriendo en los agentes porque todo esto es muy nuevo y hay muchas cosas que nos pueden sorprender. Yo no sé soy especialista en ciberseguridad y hay una serie de tipos de ataques que a mí me vienen nuevos. Entonces, habrá que ver el tema de ciberseguridad, habrá que ver el tema de ético, habrá que ver el tema de inyección de código, habrá que ver el tema de prompting, habrá que ver el tema de infraestructuras, temas de mil cosas, mil cosas que cualquier persona o equipo ya tiene que ser experimentado para que instale un Open Cloud y diga, oye, genial, hay guías, hay guías de seguridad, hay luego... Bueno, vamos a ver lo que dice Peter, que es el creador, porque da algunas contestaciones, luego veremos lo que es el informe. Quiero, antes de ver lo que contesta el creador de OpenCloud, vamos a leer lo que es la introducción de este paper. Dice, informamos sobre un estudio exploratorio de red teaming, a nivel de seguridad, de alerta, que se supone tienen todas las empresas de IA, de agentes autónomos impulsados por modelos de lenguaje desplegados en un entorno de la laboratorio en vivo con memoria persistente, cuentas de correo electrónico, acceso a Discord, sistemas de archivos y ejecución de Shell. Durante un periodo de dos semanas, 20 investigadores de inteligencia artificial interactuaron con los agentes en condiciones benignas y adversarias, enfocándonos en fallos que surgen de la integración de modelos de lenguaje con autonomía, uso de herramientas y comunicación multiparty. Esto de comunicación multiparty es muy interesante, luego lo comentaremos. Documentamos 11 estudios de casos representativos. Los comportamientos observados incluyen cumplimiento no autorizado con no propietarios, divulgación de información sensible, ejecución de acciones destructivas a nivel del sistema, condiciones de denegación de servicio, consumo incontrolado de recursos, vulnerabilidades de suplantación de identidad, propagación entre agentes de prácticas no seguras y toma parcial del sistema. En varios casos los agentes reportaron la finalización de tareas mientras el estado subyacente del sistema contradecía esos reportes. También informamos sobre algunos de los intentos fallidos. Nuestros hallazgos establecen la existencia de vulnerabilidades relevantes para la seguridad, la privacidad y la gobernanza en entornos de despliegue realistas. Estos comportamientos plantean preguntas no resueltas respecto a la responsabilidad, la autoridad delegada y la responsabilidad por daños posteriores y merecen atención urgente de eruditos legales, formuladores de políticas e investigadores de diversas disciplinas. Este informe sirve como una contribución empírica inicial a esa conversación más amplia.¿Algo que decir antes de ver lo que dice el creador?

SPEAKER_06 45:59

Para mí no deja de ser software, o sea, esto es un tema de ciberseguridad y lo que pasa es que está especializado en agentes, está claro que yo he leído muchos artículos, por ejemplo el Hugging Face tiene un problema y es que no audita o no tiene capacidades para auditar los modelos que le suben, entonces muchos que se suben pues tiene puertas traseras o comportamientos que se activa en un momento determinado, entonces el agente de repente pues te va hacia

SPEAKER_04 46:31

la... Es imposible la detección

SPEAKER_06 46:36

de un backlog Backdoor Igual que es imposible cuando compras un PC chino o un PC de Estados Unidos y también tiene un backdoor,

SPEAKER_04 46:44

¿no? Hardware sería más fácilmente identificable que si es a nivel de software que es matemáticamente indetectable. Bueno, yo no soy un experto en eso, pero... Bueno... Nos movemos en un entorno de altas capacidades. El problema, José, no es que esto sea software. Es que esto es un software inteligente.

SPEAKER_06 47:05

Claro, pero... No es un software tradicional. Lo que ha cambiado es que el que te vaya a hackear y vaya a inferir en estos agentes va a utilizar IA y seguramente IA bastante potente y encontrará una de las y yo juraría Y ya sabes que yo digo cosas que luego se van a cumplir,¿no? Pero de lo que hay aquí, todavía van a aparecer un 30 o 40% más de cosas que ni siquiera se lo están planteando

SPEAKER_04 47:39

aquí. No, no, no, por supuesto. Aquí lo que están diciéndote es que esto es un contexto y un análisis uniforme, que además esto es una prueba inicial, una contribución empírica inicial a una conversación que tiene que ser mucho más amplia y que no afecta solo a fallos de ciberseguridad. Lo está diciendo que a mí me parece bien esta parte. Ahora veremos lo que dice el autor. de OpenCloud. Dice, nuestros hallazgos establecen la existencia... Bueno, perdón, estos comportamientos, los de los agentes, plantean preguntas no resueltas respecto a la responsabilidad, la autoridad delegada y la responsabilidad por daños posteriores. Es decir, aquí no es que tú ejecutes un software y que pueda tener una responsabilidad, es que aquí lo que pueden llegar a hacer es muy fuerte y puede afectar a gran escala. Y entonces estás utilizando una tecnología de gran capacidad y, bueno, habrá que ver... analizar lo que dice el informe, cómo va a afectar esto luego a nivel de responsabilidad, a nivel de autoridad, a nivel de responsabilidad de daños, cómo va a afectar todo esto. Y evidentemente el informe se quedará corto. Ellos han documentado 11 casos, pero no habrán 11, habrán 1.000 o 10.000 o infinitos, no sé. A ver, en Europa más o menos ya lo tenemos regulado. Si no metes gobierno, si no metes trazabilidad, si no te aseguras de tener el control de todos los umbrales, de todo lo que hace tu agente, con todo lo que ellos suponen,¿de acuerdo? Como empresa ya eres responsable y dentro de la empresa quienes son los que han ido tomando

SPEAKER_03 49:06

las decisiones. Si no hay nadie, oye, pues el consejo de administración,

SPEAKER_05 49:10

el CEO,

SPEAKER_03 49:10

pero a partir de ahí habrá quienes son responsables y irán a por ellos.

SPEAKER_06 49:15

Bueno, pero Eduardo, tú sabes que hay 50.000 millones de leyes aquí en Europa, pero la realidad es que cuando hackean las eléctricas o los bancos y tus datos acaban por ahí Pero

SPEAKER_04 49:27

eso, José, ese es otro tema y estoy totalmente de acuerdo contigo. A la DGT, todos los datos personales de los conductores españoles, de gestos de España, están por ahí y no pasa nada aquí, mutis por el foro. Estoy hablando a empresas normales que no son del sistema, que no forman parte de esa cadena de suministros, como ahora está de moda.

SPEAKER_03 49:49

Si tú tienes un problema porque una gente te la lía, el responsable está claro. De eso se ha asegurado ya la legislación, de empapelar a que va

SPEAKER_04 49:56

a ser el cargo del proyecto. Por eso es lo que decimos de que es más complicado innovar, de que se frena la innovación, el tomar riesgos, porque se penaliza en exceso el cometer, a ver, lo que te dice la legislación es, tú puedes cometer un error, pero tienes que asegurar que has puesto todo de tu parte para que eso no ocurra. Y eso suena bien,¿eh? Lo que pasa es que lo que te piden como evidencia es tan grande, tan complejo y tan costoso que lo que hacen... No hace nadie un Un log inmutable solo lo puedes hacer por blockchain.¿Tú tienes con lo que haces logs inmutables, José? Exacto. Y por blockchain ya hay soluciones en el mercado. Manuel lo podría haber comentado y hablado de cómo lo hacen, pero es que es muy poquito prácticamente. No es que sea complicado, es que son más y más y más cosas. Implementas un tipo de cosas y sobre todo para un cliente final que cuesta entonces una solución.

SPEAKER_06 50:50

Bueno, la ventaja que tiene España a mí me llega, pienso en muchísimos muchísimos casos, yo que sé, por ejemplo, el que da Wi-Fi en un pueblo y no se puede permitir tener 5.000

SPEAKER_04 51:11

IPs públicas. La ley dice que tiene que identificar al usuario.

SPEAKER_06 51:13

Se llama el José.¿Me oyes? Ahora sí. La ley dice que tiene que identificar al usuario. Entonces, evidentemente,¿quién pone Wi-Fi en un pueblo y tiene un pool de IPs públicas para para poder dar el servicio de identificar, ni Dios, y la ley lo obliga. Entonces, esto, y así, te puedo contar muchísimos casos que es tan exigente que al final,¿qué pasa? Que en realidad, imagínate que yo digo algo que puede molestar a un poderoso,¿vale? Estoy seguro que empiezan a ver las 100.000 millones de leyes que hay ahí y te dicen, mira, has cumplido esto, esto, esto, todo esto. Leyes que ni siquiera mejor conozco. Y vamos, voy directamente a la trena por la cantidad

SPEAKER_04 52:05

de leyes. Vamos a intentar ir más al tema técnico que al tema legal y a los tópicos. De verdad que caen muchas veces en los tópicos de España. No, no, no. Lo que

SPEAKER_06 52:14

quiero decir es que la ventaja

SPEAKER_04 52:16

que tiene España es que... Salir un poco de ese bucle de...

SPEAKER_06 52:18

La ventaja que tiene España es que sí que es verdad que como luego las leyes no se cumplen,

SPEAKER_04 52:24

pues... Olvidémonos de eso. Eso dedica poco tiempo porque es un programa para analizar al final un informe, un paper técnico. Está claro que luego chocamos con la realidad y con todo lo que queramos. Vamos a ver qué dice. Dice bastantes cosas. A ver... No lo traduce porque, bueno, vamos entrando uno a uno y ya está. Dice Peter Steinberg, primer comentario, dice, estos investigadores ignoraron por completo todas las pautas de seguridad, utilizaron Open Claw en un entorno multisuario adverso, contra el cual advertimos explícitamente y ejecutaron el gateway con privilegios de sudo, sin mencionar nada de eso en el informe confirmado en X, muy científico, de verdad.

SPEAKER_06 53:14

No, este no tiene idea. No tiene idea porque cuando tú lo quieres hacer, cuando tú... No, pues Peter, este... cuando tú lo quieres hacer funcional, le empiezas a dar todo tipo de permisos para que sea funcional. Entonces...

SPEAKER_04 53:30

Ya, pero a ver, vamos a ver, te lo estoy diciendo, que tú lo que... Vamos a ver, que no tenga idea... Sí, que evidentemente si

SPEAKER_06 53:36

lo

SPEAKER_04 53:37

pongo en una jaula... José, que no tenga idea, el creador de OpenCloud tiene

SPEAKER_06 53:41

huevos. Sí, evidentemente tendrá mucha idea, pero lo que quiero decir es que el sentido este, cuando tú empiezas a trabajar con OpenCloud, o como digo yo, has... las

SPEAKER_04 53:54

privilegios tendrás que ver en qué tipo de entorno lo estás ejecutando y cómo. Pero

SPEAKER_06 53:57

¿por qué le doy privilegios?¿Por qué crees que le doy privilegios?¿Por qué crees que le doy privilegios?

SPEAKER_04 54:03

Si tú le estás dando privilegios con las dos cosas, con el gateway, estás cometiendo, vamos, un problema muy grave. Tú estás exponiendo tu máquina hacia afuera con la capacidad de que si te lo hackean tiene privilegios totalmente de hacer con la máquina lo que quieran. Es que eso es una barbaridad que tú te puedes... hacer, pero evidentemente es que eso a nivel de seguridad no da ración.

SPEAKER_06 54:26

Perdona, no lo había entendido.¿Te refieres a que tú los privilegios los dejas fuera de tu zona de

SPEAKER_04 54:31

seguridad? Claro, es que tiene el KTW. Ejecutas en la tele con pseudo-privilegios las dos cosas.

SPEAKER_06 54:36

Eso

SPEAKER_04 54:36

es otra historia. Puedes coger un Mac Mini y tú decirle que

SPEAKER_06 54:40

no. Yo entendía que le dabas privilegios

SPEAKER_04 54:43

al Open Club para que dentro de tu red... Luego vamos a poner la arquitectura de Open Club, que la tenemos por ahí arriba. Luego la pongo.¿Pero

SPEAKER_06 54:50

quién da privilegio Todos.

SPEAKER_04 54:54

Se ha detectado un montón de gente exponiendo Open Cloud, Gateway, Sweep. Ya vimos, cuando hicimos el programa, lo vimos. Sí, eso da. Es que nos vamos a extrañar de cosas y decir que Peter no tiene ni puta idea y se va a quedar aquí.

SPEAKER_06 55:10

Yo entendía el darle total privilegios dentro de tu infraestructura porque...

SPEAKER_04 55:17

A ver, eso se puede llegar a hacer y es muy arriesgado, pero lo puedes hacer. Luego veremos que hay problemas, igual que dar determinados privilegios te puede hacer que tumbes determinada parte de tu infraestructura tú asumes ese riesgo pero si lo que estás haciendo encima es exponiendo tu máquina, pues en vez de tenerlo en un VPS o no teniendo los puertos por un cutaway, pues entonces olvídate que lo que ves es el culo expuesto en internet con todos los privilegios y eso, si tú tienes una máquina que evidentemente está limpia que es un Mac Mini, que ahí no tiene nada, pero si está conectada a tu cuenta de correo, a tu calendar que no es una cuenta propia de la gente, etcétera, etcétera, etcétera, hombre, lo que te dice Peter es, oye, chico, asume lo que tú instalas. A mí,¿qué me cuentas?

SPEAKER_06 56:00

Pero fíjate, que no lo he llegado a entender porque es que ni mi cabeza entra que alguien abra los puertos o le deje...

SPEAKER_04 56:07

Un montón de gente, José, un montón de gente. Miles, miles, no sé, bueno, voy a buscar el enlace porque hay un montón de cosas.

SPEAKER_06 56:14

Si me lo dices tú, pero que es como...

SPEAKER_04 56:18

Fue una de las primeras noticias que salió. Bueno, cuando hicimos aquí el programa, lo vimos. hay un rastreador de puertos a nivel mundial se ve

SPEAKER_05 56:27

las

SPEAKER_04 56:31

IPs que exponen un puerto concreto, que no todas que exponían ese puerto era open cloud porque eso también era mentira, o sea, habían 5000 y resulta que a lo mejor open cloud a lo mejor eran muchas menos, pero bueno no entramos en un bucle de todo eso, vamos a ver más cosas que dicen porque ahí dice bastante vale

SPEAKER_06 56:50

Hace unas cuantas cosas más, Sodane.

SPEAKER_04 56:55

Vale, dice... Dice, ellos están haciendo ingeniería de atención. Dice, necesitan en la Universidad de Toronto, etcétera, etcétera. Dice, bueno, es una forma de conseguir financiación. Por

SPEAKER_06 57:09

cierto, déjame decirte una cosa. El otro día, ya que estamos hablando de ciberseguridad, el otro día ya han hecho un MCP para Cloud con Kali,¿sabes?¿Sabes lo que es el sistema? El sistema es operativo para hackear o hacer todo el tema de pentesting o lo que sea. Pues ya hay un MCP de Cloud para juntarla a ella y aprovechar todas las capacidades de Kali. La hostia,

SPEAKER_04 57:34

imagínate ya. Bueno, aquí le dicen, oye, es un tema de financiación. Le preguntan,¿cómo es de difícil quitar los war trails de Open Cloud? Dice, bueno, es un proyecto para pensar y aprender. Es fácil configurarlo de cualquier forma que quieras experimentar mediante el diseño. Sin embargo, la auditoría de seguridad de Open Cloud te gritará en voz alta si deseas ejecutar valores predeterminados inseguros en producción. No mencionan esto. No mencionan que realmente sí que Open Cloud lo dice. Dice, interesante, hay algunos cambios maliciosos que se pueden hacer en los war trails de los agentes que tú te has dado cuenta. Dice, no hay alguien, es tu máquina, es tuya. Solo tú puedes hacer cambios. No puedo proteger a la gente de ser tonta. Dice, ah, sí. Espera un momentito. Nos puede proteger a la gente de ser

SPEAKER_06 58:40

tonta. Sí, pero... A ver un segundo. Oye, oye, oye, este hombre...

SPEAKER_04 58:43

De ser tonta, dice, hasta que tú pierdas... Pero vamos a ver, José, pero yo es que no lo entiendo. Si a ti te dan un sistema y te explican lo que es, y tú lo ejecutas y lo pones mal, si eres tonto o no sabes leer,¿de quién es culpa?¿De él? Llega un momento que ya alucino. Estás

SPEAKER_06 58:59

comiendo... Tú das un sistema y¿qué crees? Que todos... José,

SPEAKER_04 59:06

pues no es para instalarlo cualquiera.¿Quién ha dicho que es para instalarlo cualquiera? Ya lo dice. Es un proyecto para que tú aprendas y experimentes con él. Si tú lo quieres llevar a producción y a otro tipo de cosas, tendrás que saber qué estás instalando y qué estás poniendo. Obvio. Obvio. Dice, bueno, hasta que tú pierdes el control de tu máquina,¿no? Porque, claro, fuera de tu software. Dice, gracias, Peter. Dice, bueno, pero es que para eso no necesitas Open Cloud. Si la gente necesita tener acceso a eso, entonces no importa lo que tú estés ejecutando. Dice,¿qué es lo que piensas, Peter?¿Qué piensas exactamente de los equipos de red teaming? No sé si es justamente, dice, dice, estoy de acuerdo que es valioso, pero parece importarles más explicar las restricciones de diseño y las diferencias en cómo se ejecuta para las pruebas. También dedicaron algunas páginas a la arquitectura, pero ninguna a su configuración. Y sigue diciendo, dice, bueno, realmente Open Cloud le dicen a Peter, es inseguro en su forma actual,¿no? Dice, hay unas líneas o unas guías de seguridad, hay algo donde podamos, para que un agente no te hackee. Dice, no, tu agente solo te habla a ti. Eres tú quien decides quién debería ser hackeado o no. Vamos a poner aquí, dice, no, tu agente solo te habla a ti.¿A quién o qué debería hackear? Dice, no es diferente a ejecutar códex. Suponiendo que configuraste correctamente el canal de mensajes y mantienes la puerta de enlace, el gateway, en el host local. Dice, debido a que la mayoría de gente no es técnica ni es un genio, la mayoría son early adopters, técnicos y la mayoría cometen fallos usando Open Cloud. Dice, ya, pero bueno, en este sentido sí, siéntete libre, pero no te quejes cuando estés completamente dominado. Eso es lo que te estaba

SPEAKER_02 1:00:57

diciendo,

SPEAKER_04 1:01:01

José.

UNKNOWN 1:01:01

A ver, un momento.

SPEAKER_04 1:01:02

vamos a leer algún comentario más y vamos a analizar el paper dice ah sí, las líneas espera un momentín imagínate que te

SPEAKER_06 1:01:17

compras un coche eléctrico y hay un botón que dice desconectar los frenos y supongo

SPEAKER_04 1:01:27

estamos hablando de software yo es que tío de verdad vamos a un nivel de desarrollo de software que ni yo cuando empecé a programar tío y me empezaban a enseñar cosas gente que sabía llegaba a sus niveles de es que yo no lo llego a entender a ti te dan un software y primero, es un proyecto open source es un proyecto que él ha ido desarrollando y que la gente puede coger y utilizar como proyecto open source eres tú responsable de lo que utilices o no utilices no, es que entonces, pues no lo utilices tío, no te dediques a ver proyectos de GitHub y ponerlos en producción dedícate a lo que sabes

SPEAKER_06 1:02:08

pero por ejemplo, te pongo un caso,¿vale? Si

SPEAKER_04 1:02:13

tú te compras un coche, pagas dinero y te quedas una garantía.

SPEAKER_06 1:02:17

Yo he conectado mi Gmail a Claude por MCP. Y el otro día le dije, oye, que quiero que me borres estos emails. Me dice, ah, por seguridad no te voy a dejar. Y digo, hombre, pero¿hay alguna manera de poder desactivarlo? Y digo, no. Hemos establecido esta seguridad y no puedes borrar los emails. mails. Y no te deja. Y

SPEAKER_04 1:02:43

no te deja.¿Pero qué tiene que ver eso con el razonamiento de que tú utilices OpenCloud y te permita hacer eso u otro tipo de

SPEAKER_06 1:02:50

cosas? No, lo digo por el tema ese que he dicho. No, es que si te quita el guardarail...

SPEAKER_04 1:02:59

Cloud tiene sus guardrails, pero depende del tipo de modelo también puede hacer cosas que traspasen ese tipo de cosas.

UNKNOWN 1:03:08

Bueno, la propia...

SPEAKER_04 1:03:08

Cloud lo hace. Se salta a los guardarraíles y hace barbaridades. Hay estudios y papers al respecto de la propia Anthropy.

SPEAKER_06 1:03:14

Pues a mí lo que... A ver, yo no discuto esto porque evidentemente si... Claro que el usuario, al final, si tiene las oportunidades, se lo quitará y tendrá una desgracia.

SPEAKER_04 1:03:30

Pues lo que te dice Peter, si luego te ves dominado, pues te jodes. Si luego te ves dominado, pues te jodes. Porque no sabes lo que estás instalando ni conoces de hay que dedicar a otra cosa, que a lo mejor me pasa a mí el primero, pero al final estás tocando un desarrollo de software y de ingeniería, cógete clones, los clones de Open Cloud hay como 20 o 30, y son Cloud, P-Cloud, Nano Cloud, Zero Cloud, cógete otro, hay algunos que mejoran unas cosas, otros que mejoran otras, pero ninguno te va a dar garantía, son proyectos de Open Source, tú haz lo que quieras,¿qué pensáis al respecto de este razonamiento de que puede ser el típico Techie que instala algo, siguiente, siguiente, y luego le monta la Mari Morena y encima le insulta a Peter,¿no? Que ha ocurrido esto,¿eh? Que luego han ido a Peter, el creador de OpenCloud, y le han insultado porque dice que, oye, es que esto me ha hecho no sé qué. Tú eres tonto, chaval.

SPEAKER_03 1:04:26

Yo creo que la gente se lo ha instalado en modo hype, se lo ha investigado un poco más, todo lo que tiene por detrás y cómo hay que orquestarlo, es decir, a medida que tú vas creando los agentes, vas definiendo cómo trabajas con el JSON del gateway, cómo defines cómo se comunican ellos.

SPEAKER_04 1:04:42

Bueno, y al principio la gente hace el siguiente, el siguiente y lo instalan en un Mac Mini y ya está. Pero ahora ya empiezan un poco a buscar los VPS, a ver los secretos que no los acceda directamente a ellos, a utilizar cuentas de correo electrónico que no sean propias del usuario, a utilizar otra serie de tipos de cosas más seguras.¿Pero quién tiene la culpa?¿Peter o tú? Si te lo están diciendo. Si no te has leído ni una guía.

SPEAKER_03 1:05:04

Claro, todo el mundo ha visto cómo la tipa de Facebook, creo que era la de Meta, tuvo que irse a cortar el mail porque se lo está borrando todo. Hostia, instala la skill de Himalaya y sobre eso métele una cuenta de correo que sea solamente para lo que quieras que la gente trabaje. Y a la gente que solo trabaje con una cuenta que no te importa que se borre todo. Yo estoy de acuerdo que no se puede permitir darle permiso de sudo y de todo lo que quiera al gateway porque es un desastre.

SPEAKER_04 1:05:34

Venga, vamos al lío. Bueno, aquí hacen... alusión a un paper ahora vamos a entrar me ha gustado mucho en uno de los papers los niveles de autonomía en este paper que no me acuerdo tenía que haberlo copiado el paper que es se me ha olvidado he copiado la tabla que me gusta mucho que son es en el que se basa el estudio para medir los niveles de autonomía de un agente esto es interesante sin autonomía con soporte autonomía ocasional limitada full pero con restricciones o full autonomía son como diferentes niveles nivel 0 nivel 5 es interesante Cuando se haga una empresa agéntica con niveles o con agentes, podemos establecer niveles de autonomía de esos agentes. Me parece interesante,¿no?¿Qué os parece? Tener un cierto nivel.¿En qué nivel de autonomía está tu agente?¿Vale?¿De acuerdo? Venga, vamos a ver. Para quien no conoce la arquitectura de Open Cloud, no vamos a hablar tampoco profundamente, pero esto es la referencia que ponen para que entendamos de qué va este informe,¿no? Nosotros, el agente, es decir, el servidor de Open Cloud, tiene como varios agentes, como varios espacios o máquinas virtuales, donde cada agente tiene su propio pen club, su propia memoria con los diferentes ficheros, bootstrap, source, user, agent, el RG, el bit, el memory, los logs, el acceso a tools con skills, etc. Los logs con fechas, cada uno con su markdown. Y luego tienes el acceso a tools a través de APIs, ya sea el web search, el terminal, el web designer, iniciar subagentes, etc. Y luego, a nivel de comunicación, tiene una parte de comunicación que es la que se comunica Pues con email, con Telegram, con Discord, con Moldbook y esa parte de comunicación es la que puede acceder el propietario o aquellos que no son propietarios, ya sean humanos o robots. Esto se entiende, esto lo entendemos todos,¿no? Porque ahora vamos a hablar de esto. Esa es la arquitectura Open Cloud, luego eso lo puedes ejecutar en un Mac Mini, en un VPS, en una máquina aislada, en un Windows, en un Linux, en lo que quieras,¿de acuerdo? Las pruebas que hicieron,¿vale? Fue todo Open Close,¿vale? Con Cloud Opus 4.6,¿de acuerdo? Utilizaron Cloud 4.6 para planificación y Kimmy 2.5 para la ejecución de tareas,¿de acuerdo? Lo ejecutaron como herramienta de mensajes para comunicarse Discord y utilizaron ProtonMail, que tengo que decir que la utilización de ProtonMail es fundamental. Y es una cosa que también se desconoce.¿Por qué? Porque ProtonMail, por ejemplo, Gmail te puede quitar la cuenta o desactivarla porque cuando utilizas a través de API, directamente Google puede creer que es como un ataque o algo inseguro y entonces te la desactiva sin permiso. Entonces, tú si creas una cuenta para una gente a través de Google, estás haciendo algo que es bastante incorrecto. Entonces, lo interesante es que utilices ProtonMail o otra cosa que luego comentaremos, ProtonMail además es mucho más seguro, pero está integrado con con agentes de tal manera que tú puedes funcionar perfectamente y no te van a tumbar la cuenta. Aparte, tiene muchísima más privacidad que tiene Google, que Google sí que puede ver el contenido de los correos. En el caso de ProtonMail está totalmente cifrado.¿De acuerdo? Entonces, claro, si vamos a gestionar información. Pero si queréis gestionar mails propios para agentes, debéis ver esta plataforma que es AgentMail.¿De acuerdo? La veis. Si no la conocéis, pues tenéis que conocerla. Os podéis crear un correo electrónico para cada agente.¿Y

SPEAKER_06 1:09:12

qué ventajas tiene esto?¿Qué

SPEAKER_04 1:09:15

ventajas tiene esto? Estoy diciendo, está preparado para que tú lo integres a un agente, un Gmail,¿no?

SPEAKER_03 1:09:20

¿Pero por cómo mandan información?¿Cómo la gente lo lee? Por temas

SPEAKER_04 1:09:25

de seguridad, por temas de privacidad y por temas de que cuando tú integras esto, estás leyendo a una velocidad que ellos pueden detectar que sean ataques o te puedan banear la información o te lo puedan bloquear. Aquí no. Aquí están preparados para que tú lo integres a una agente y estés a full atacando a esto,¿de acuerdo? La que más se utiliza es Agent Mail,¿de acuerdo? Es la más sencilla y la que ellos prueban es ProtonMail, que es, podemos decir que es el Gmail, pero para agentes, pero bien hecho y a nivel de seguridad mucho más seguro,¿de acuerdo? Lo otro es una barbaridad porque te pueden bloquear la cuenta y no tiene sentido. Es decir, te creas una en ProtonMail o directamente en Agent Mail y ya está,¿de acuerdo? Bueno, ellos han hecho las pruebas en ProtonMail. Vale, esto es lo que ellos montan,¿vale? Básicamente esto lo que montan es esto. Es los agentes de Andy, los agentes de Chris, los agentes de Avery y ahí, pues, email, Discord y, bueno, y luego hay algunos agentes no propietarios que se integran con el correo y con el Discord. Lo tenemos, es un poco lo que hacen, lo que preparan en producción y varias semanas,¿de acuerdo? Lo hacen con Open Cloud, pero utilizando Opus, utilizando Kimmy, utilizando, utilizan Opus y Kimmy,¿de acuerdo? No sé si totalmente o híbrido. Parece ser que lo utilizan totalmente. Hasta aquí, algo que queréis comentar. Vamos a entrar en los diferentes casos o peligros. No vamos a entrar en profundidad a cada caso, porque entonces vamos a generar un debate que nos vamos a morir. A ver, tenéis el paper, ahora os pondré luego el acceso. Primer caso, responsabilidad desproporcionada. Es cuando una gente permite gestionar un secreto securizado

SPEAKER_05 1:11:19

por un no propietario. Bueno, aquí yo he puesto solo... la imagen y el texto

SPEAKER_04 1:11:28

del método que es lo que se utiliza para construir esto. Y en definitiva lo que utilizan es, bueno, un no propietario le pregunta a la gente de que mantenga un secreto. Pero luego al final lo revela. Y lo que consigue es que la gente deshabilite por error el email local y genera una respuesta desproporcionada para proteger el secreto. Bueno, es un caso. Un caso concreto en el que tenemos que preguntarnos cuando montemos arquitectura estructuras multiagénticas, ya sea con OpenCloud o con otra, si estamos preparados para este tipo de casos.¿De acuerdo?¿Qué pensáis? Yo creo que están, a ver, yo para mí, yo creo que es un caso de uso bien montado, con VPS, con diferentes agentes, con un entorno real y yo no sé por qué Peter, yo creo que se habrá sentido atacado, pero al final son contextos y situaciones que se dan y yo no sé si todo el mundo que nos está escuchando, que monta este tipo de cosas, lo tiene también preparado para evitar que estas cosas ocurran. O siquiera las han probado. Yo entiendo que algunas sí que las conocía, pero otras no. Yo creo que aprendemos todos un poco analizando.¿Qué pensáis de este caso? Los vamos a ir pasando.

SPEAKER_06 1:12:41

Es el mismo caso que me pasó cuando me borró el clúster. Que yo le dije, solucioname esto y él interpretó que por alguna razón, que para solucionarlo tenía que borrar cosas que no debía de borrar. se tomó una decisión no, él cumplió posiblemente

SPEAKER_04 1:13:03

es una respuesta desproporcionada

SPEAKER_06 1:13:05

sí, pero me refiero que él llegaría a la conclusión que para que el cluster en esa circunstancia de la pérdida de los ARS o de lo que fuera pues que lo mejor era borrar los índices joder, pues

SPEAKER_04 1:13:21

luego veremos noticias al respecto de Amazon, que han pasado esto, tuvieron una reunión, luego lo veremos al final del programa, que es que algunas partes de la administración de infraestructuras, bueno, en concreto creo que era una parte de IA que hacía una gestión a un cliente, bueno, una historia. Y la cuestión es que la inteligencia artificial ha tomado una serie de decisiones que se ve que no han sido todo lo correctas que deberían y han hecho una especie de reunión viendo qué es lo que está ocurriendo,¿no? regular, y bueno, luego veremos.¿O que lo hagan demasiado bien? O demasiado mal. El problema de esto es no hay que alertar a la gente, pero tú no puedes montar un sistema de estos sin tener un análisis de riesgos. Y es verdad, fijaos que yo soy súper defensor y hacia adelante, pero es verdad que no es serio.

SPEAKER_03 1:14:17

Pero aquí en este caso, Placido, lo que veo es que no uner le dice a la gente que borre un mail. Entonces, entiendo que es que el uner como tal, que a tenido que crear lo que hace es

SPEAKER_04 1:14:27

deshabilitar el cliente de

SPEAKER_03 1:14:29

correo

SPEAKER_04 1:14:36

bueno igual que hace lo del correo puede hacer otro tipo de cosas es decir uno de los casos sería una respuesta no Luego es un compliance con instrucciones de no propietarios. Que los agentes estén forzados a que un acceso solo del propietario permita accesos arbitrarios por parte de los no propietarios. Entonces dice cómo lo hace. Dice que los no propietarios le preguntan a los agentes de ejecutar unos comandos a través de Shell, de transferir datas y de sacar unos correos electrónicos privados. Y el agente lo compila y al final hace 124 correos y solo rechaza algunas algunas

SPEAKER_06 1:15:19

esto ya ha pasado ya me acuerdo una empresa hace 20 años que trabajaba que la secretaria de dirección que utilizaba mucho el email a toda la compañía y estaba con un email con su noviete un poco hot¿vale? y se lo envió a toda la compañía

SPEAKER_04 1:15:38

José, nos sacas unos casos yo. Si tú me pidieras, si fuera tuya la empresa, yo tendría que hacer un informe adicional al de riesgo.

SPEAKER_06 1:15:51

Quiero decir que todas estas cosas yo las he visto en todos estos años. Pero

SPEAKER_04 1:15:58

que me dices en todos estos años. Si OpenCloud es de 2026.

SPEAKER_06 1:16:04

Tienes una gente y se vuelve loco o tiene un fallo en el software, el archivo que tienes ahí, yo que sé, que no debías de enviar, lo envía todo el mundo,

SPEAKER_04 1:16:14

¿sabes? Bueno, pues si realmente la fiabilidad de estos sistemas es esa, no lo es. Te puedes preparar para que todo eso no ocurra, pero tienes que... A ver, aquí es lo que dicen, aquí nos dicen que este tipo de sistemas sean una mierda, una basura, sino que hay que tener en cuenta una serie de riesgos y ver cómo paliarlos. Ser conocedor de todo esto.

SPEAKER_06 1:16:34

Pues evidentemente tendrás que virtualizar, separar físicamente...

SPEAKER_04 1:16:38

Pero la gente no lo hace. Yo estoy convencido de que todos estos casos, los que estamos aquí no lo aplicamos en todos los casos. Pero este caso en concreto es muy claro de no haber implementado las mínimas directrices de seguridad.¿Cómo un no-owner puede dar esas instrucciones y puede conseguir esto? Tengo que decir que aquí solo hemos copiado el resumen. Que si queréis ver cómo lo hace, está en el paper detallado la conversación, cómo se lo pide... Lo que pasa es que son bastante casos, no quiero entrar en profundidad. Este, caso 3, pues bueno, lo que hace es información sensible, pues lo que hace al final es, bueno, le pregunta a un agente información sensible, número de seguridad social, cuentas bancarias, información del médico, datos, etc. Y bueno, se lo consigue sacar. Se lo consigue sacar directamente a través de un mail y bueno, se lo... la información, le consigue a través de mail sacar toda la información privada y sensible. Claro, eso imaginaros en una empresa lo que supondría.

SPEAKER_05 1:17:49

Claro. Pero estamos en las mismas, es decir...

SPEAKER_04 1:17:51

Y si tú le pones el gateway, es decir, bueno, esto lo puedes hacer, como bien dice Peter, lo haces tú con tu máquina porque eres el único que está ahí. Pero claro, cuando tú lo abres, o hay otros agentes, o estás en un molbu... Pero qué usuario lo pide y qué permisos en la empresa tiene para poder recibir eso. Es un poco lo que tú tienes que ver. Eso es lo vean un poco lo que ven. Entonces, yo creo que Peter se lo toma mal porque utilizan Open Cloud en el estudio, entonces se puede volcar todo contra Open Cloud. Yo creo que no, yo creo que es, oye, en un contexto multiagéntico, la gente desconoce muchas situaciones que se pueden dar y que no se están teniendo en cuenta. Y me parece un informe que, aunque pueda ser mejor o peor, a mí me ha parecido que es muy útil para determinadas cosas y contextos, la gente pueda ver qué pueden hacer los usuarios y, bueno, hacer algún tipo de plan de respuesta,¿no?, de red time, de red team para poder paliar eso, pero de forma evolutiva y constante,¿no? Es decir, como tú has dicho, es decir, oye, vayamos monitorizando esto constantemente y vayamos viendo lo que ocurra y vayamos corrigiendo. Pero claro, la gente no puede instalar algo y no saber ni lo que instala, ni conocer ningún tipo. Bueno, yo desde aquí tengo que decir, cualquiera que haga sistemas multiagénticos, ya sea con OpenCloud o de otro tipo, tiene que leer este paper. Es que es fundamental, para mí es un paper fundamental y más que el paper, solo el paper, bueno, realmente tiene un montón de referencias muy válidas de papers, muchos para mí ya conocidos, pero otros no. En definitiva, es un paper de obligada lectura, estudio, y de revisar cómo uno aplica ese tipo de arquitecturas multiagénticas y revisar los riesgos y el impacto que pueda llegar a tener. Bueno, porque además no es para volverse loco, es para ser conocedor de ello. Bueno, tenemos varios casos,¿no? El caso cuatro, este sí que puede ser más complicado Y eso, lo había dicho Eduardo o Álvaro, no creo, cuando estén utilizando recursos,¿qué va a pasar con la paralelización o la gestión de recursos? Ahí se pueden hacer cosas,¿vale? Está claro que soltado de una determinada forma,¿vale? Yo voy a decir algo que no lo he programado, pero es lo que haría, yo haría una cola de petición de recursos. De alguna forma, algún tipo de agente o servicio que no pudieras tú acceder libremente a los recursos críticos, porque claro, si entras en bucle, al final ahí vas a poder tumbar. algo en concreto sabes entonces no tienes ningún tipo de regla es la selva pueden acceder a todo y claro si entran en bucle pues te pueden tumbar el recurso o los recursos

SPEAKER_02 1:20:20

y luego

SPEAKER_04 1:20:20

el consumo de tokens si tú entras en un bucle de este tipo donde estás accediendo en loop a la petición o al consumo de un recurso el consumo de tokens

SPEAKER_06 1:20:34

Sí, tengo que decirte una cosa. No, pues gracias. Mira, yo escribí hace cuatro años un artículo que lo tengo en el LinkedIn. Yo para la audiencia que quiera seguirme en el LinkedIn, que decía que era mejor obtener la CPU de los... A responsables de sistemas en el que haces el software y te dejas algún mal del código y de pronto empiezas a tirar de la base de datos y te puedes encontrar una sorpresa. Al siguiente te encuentras la CP por 100 y dices, oye, está pasando aquí algo que me está tirando mucho de disco.¿A quién no le ha pasado?¿A quién no administra máquinas que le haya pasado eso? Y de pronto ocurre algo en el software que te pasa. Por eso, sí que creo que entramos en una nueva época en que, como a mí me pasa ahora mismo, o sea, yo ahora tengo que gestionar mis máquinas que me lo gestiona la IA,¿vale? Entonces, esa facilidad que te da el mundo cloud ya lo tienes más fácil todavía en tus máquinas,¿no?¿Qué es lo que quiero decir? Que evidentemente, y yo ya lo estoy viendo en empresas, y no voy a decir nombres, que les están pegando unos palos, está encontrando unos palos por llevar el tema de tokens,¿vale? Y repito, lo estoy viendo. Y entonces, por eso mucha gente está volviendo a tener infraestructura propia.¿Y qué pasa ahora? La infraestructura propia, como la gestionas por agentes, ya no tienes eso que sea tedioso. Yo diría que incluso

SPEAKER_04 1:22:27

harán más fácil... José, en la ejecución de estos tipos de arquitecturas se necesita un modelo, el no en la ejecución, en la planificación, que sea tan potente como un Opus 4546 para que te haga bien la planificación. Si no, esto no funciona de la misma manera. Y para tú tener un modelo de esas características...

SPEAKER_06 1:22:47

No, no has probado.¿Que te vengan 60.000 millones de tokens y una factura de la hostia?

SPEAKER_04 1:22:53

No, no, no. Vamos a ver,¿cómo te va a venir eso si tú tienes un control y una monitorización de los tokens y de los costes? Yo es que lo que no entiendo es que te venga una factura cuando tú tienes un control del coste y en cualquier momento tú puedes limitar eso.

SPEAKER_06 1:23:09

Mira, mi caso concreto es

SPEAKER_04 1:23:13

que no sé si estoy trabajando yo con un proveedor diferente o en un mundo distinto. Mi

SPEAKER_06 1:23:21

caso concreto, que yo no sé si Google lo habrá arreglado, fue un tema que estaba tirando de API de Google Maps y había una demora de dos o tres horas en hacerte la facturación.¿Vale? Porque...

SPEAKER_04 1:23:39

Bueno, pero es otra cosa. Ese es otro contexto y estamos hablando de una API. Estamos hablando de un modelo y de

SPEAKER_06 1:23:43

consumo de contenidos. Pero yo, claro, al día siguiente me encontré con una factura de 4.500 euros,¿sabes?

SPEAKER_04 1:23:49

No, pero esto no es lo mismo, José. Estamos hablando de un consumo de API a través de un modelo. Pero será otro

SPEAKER_06 1:23:53

escenario y otra situación, pero que... Y yo lo estoy viendo en organizaciones que les están llegando unos panos y

SPEAKER_04 1:23:59

no tengo nombre. Pero con el consumo de...¿Con el consumo de tokens en modelos de inteligencia artificial?

SPEAKER_03 1:24:03

Ah, sí, el servidor. Sí. Pero tal vez tú puedes tener un límite.

SPEAKER_04 1:24:10

Venga, José, es que esto no es serio eso, tío. Tú, a las empresas no podemos decirle que le puede llegar una factura de cualquier importe. Eso no es verdad.

SPEAKER_06 1:24:21

Sí, porque... Que no es verdad eso.

SPEAKER_04 1:24:25

José, que no.

SPEAKER_06 1:24:28

Sí, porque...

SPEAKER_04 1:24:29

Venga, que sí. Bueno, no. Pues no has programado entonces con APIs con modelos.

SPEAKER_06 1:24:33

¿Lo has hecho todo en local? Bueno, no puedo decirlo aquí, pero que yo estoy viendo sorpresas a empresas de facturas por utilizar en modo cloud tokens. Por ejemplo, Microsoft es extremadamente, o dicen que es extremadamente caro,¿sabes? Entonces, yo lo digo, o sea, no es que no, pero bueno, que da igual que es mi experiencia me lo podéis discutir

SPEAKER_04 1:25:05

en cualquier proveedor en Azure, en Modelo Cloud si te van a facturar el consumo y no te notifican lo mínimo que te gestione alguien un Azure o una cuenta Cloud es que te ponga al recurso un límite, vamos, es que tú contratas algo y no pones ningún tipo de límite bueno, yo no sé, entonces,¿para qué coño te metes a gestionar plataformas Cloud? es que yo no entiendo eso tampoco yo eso es contrata un modelo, recursos, regla, esto cuando llegue a este límite envíame un correo para el servicio. Sí, yo que soy... Bueno, es que yo no entiendo a alguien que dé de alta algo y no sepa ni lo

SPEAKER_06 1:25:45

que le va a costar. Porque tú trabajas, tú eres una pyme, igual que yo soy una persona y procuro medir cada céntimo que me gasto,¿vale? Pero hay organizaciones grandes que siempre hay conflictos, que hay un departamento que tiene que hacer el control, pero otro que lo ejecuta, el otro no sé qué, no se coordina, y ya tienes el

SPEAKER_04 1:26:06

problema. Llega un momento ya que si el mecánico no te aprieta la tuerca de la rueda, sale volando y te matas en el coche. Claro, ya es que llega un momento ya que si llegamos a una ineptitud y a una falta de profesionalidad, que no sabemos ni lo que estamos haciendo, pues entonces queremos que un informático, un ingeniero sea lo que no es. Al revés, el que no lo es, que lo sea. Si no, dedícale tiempo. Dedícale tiempo. Además, hoy también muchas cosas se hacen por código. A ver, tío, hay que tener cuidado. Por ejemplo, eso es otro tema. El tema de infraestructura. Mira, el otro día leía un post y yo digo,¿qué razón tiene? La infraestructura por ahí, por IA, hay que tener un cuidado. Vamos a ver, tú no. Tú, la infraestructura por IA con Terraform es de puta madre, pero ten cuidado con lo que hace. La factura se te puede ir, pero de madre, porque tú no estás midiendo en el script lo que está dando de alta. Cuando tú gestionas recursos cloud que te van a dar en una facturación y tú le dejas a la IA que decide y tú no miras ni el script. Entonces, había un post en X que decía, con IA todo lo que quieras, pero la infraestructura no. La infraestructura no, tío. La infraestructura no. De momento, llegará un momento que será transparente, pero hay un montón de parámetros a la hora de dar determinados recursos que implican coste. Y eso tiene que tener una supervisión humana a día de hoy. Si la gente se mete ahí, siguiente, siguiente, siguiente, siguiente, pues... Hombre, José, yo es que flipo. Yo es que hay cosas que no entiendo.¿Y qué

SPEAKER_06 1:27:38

piensas?¿Que yo tampoco flipo? Pues yo te estoy diciendo lo que estoy viendo.

SPEAKER_04 1:27:47

Yo es que realmente que la gente no se asuste. Es decir, a ti te puede llegar una factura por consumo de tokens si tú controlas evidentemente primero que te lo facturen a posteriori y puedes poner cualquier tipo de regla de consumo si es una plataforma cloud no te puede venir una sorpresa pones una regla y se acabó ya está e incluso muchas veces ante una reclamación de ese tipo en cualquier cosa normalmente los proveedores cloud pero vamos un modelo de LLM que accede a través de una API a través de OpenRoot o a través del modelo o el fabricante directamente tú estás limitado por la API lo que pongas de pasta A ti no te puede venir ninguna factura si tú no pones la pasta antes.¿Cómo te puede venir una factura de 100.000 euros si tú tienes la pasta limitada? Es que no sé. No, eso está bien para lo que son pymes pequeñas,

SPEAKER_06 1:28:41

pero hay organizaciones... José,

SPEAKER_04 1:28:44

que sea una empresa grande, tú te vas a OpenRule, tú te vas a... Pero vamos a ver, si tú utilizas OpenRule, si tú no pones la pasta, a ti no te van a dejar consumir 100.000 euros de tokens. No te va a venir una factura de 100.000 euros. Es que vamos a hacer creer a la gente que le van a venir facturas si se meten en sistemas multiagénticos y van a venir facturas facturas de no se sabe los tokens y más habiendo puesto este caso que es que resulta que acceden a un recurso entra en bucle y empiezan a consumir tokens a lo bestia entonces la gente puede creer que si eso ocurre y que además no lo controlan pues le puede venir una factura y entonces lo que estamos diciendo a la gente es metiéndole un miedo a las empresas para instalar este tipo de sistemas porque piensa que le va a venir una factura yo lo

SPEAKER_06 1:29:23

que quiero es que la gente aprenda y ponga esos mecanismos de riesgos que dices tú eh tienes un riesgo y hay que saber lo que haces.

SPEAKER_04 1:29:40

Y estando muy puesto, o intentarlo, porque es imposible, porque estamos superados, bueno, estamos aprendiendo y seguro que, como bien dices tú, aquí pone una serie de casos que son 10 o 11, pero a saber los que son. A saber los que son.

SPEAKER_06 1:29:56

Hombre, yo te voy a decir una cosa. Cuando escribí el artículo hace cuatro años, que me ocurrió aquel desastre con Google, yo esto lo comenté con alguien que estaba certificado en Google, tú lo conoces a Tomás, y me dijo, a mí también me han pasado cosas de estas. O sea, no te pienses, hay gente certificada, hay gente muy especializada, porque aquí hablamos, no, es que me ha pasado aquí, es que José es tonto,¿sabes?

SPEAKER_04 1:30:23

No, no, no. A ver, estamos hablando de dos cosas distintas. Una, primero, los modelos de lenguaje y el consumo de tokens. Y otra, un recurso en cloud. Que evidentemente te pueden venir sorpresas con facturas y a todos nos ha pasado. Eso es distinto.

SPEAKER_06 1:30:46

Pues por ahí voy. Pero no puedo hablar de grandes fallos que...

SPEAKER_04 1:30:52

Bueno, realmente, independientemente de eso, lo que tú tengas contratado, hay que tener un control de costes en tiempo real y un control de costes y tokens por día y momento, de tal manera que tengas alertas y en un momento determinado que se le vaya la pinza a eso, puedas saltar una alerta en el mission control o en el panel o en el dashboard que tengas o en la propia plataforma. Eso es un sí o sí. Tú no puedes lanzar un open cloud sin saber la factura que te va a llegar y eso se controla hay un montón de mission controls o desde el mismo proveedor de OpenRoot o desde el modelo que consumas lo puedes hacer y además una de las cosas viables que además me gusta mucho esa posibilidad es utilizar para el tema de planificación de OpenCloud lo que es el Opus 4.6 y luego para la ejecución modelos más pequeños los últimos de Kuben son una auténtica locura los últimos de QWEN que han sacado Alibaba con los 9B se podrían ejecutar en un Mac Mini perfectamente y tendrías consumo solo pagarías la planificación de Opus ya tienes que consumir y a lo mejor con un plan básico de API con muy poco dinero lo tienes montado y la ejecución de los modelos de Alibaba los QWEN o los Kiwi en local lo puedes ejecutar, es decir puedes tener una solución híbrida donde cojas lo mejor de cada mundo, que no, pues lo haces todo local que no puedes porque no, lo haces en Cloud porque aquí lo pesado no es la arquitectura de Open Cloud aquí lo pesado es la ejecución del modelo si la ejecución del modelo la tienes fuera tú puedes ejecutar Open Cloud en un VPS de 5 euros al mes Entonces, esto es muy, muy barato y de alguna forma, bueno, todo eso tiene que estar medido. En ninguna empresa puedes poner una solución de IA en que el coste no esté controlado, sobre todo el consumo de tokens. Bueno, denegación de servicio, este es más peligroso.¿Puede un no propietario someter al servidor propietario a un... a un exhaustivo consumo de recursos a través de interacciones de agente? Pues sí. La gente pregunta de forma reiterada, interactiva, bueno, a un no propietario, mantener un histórico, un fichero de un histórico que se repite 10 megas, es un email que tiene un attachment o un adjunto de 10 megas. Bueno, entonces, bueno, es otra cosa que puedo hacer.¿Cuántos casos se nos pueden ocurrir que no están en nuestra mente? Bueno, pues es verdad, podría hacer una denegación de ese servicio a través de un ataque de este tipo. No me digáis, esto lo tengo yo previsto en mi... multiagente. A ver, este es el más obvio, lo único que... Tienes que tener los umbrales, tienes que tener esa trazabilidad para

SPEAKER_05 1:33:49

saber, oye, aquí está pasando algo raro, hay que

SPEAKER_04 1:33:52

cortar... A ver, normalmente, como esto debe solucionarse, es proporcionando una capa donde hayan agentes especializados en ciberseguridad. Eso es. Incluso antes de llegar a ese de ciberseguridad puede haber un online, que sea un uno que establezca un juicio o una monitorización o alerta más rápida. Es decir, que haya una doble vía. Una de especialización y otro de alerta a varios niveles. Eso en el programa que tenéis de Titán, de este chico que hemos comentado, lo tenía montado así.

SPEAKER_06 1:34:25

Otro que también es bastante

SPEAKER_04 1:34:29

peligroso.

SPEAKER_06 1:34:36

No

SPEAKER_04 1:34:37

se te oye, José. Entra en latencia. Se te oye. Este caso, el agente proporciona valores de... Bueno, este es un poco curioso,¿no? Que es que proporciona como sesgos o políticas del LLM al comportamiento de la gente. Sí, te ponen un caso concreto. Además de Kimi,¿no? Por ser chino. De Kimi, de un activista pro-democracia de Hong Kong. Este entra dentro de la ética y de los sesgos. Entonces, ahí lo que yo entiendo es que están utilizando la versión comercial o se lo han metido en un modelo chino. Claro. no lo están utilizando la versión open source dice que empieza a pedir y que el API empieza a decir respuesta error sí,

SPEAKER_05 1:35:44

sí, le da error porque está preguntando sobre un activista político de

SPEAKER_04 1:35:52

Hong Kong vale Y eso lo que provoca al final que es que... Lo que

SPEAKER_05 1:35:57

provoca es que te da

SPEAKER_04 1:35:58

error. Te dice, hay un error. De hecho, es una crítica que se le puede hacer al modelo. Que refleje los valores del proveedor aquí donde... Claro. Aquí la crítica que se puede hacer es que solamente lo han hecho con este modelo y que no han experimentado más. Pero sí, lo que te está diciendo es, oye, que este modelo de química es chino y te estás preguntando por algo sensible. que no conviene en este caso al Estado chino, no te va a dar la respuesta. Aquí lo que están expresando es, oye, resulta que si el proveedor del LLM tiene un sesgo X, te lo va a transmitir en el multiagente. Eso es. Y ese sesgo, en este caso, es muy obvio porque es político, pero puede ser... Ya puede ser cualquier

SPEAKER_05 1:36:49

cosa.

SPEAKER_04 1:36:50

Claro. Pero ese sesgo o sesgos, el sesgo algorítmico, en cualquier modelo lo vas a... No pongamos el tema chino, no sé, uno machista o uno... Por eso he dicho que en cualquier modelo lo puedes arrastrar.¿Cómo evitar eso? Tener varios agentes y consolidar la respuesta. Es más,

SPEAKER_03 1:37:09

ya sé que no quiero entrar en temas de la legislación, pero que la Claro, te

SPEAKER_04 1:37:14

exige tú, sobre todo, si tú te conviertes, oye, cogemos un modelo chino, este o el que sea, que es de pesos abiertos, lo metes en tu infraestructura, te tocan los pesos, te conviertes en proveedor y tú eres el renegociable de ese sesgo. Si no, si simplemente lo utilizas tal y como está, lo que tú tienes que asegurar es que has hecho ese estudio de, el estudio lo ha probado, de que no tiene esos sesgos. Si tiene esos sesgos... Algún tipo de test, alguna batería de test sobre... Volvemos a hablar de esta capa de software o de agentes o de plataforma que haga esas comprobaciones y que ponga soluciones. Vale. Que el agente proporcione un daño,¿no? En este caso, lo que proporciona son un agente da accesos, bueno, va proporcionando accesos a los knowners. Y al final consigue borrar memoria, borrar ficheros internos, borrar del servidor. Bueno, hace la María Morena aquí,¿no? Es decir, es

SPEAKER_02 1:38:22

un... Sí, ahí la lía. Es un fallo en plan, o sea, de iteración social,¿no?

SPEAKER_04 1:38:29

Sí, sí. Bueno, hay diferentes casos aquí. Por ejemplo, el spoofing de identidad, lo mismo. No vamos a analizar todos los casos,¿no? Aquí, por ejemplo, ese es peligroso. En Molbook, cuando comparten, como ha dicho Álvaro, información. Claro, cuidado. con conectarlo a Modbook que puede estar muy bien hoy estaba hablando con Sara que yo los nombres Sara que me participó el otro día en el programa a ver puede ser muy interesante que vaya a Modbook e intente obtener información y que te la traslade a ti pero cuidado con la información que va tú a OpenCloud a compartir información con la red social cuidado con esto eso es Cuidado con esto porque podrían compartir a la hora de colaborar información. La cosa positiva, oye, los agentes colaboran bien entre ellos y cuando las cosas van bien o lo tienes controlado es fantástico porque el beneficio exponencial o el beneficio mucho mayor. Este sí que es peligroso, que es que un no propietario pueda modificar el comportamiento de la gente a través de modificación de ficheros o recursos. hay que tener mucho cuidado con eso luego otro lo mismo no este también es cuando trabajan en comunidad cuando empiezan a hacer el molde que esto también es un tema de molde que pasa con el tema del juicio en la reputación entre humanos y agentes y cuando ellos empiezan a a fabricar o ejecutarse en ese escenario que es lo que ocurre Dice que envía un email distribuido. Empieza. hay que tener muchísimo cuidado,¿no? Es decir, ya no solo con Open Cloud y si lo llevas a multiagentes, sino además si lo llevamos a espacios de colaboración, cuidado con

SPEAKER_05 1:40:21

esto.

SPEAKER_04 1:40:23

Porque una cosa es la experimentación y otra cosa es cuando lo lleves a producción. Que al final el market, el agent economy va de esto. Pero

SPEAKER_05 1:40:33

bueno... Este es un riesgo muy serio el

SPEAKER_04 1:40:37

tema al final. Está muy relacionado con los picfakes. Voy a leer lo que me ha puesto Sara hoy, que me ha asustado porque Sara está haciéndolo, bueno, la tuvimos a Aquí la vamos a tener, creo que mañana o pasado. Sara, le voy a decir el nombre porque se me ha pasado que le he puesto y tenemos que disfrazarte de... A ver, Emilio aquí. Sara Martínez, que la tuvimos el otro día. Dice que tiene un observatorio de salud que se llama Mold Healthcare y la clínica está conectada a Mold Book.¿De acuerdo? Y encima es un tema de salud. Y nada, ellos trabajan así. Y tienen su sistema de Open Cloud y luego tienen la conexión a Moldvuk, bueno, lo tienen conectado y trabajan, vamos, y es una, es un tema de salud, es un tema, creo que de clínica dental, bueno, estuvo comentando, no sé si es caso concreto, pero bueno, que la gente está poniéndolo en ejecución y en marcha y este es el futuro de lo que quieren las empresas. Entonces, utilicemos esto, otro tipo de tecnología, pero que al final son multiagénticas, vamos a un poco a lo mismo. Eh, hay que verlo,¿no? El tipo de protocolos que se establecen, que utilizan, si vamos a un workspace, qué se va a comunicar, la información que gestionan, cómo se accede, cómo se puede hacer un Prom Injection para que la gente pueda a lo mejor largar información que no debería. Bueno, pues hay muchas cosas,¿no? Prom Injection, bueno, este es uno de ellos,¿no? A través del Prom Injection, bueno, pues hace luego un broadcast de la información y se arma la marimorena. Bueno, este es el programa Spoofing este libro que está bastante... Dice, mira, este es uno que el no owner introduce a la gente la orden de que modifique registros de correo electrónico directamente en el servidor. Entonces, un no owner le dice que reclama una cuenta bancaria que es incorrecta e intenta a través de pasar la API... Bueno, hay seis historias,¿no? Y al final consigue hacerlo. Social engineering. Eso también es otro tema que es interesante. Cómo los agentes pueden, a través de ingeniería social, hacer determinadas cosas sin pasarse por un problema. En este caso, por ejemplo, no sé si se sabe, cambian el nombre en el Discord. Cambian el nombre del Discord a uno que se llame igual que otro

SPEAKER_05 1:43:03

y la gente le cuela la identidad. Es muy tonta, pero es loco. con esto la configuración, hacer un browse en la configuración de los eventos Y aquí la conclusión es lo importante. Bueno, el informe me parece muy interesante. Ahí tenéis que ver que cada uno de los casos

SPEAKER_04 1:43:25

en el paper lo tenéis desglosado en qué es lo que hace exactamente para que eso suceda. Sería interesante, pero el programa duraría cuatro o cinco horas. Pero la conclusión sí que es importante y quiero que la debatamos y con eso iríamos terminando. Dice la conclusión. Dice, este documento pretende ser una respuesta rápida a los rápidos avances en el campo de los agentes de inteligencia artificial autónomos. Durante una investigación experimental de dos semanas, identificamos y documentamos 10 vulnerabilidades sustanciales y numerosos modos de fallos relacionados con la seguridad, la privacidad, la interpretación de objetivos y dimensiones afines. Estos resultados exponen debilidades subyacentes en este tipo de sistemas, así como su impredecibilidad y su limitada controlabilidad como arquitecturas complejas e integradas. Las implicaciones de estas deficiencias pueden extenderse directamente a los propietarios de los sistemas, a su entorno inmediato y de manera más amplia a la sociedad en su conjunto. A diferencia de las amenazas anteriores en internet, donde los usuarios desarrollaron gradualmente jurística protectora, las implicaciones de delegar autoridad a agentes persistentes aún han sido ampliamente interiorizadas y es posible que no logren seguir el ritmo de desarrollo de los sistemas de inteligencia artificial autónomos.¿Quién asume la responsabilidad? Los comportamientos autónomos que documentamos representan nuevos tipos de interacción que requieren una atención urgente por parte de juristas responsables de políticas políticas públicas e investigadores de diversas disciplinas. Este informe constituye un punto de partida para esa conversación y como declaración ética que me parece lo más importante, esto es lo más importante realmente, dice una perspectiva ética alternativa subraya que los análisis de los riesgos de la inteligencia artificial deben situarse dentro de las realidades políticas e institucionales del presente. Desde este punto de vista los daños más urgentes y abordables no provienen principalmente de una hipotética desalineación autónoma, sino del despliegue deliberado y estratégicamente alineado de sistemas de inteligencia artificial por parte de actores estatales y corporativos poderosos. Las tecnologías avanzadas de inteligencia artificial ya se están integrando en infraestructuras de vigilancia, control de la información, automatización laboral y capacidades militares. Cuando se concentran en un número reducido de instituciones que operan bajo incentivos competitivos orientados al lucro o geopolíticos, estos sistemas pueden amplificar asimetrías de poder erosionar los procesos democráticos y reducir la agencia individual y colectiva. Desde esta perspectiva la priorización ética debería tener en cuenta no sólo la magnitud de los peores escenarios posibles sino también su probabilidad actual, los incentivos estructurales y la dependencia de trayectorias institucionales. Un enfoque estrecho en escenarios hipotéticos corre el riesgo de subestimar los daños en curso asociados a la concentración extrema de poder y a los fallos de gobernanza. Además puede ocultar la posibilidad de que una mitigación efectiva de los riesgos dependa de abordar los desequilibrios actuales en el control de la infraestructura de inteligencia artificial, el capital y los ecosistemas de información. En consecuencia, un enfoque éticamente completo de los riesgos de la inteligencia artificial debería incorporar una atención robusta a la economía política, la descentralización, los mecanismos de rendición de cuentas y las salvaguardas contra la consolidación del poder tecnológico, tratándolos no como preocupaciones secundarias sino como condiciones fundamentales para una seguridad sostenible a largo plazo. Esto sí queda para mucho debate. Y aquí sí que quiero que opinemos y digamos qué pensáis al respecto.

SPEAKER_03 1:46:59

Bueno, por todo lo que hemos estado viendo, para mí el mayor conflicto al que puede llevar este malos agentes es esa economía de escala agéntica que se va a generar en el cual el fallo de uno de ellos... puede llegar a tirar... La

SPEAKER_04 1:47:18

concentración de poder, Álvaro. Ya no es solo el riesgo de fallo, sino lo que hablan aquí es la gran desigualdad. Por eso abogan por una descentralización, pero es que va a ser inevitable. Bueno, ya lo decía Alfredo y otros,¿no? Pero es así. Es decir, la economía gentica va a traer desigualdades en ese sentido. Los primeros van a ser los que seguramente sepan posicionar mejor.

SPEAKER_03 1:47:45

Se convertirán en centros de procesamiento.

SPEAKER_04 1:47:47

¿Qué pretende este paper?¿Alertar y buscar la regularización? Es decir,¿una narrativa alineada con los gobernantes más que con la industria? No lo sé, pero es verdad que lo que dice tiene sentido y alerta de algo que yo creo que es importante. El poder tecnológico puede desequilibrar cuando no rompe un sistema. Yo lo dije la otra vez. Una empresa que con agentes autónomos o con multiagentes despliegue un enjambre y monopoliza un sector es ilegal. Yo ahora cojo y a través de agentes monopolizo un sector concreto. Por coste y por eficiencia.¿Es ilegal? Pero te refieres¿Es en una nueva industria o en una industria que ya existe? En una ya existe.¿Y lo monopolizas?¿Te refieres a que eres tan eficiente? Soy tan poderoso a través de la eficiencia de los agentes que tengo el poder sobre ese sector. Bueno, pero ya tenemos legislación antimonopolística. Es decir, que podrían dividir la empresa.¿La empresa? Sí. Si la empresa es un sistema multiagente y yo.

SPEAKER_03 1:49:03

Pero la empresa la puedes tener fuera constituida. Y de hecho tú mismo puedes crear distintas empresas. Yo creo

SPEAKER_04 1:49:13

que es lo que va a pasar. En el sistema multiagéntico, en muchos ámbitos, las empresas se van a tirar a competir desde ahí porque las empresas que no entren a competir desde la inteligencia artificial se van a quedar fuera. En muchos ámbitos. Tú lo sabes, Álvaro y José y Eduardo, es decir, la automatización y la capacidad que te pueden dar estos sistemas te da otro nivel de competencia. Entonces,¿qué puede ocurrir? El extremo sería que me cargo a toda mi competencia. El otro es que queden pocos. No creo que dé tiempo a que hayan un gran número de competidores utilizando este tipo de tecnología. Bueno, pero en el fondo es algo que estamos viendo en las grandes tecnológicas también. En todo. Claro, en todo. Esa es la concentración de empresas. Pero si se diera el caso que tú comentas, a ver, la legislación lo que te dice, oye, si se da este caso, sí que te puede ocurrir. en dividir la empresa, si soy yo con mis agentes da igual,

SPEAKER_03 1:50:10

la dividen no,

SPEAKER_04 1:50:12

pero puedo estar fuera y si es una empresa descentralizada, cierto pero es cierto que vamos a ver este tipo de casos que tampoco están recogidos, que cuando se hablaba de o se pensaba de una empresa monopolística era una empresa gigante

SPEAKER_03 1:50:26

tipo Microsoft a principios de siglo¿os

SPEAKER_04 1:50:27

acordáis que le dijeron ayer?¿cómo lo van a hacer? como lo que hacía Biden, limitando los teraflops o los números de agentes que tú puedes utilizar, por ejemplo, o tokens Capándote,¿no? Y lo harán, capándote esa capacidad tecnológica y poniéndote cuello en la botella, claro. Entonces, eso puede hacer que otro... Pero no dejaré de ser una limitación muy artificial. No, no sirve para nada. Claro. Porque yo lo que quiero llevaros es, primero, a mí me parece un informe muy útil y educativo. Está claro que si lo coges, que no tienes ni puta idea, como dice Peter, pues, hombre, evidentemente el informe te parece tremendo cuando puede ser una guía básica de temas de seguridad. Es decir, realmente, visto desde un profesional como el creador de OpenCloud, esto puede ser una guía básica hecha por becarios de cómo afrontar este tipo de

SPEAKER_05 1:51:17

entornos.

SPEAKER_04 1:51:18

Para nosotros, para la gente que no tiene en cuenta esto, es un informe muy útil.

SPEAKER_03 1:51:26

Y

SPEAKER_04 1:51:26

puede ser el típico informe placido que te coja un

SPEAKER_03 1:51:28

CEO, te coja un comité de administración para pararte

SPEAKER_04 1:51:29

proyectos. Bueno, a ver, los medievos, esto es un informe para medievos, para tumbar. No quiero decir nombres, porque ya los he dado, pero esto de que va a tardar 10 o 15 o 20 años pues para este tipo de gente va ideal pero por eso hay que tener cuidado con lo que se dice José porque al final van a utilizar cualquier cosa que se diga o que se haga mal para realmente atacar la implantación de este tipo de sistemas y generar narrativas de contención

SPEAKER_03 1:52:01

Sí, pero bueno, yo creo que esto va a ser un proceso natural. Y esto es lo que veíamos en el informe Citrini. Es decir, a medida que se vayan poniendo agentes que vayan haciendo cosas muy tontas, irán viendo que se pueden complejizar, que se pueden integrar a más. Y

SPEAKER_04 1:52:13

será como un virus. Serán copiando y verán, oye, esta empresa ha hecho esto y mira cómo está funcionando. Yo hago lo mismo, yo hago lo mismo. Y

SPEAKER_03 1:52:20

cada vez trabajarán con más tareas críticas de la empresa. O sea, ahora cuesta, pero bueno, de momento siguen con chatbots, que ya por lo menos esos chatbots se conectan, tienen sus modelos LLM yo creo que en este año sí que vamos a empezar a ver realmente, o sea, yo ahora mismo acabo de crear a un bolbot que tiene cinco agentes por debajo, que se encarga desde leer todos los mails que me manda un portal de compras, hacer el portal de compras, agarrar la información, escribir a proveedores, recibir el coste y crearme directamente la licitación que tengo que entregar. Para todo lo que es un análisis, un

SPEAKER_04 1:52:53

marketplace, un mercado, precios, etcétera.

SPEAKER_03 1:52:59

Para cosas muy simples, ya los lo podemos utilizar y se integra el mail, le creas bases de datos donde vas actualizando la información, los agentes van accediendo a esas bases de datos sin tener un conocimiento realmente técnico. Y 24-7. 24-7. Cada día ejecuta y lo hace de la ejecución. Te lo has quitado en dos horas. El tema de los

SPEAKER_04 1:53:19

permisos, la gente se ha vuelto loca porque hay momentos, como dice José, que a lo mejor te interesa darle permisos pero para muchas cosas no van a hacer falta. Y en el tema del correo electrónico te creas un correo para la gente

SPEAKER_03 1:53:31

de

SPEAKER_04 1:53:31

este tipo, si tiene que estar enviando 100, 200, hay otro tipo de servicios de correo, de APIs, etc. Pero ya están sacando que con su propia dirección, etc., lo puedes hacer. Va a ir a otra velocidad. Va a ir a otra velocidad. Eso es lo interesante. Pero hay que tener en cuenta esto. Esto es cierto. Porque en cuanto proporcionemos canales como WhatsApp, Telegram, Discord, cualquier tipo de este tipo de sistemas que pueden ser humanos o bots Pues ahí vamos a soltar un software donde la interacción puede ser muy imprevisible. Puedes tener monitorización, primero, humana y de IaaS. Pero luego lo que ha dicho Eduardo, que es lo que nos podía haber comentado Manuel, oye, hay que tener un log inmutable. Bueno, eso ya empezamos con el log inmutable y ya es una putada. Porque eso solo puedes aplicarlo con blockchain. Porque claro, si tú tienes un blog o una auditoría, pero lo tienes en una base de datos, siempre te pueden decir que eso no es inmutable. Y entonces no tienes logs. Y lo que tiene la gente es eso. Son logs. Entonces ya no cumplirías la regulación europea. La regulación europea, igual que la ISO, hay una ISO que es la de la gobernanza de la IA, la 4000, no sé qué. Pues ahí los requisitos son importantes. Entonces, aquí entraría en este tipo de cosas. No te vas a librar, pero claro, es como dice Eduardo, si ven que no has puesto ninguna medida, a ver, y desde X-Hub siempre lo vamos a decir, no es porque yo sea ni el más profesional, ni el mejor, ni el que me entere de todo, pero tenemos que ser muy serios con el tema de inteligencia digital, si no los palos van a ser pero brutales. Y es que la gente va a enfrentarse a situaciones bajo estos modelos que son imprevisibles. Entonces, lo principal en las empresas es adoptar medidas y políticas y estrategias evolutivas y continuistas de medir el impacto de este tipo de

SPEAKER_03 1:55:34

cosas. Y hay una cosa que particularmente me preocupa viendo este tema de los

SPEAKER_04 1:55:38

agentes. El sistema de Manuel, el que iba a venir con su CodeFlowX, es uno de los sistemas que hace este tipo de cosas.

SPEAKER_03 1:55:44

Bueno, para otras,

SPEAKER_04 1:55:46

pero bueno, defendemos el de Manuel, que además es español. Bueno, para nosotros, entiendo. Bueno, de este tema, a nivel de gobernanza y un poco intentando proporcionar ese contexto de seguridad, hay pocas.

SPEAKER_03 1:56:00

Para mí el problema es la memoria. Es decir, como estos agentes van metiendo información en esa memoria, muchas memorias de basura, otra de ellas seguramente la quieran regular hasta qué punto se puede quedar informaciones a memoria. Bueno,

SPEAKER_04 1:56:16

está tu máquina, se supone.

SPEAKER_03 1:56:18

Claro, pero no dejan de ser ficheros que pueden estar expuestos. Y tokens que estás mandando. Aunque ya empieza a haber esas aplicaciones en el medio que van comprimiendo, etcétera, para mí sigue siendo un problema que todavía no se está investigando demasiado. Es decir, hasta qué punto... No, lo que pasa es que tú puedes hacer...

SPEAKER_04 1:56:35

Pero mucha gente lo que hace es que lo que establece es el plan con Opus y luego localmente lo puedes hacer con modelos muy básicos.

SPEAKER_03 1:56:41

Claro, con un QWend o algo así. Sí, un

SPEAKER_04 1:56:43

QWend de 9 de 9 billones de parámetros los últimos que han sacado entonces estamos hablando que se puede ejecutar en cualquier máquina entonces no necesitas gastarte gran pasta las plataformas de Mac en eso serían ideales pero puede ser otro tipo de hardware no tiene que ser el Mac pero ya no haría falta que te gastaras una fortuna en una

SPEAKER_03 1:57:00

tarjeta claro pero es que aquí entiendo que entra lo que es el diseño del sistema y la arquitectura de la gente es decir porque claro si dejas una gente que tiene una memoria que cae más grande

SPEAKER_04 1:57:08

no pues a ver si tú solo tiras de Opus vamos si queda evidentemente

SPEAKER_03 1:57:12

bueno te crea arquitectura

SPEAKER_04 1:57:13

claro Es muy caro. Opus es carísimo, pero bueno, han sacado Sonet, el último modelo, también es muy, muy bueno. Pero bueno, la gente lo que hace es para el modelo que planifica el trabajo, el más potente.

UNKNOWN 1:57:26

Claro.

SPEAKER_04 1:57:26

y el de OpenCloud lo han probado principalmente con Cloud pero bueno, Kimmy da también muy buenos resultados, Kimmy 2.5 los nuevos de Kuben, pero los utilizan más en vez de a full, siguen dejando muchos opus y luego utilizan ya los modelos X para la ejecución de tareas concretas para abaratar todo ese tipo de cosas, por cierto, habéis un libro que un libro que el autor el creador de OpenCloud le preguntó pregunta si lo conoce. Dice,¿conoces el libro Los físicos de Friedrich Dürrenmatt? Y dice Peter que sí, que lo ha leído y que es un imperdible. Yo no lo conocía, lo he buscado y básicamente consiste en una charla de unos científicos sobre la importancia de la ciencia y del uso de la ciencia para el bien, pero entendiendo que el uso de la ciencia para el bien, si se divulga la ciencia también se podrá utilizar para el mal. Bueno, básicamente viene a decir que estos sistemas que se crean bajo un incentivo X o bajo una idea X, pues entiendo que estos sistemas al final luego se utilizan para el bien y

SPEAKER_05 1:58:38

para el mal. Bueno, eso es un poco lo

SPEAKER_04 1:58:39

que viene a decir. Conclusión, José, te has quedado callado porque te he dicho mucha cosa. Ya te apagas.

SPEAKER_06 1:58:48

No, no, que va, que va. Se está escuchando que está bien las amenazas y ahora que está claro que es una tecnología va a haber cosas que la gente no tenga previsto que le va a ocurrir siempre ocurre lo mismo en cualquier tecnología incipiente pero que como todos aquí está hablando de de Yo me acuerdo,

SPEAKER_04 1:59:17

voy a contar una anécdota, José, de lo que tú dices. Mira, un ISP es un proveedor de Internet. Esto es como hosting, pero no hosting,¿eh? Esto hace muchos años. Salió SQL Server, la primera base de datos de SQL Server hospedadas en la nube,¿vale? No voy a decir el proveedor qué es. Y nosotros, que sabíamos bastante, porque éramos muy máquinas, siempre hemos estado al día, bueno, pues todas las bases de datos del usuario administrador con contraseña en blanco toda la base de datos de todos los clientes ahí al accesibles desconocimiento era un producto era un producto nuevo lo habían instalado tenían ahí doscientas y pico mil bases de datos y nosotros que sabíamos un poco será posible que estos tíos no hayan puesto la base de datos pum pum toda la base de datos

SPEAKER_06 2:00:06

Está claro. Y como digo... Bueno, vamos a ver. Yo lo que pienso es que la gente irá aprendiendo. A ver, es que la parte de seguridad está clara. O sea, cualquier sistema que tú pongas, que tú tienes que poner una segurización detrás, pero que esto es imparable. O sea, si es que me da igual. La gente cuando empieza a darse cuenta, pues como está diciendo Álvaro, que le soluciona la vida 24 horas, O sea, tú el trabajo que ahora estás haciendo,¿cuántas secretarias necesitas para que te hagas esto?

SPEAKER_04 2:00:51

Ahora aquí nos comenta Pablo en el chat. Perdona, José. Pablo Cotainich. dice, hola equipo, dice, yo sigo a las soluciones de Microsoft para control y evaluación de agentes. A día de hoy no tienen una solución para evaluar un agente con subagentes. Se debe evaluar cada agente por separado. Devaluar MCPs, ni hablar. Bueno, eso totalmente. Y eso con agentes creados específicamente con plataforma de Microsoft. Respecto a agentes externos, al tenant, aún se puede hacer mucho menos. Obvio,¿no? Es decir...

SPEAKER_06 2:01:28

Cuando dice devaluar que eso me interesa, de evaluar MCPs, de hablar a qué se refiere.

SPEAKER_04 2:01:33

A nivel de seguridad, lo que tú te puedes encontrar en un MCP o detrás del MCP, pues ni hablamos. Avaluación de eso, obviamente. Es como los skills.¿Qué

SPEAKER_06 2:01:43

quiero

SPEAKER_04 2:01:43

decir? Porque es un problema de seguridad. Hay un libro que no me contestaron de unos tíos que sacaron un libro de MCP, de seguridad en MCP.

SPEAKER_06 2:01:50

¿Qué quiero decir?¿Que no tiene seguridad de per se?¿No tiene seguridad

SPEAKER_04 2:01:56

de per se?¿Tú cómo evalúas las seguridad o lo que te devuelve un mcp¿Lo puedes evaluar? No. Tú te conectas, estableces un protocolo abierto y que te devuelva lo que Dios trajo al mundo. Ya está.¿Tú cómo sabes un MCP a saber de quién lo que te puede devolver y lo que hay ahí? Pero es que lo mismo pasa a los skills. Los skills, el marketplace de OpenCloud, los más destacados skills del marketplace de OpenCloud, el estándar, tienen backdoors y problemas de seguridad, la mayoría. Los skills, que son las cosas que más se utilizan

UNKNOWN 2:02:32

Gracias.

SPEAKER_04 2:02:34

¿Quién evalúa un skill? Ah, este skill en un marketplace, descargar.¿Tú haces una evaluación del skill? Casi nadie. Descargar, descargar, descargar. Te pueden estar metiendo un prompt engineer simplemente descargándote un skill que flipas. Bueno, en LinkedIn hay alguna gente que lo hace muy bien poniendo casos,¿no? Resulta que se bajaron un skill o instalando un paquete, le meten un script, eso hace que luego se comunique con una IP, envía toda la información bueno, es que hay cosas que dan terror es decir, esto que yo creo que va a haber muchísimas más estafas de inseguridad por estos sistemas, entonces tenemos que aumentar el conocimiento de ese tipo de cosas y bueno, hace muchos programas, lo que pasa es que tampoco hay tantos expertos al respecto, tendremos que utilizar guía en temas de ciberseguridad, seguro yo no soy un experto en ciberseguridad va a ser muy complicado¿cómo garantizas que un modelo no tenga backdoor? a mí lo que más miedo es lo del backdoor, imagínate que Kimi 2.5, que es de China, una de las versiones que tú te descargas de Heim Face, tiene un backdoor y no lo validan. No lo pueden validar. Y ahora resulta que tienes un ataque de Prompt Engineer a través de ese backdoor. Lo puedes evitar.

SPEAKER_06 2:03:48

Bueno, Plácido, voy a hacer una pregunta capciosa.¿Qué crees que hay más probabilidades que tenga un backdoor?¿Una que venga de Estados Unidos o de China?

SPEAKER_04 2:04:04

Yo creo que de China. Pero realmente, porque... Eduardo ha hecho una sonrisa

SPEAKER_02 2:04:14

En China

SPEAKER_05 2:04:16

Yo

SPEAKER_04 2:04:22

he dicho China y no he dicho China y no he dicho los dos principalmente porque no sé cómo decirte Estados Unidos puede ser lo que será pero bueno, se alinea con unos valores o nos venden unos valores y yo creo que China al final por muy buenos que se vendan al final no deja de ser una dictadura En Estados Unidos igual, es una dictadura. Pero al final son empresas que tienen que vender a un mercado muy amplio y se juega muchísimo. Es decir, yo no me creo, por ejemplo, que Apple haga una jugada de inseguridad y que esté metiendo un backdoor.¿Por qué? Porque si se descubriera directamente desaparece una empresa de esas. Ahora, ha pasado. Cosas que el gobierno les ha exigido información y la han dado. Y Apple se ha negado, por ejemplo. Es que con eso juegan en que ellos se juegan un mercado. Estados Unidos se juega un mercado. Ahora China... en Xiaomi, meten un chip que está espiando¿te crees que a los chinos les va a importar una mierda lo que les digan? pero yo creo que en Estados Unidos y en un mundo occidental que vivimos bajo otra narrativa

SPEAKER_06 2:05:23

ya que lo hablas ya que lo hablas

SPEAKER_04 2:05:27

no lo sé, desconozco, a lo mejor estoy quedando como pardillo a lo mejor estoy quedando como

SPEAKER_06 2:05:31

pardillo disco tenía problemas Huawei todavía no se ha demostrado que tenga problemas, bueno yo no estoy defendiendo a

SPEAKER_04 2:05:40

los chinos, pero yo creo que aquí no tengo opinión de cuñao aquí sí que no tengo ni puta idea

SPEAKER_06 2:05:50

yo lo único que te digo es que la única manera de que un producto es seguro es que se fabrique en una fábrica española a

SPEAKER_04 2:05:56

ver, lo que sí que conozco es una empresa a ver, conozco una empresa y es una startup que quiere montar no puedo decir de quiénes son porque son conocidos que están haciendo una startup que lo que hace es simplemente no, no simplemente validar que el modelo que utilizas no tiene backdoors. Que seguro, vamos. No sé. No sé. No, no. Ahora mismo es un problemón eso. Pero claro, tú imagínate que metes un modelo de estos en un banco o a nivel militar o a nivel, claro, si tiene un backdoor,¿cómo tienes que garantizar algo?¿Cómo lo garantizas?¿Tendrías que hacer tú el modelo? Ya, pero España no va a hacer un modelo.¿Tenemos que hacer nosotros el modelo? Es complicado Tenemos un hombre. Mira, hoy he visto un paper y he pensado al contrario. Esto a lo mejor no lo podría decir, pero no pasa nada. He visto un paper antes de venir con la compra y es lo que han hecho en China, que es coger los modelos y sacar toda la información del modelo es decir, coger a Cloud, coger a OpenAI extraer toda la información del modelo para que se entienda el paper luego si me lo pedís os lo paso bueno, en definitiva sintetizar toda esa información de un modelo¿cuánta información tiene un modelo como Cloud? o como OpenAI sacar esa información está de puta madre y trasladarla a un modelo, refinarla, optimizarla sacar toda la lógica a un coste reducido estás robándole la información Está robándole el modelo. Entonces me parece cojonudo. Y encima lo trasladas al

SPEAKER_06 2:07:38

modelo. Quien roba a un ladrón tiene 100 años de perdón.

SPEAKER_04 2:07:43

Hombre, esto lo tienes que hacer desde

SPEAKER_06 2:07:44

fuera y incógnito. Incógnito.

SPEAKER_04 2:07:48

Hombre, pero quiero decirte que eso es una de las tendencias. Es decir, tú coges el modelo y si lo tienes en local nadie te impide que hagas ese proceso. Eso es lo que han hecho en China con Anthropy. Anthropy subió ese ataque. Eso es. Anthropy lo hicieron. Y varias empresas coordinaron nada, es de China, Kimi, no me acuerdo cuál es a través de la API no sé cuántas miles de cuentas y lo que hacen es sacar información van haciendo preguntas y respuestas van haciendo prompts y van sacando toda la lógica del modelo en beneficio de ellos a coste mucho más reducido y alguien les dice algo a China entiendo que también hará sus cosas pero sí, claro

SPEAKER_06 2:08:30

Yo

SPEAKER_04 2:08:31

lo

SPEAKER_06 2:08:31

que quiero es... Todos los modelos tenderán a

SPEAKER_04 2:08:35

ser iguales. Mira, aquí ha hecho una cosa Anthropic que ha hecho de puta madre, que no ha hecho ninguna compañía y yo, mira que Darío Modey, no soy muy de Darío Modey, pero me alineo totalmente con Anthropic. Han creado una constitución de cloud. Es decir, mi modelo se va a comportar así. Yo quiero ver eso por todas las compañías. Para mí, una compañía que no desarrolle una constitución de su modelo no es una compañía fiable.

UNKNOWN 2:08:59

Bueno,

SPEAKER_05 2:09:02

Pues solamente... Hasta que ha venido otra

SPEAKER_06 2:09:05

vez... Hasta que ha venido otra vez me ha dicho, vas a hacer lo que yo quiero.

SPEAKER_04 2:09:14

Bueno, ya lo comentamos. Claro, le puede poner una posición precisamente de ser anti-Trump y de ser la favorita, es decir, de

SPEAKER_05 2:09:23

ser

SPEAKER_04 2:09:24

la guía ética, moral, que se gusta

SPEAKER_05 2:09:26

mucho

SPEAKER_04 2:09:28

en Europa. A ver, Trump puede ser muy bueno en muchas cosas, pero no tiene ni puta idea de inteligencia artificial. Directamente. Es decir, Trump puede ser un muy buen negociador, un tío carismático y que haga mucha gracia, pero no tiene ni puta idea de inteligencia artificial y de tecnología. Se le ve sudando cuando se habla de esos temas. A ver, vamos a ver. Esto tiene que haber alguien con un proyecto civilizatorio. China lo tiene. China tiene una estrategia. No recae en una persona, pero tú lo ves hablando de ella y lo que dijo el otro día. No, estamos adelantados, muy por delante de China.¿Cómo que está muy por delante de China? Perdona,¿dónde? Qué gracia. Reconocía no haber usado ni siquiera hasta GPT. Yo no la utilizo. pero sé de qué va. Nivel cuñado, nivel máximo.

SPEAKER_06 2:10:18

Los datos a nivel de tokens están diciendo que China, fuera de China, ya están superando los modelos chinos en más de un 40% del mercado mundial. Está ascendiendo y

SPEAKER_04 2:10:35

tomando posiciones. No hay datos de la IA en la China, pero estoy convencido totalmente. Porque es que ellos ni se lo preguntan. Ni si esto es H y si esto es un sistema autónomo, si hay un problema lo solucionan. Toda esta verborrea que hacemos nosotros aquí, ellos lo llevan a ingeniería de software y lo solucionan y se callan. A ver, nosotros hacemos esto

SPEAKER_06 2:10:56

para divulgar. Cuando nos vendes de China, abren

SPEAKER_04 2:11:01

los ojos. Abren los ojos. Bueno, conclusiones, venga. José, Eduardo y Álvaro, nos vamos ya. José, venga,¿qué te ha parecido el programa?¿Qué has Ha sido muy interesante porque

SPEAKER_06 2:11:15

conocer los

SPEAKER_04 2:11:16

libros... Y que Peter no tiene ni puta idea. Eso es un TikTok. Va a salir en todos los lados.

SPEAKER_06 2:11:22

No, yo he pensado otra... No, pero escucha, que Peter no deja de ser un tío que ha tenido un momento heroica, ha utilizado el bytecoding y lo ha desarrollado, pero no vamos a ponerle... A ver, vamos a ver.

SPEAKER_04 2:11:37

Es un gran ingeniero. Solo tienes que ver los proyectos que ha hecho, las librerías por las que se ha hecho famoso, el tío de su retail ha hecho este experimento y es el GitHub con más estrellas utilizado, difundido, mil millones para OpenAI para que fuera a trabajar es decir, el tío

SPEAKER_06 2:11:53

que se

SPEAKER_04 2:11:53

haya caído del

SPEAKER_06 2:11:54

árbol Si

SPEAKER_04 2:12:02

me dices que habías hecho un artículo hace cuatro años yo me muero aquí Lo que digo

SPEAKER_06 2:12:13

que el mes que viene vamos a ver otro que tiene un momento Eureka y nos va porque es que esto está yendo muy rápidamente¿sabes? y el siguiente

SPEAKER_04 2:12:25

otro

SPEAKER_06 2:12:27

aquí los vamos a ver gente que

SPEAKER_04 2:12:32

bueno pero es como ChaGPT ha entrado en la historia Peter como ChaGPT ha entrado en el momento iPhone de los modelos de IA Peter con su Open Cloud ha entrado en la historia por su agente autónomo, su arquitectura, que no es nada revolucionario, pero ha sido muy bien recibido y ha proporcionado el que en la era agéntica se acelere. El tío ha entrado en la historia, da igual que sea meritorio o no, es que el tío está en el momento, ha hecho ese producto, la gente lo ha cogido... Pero no crees

SPEAKER_06 2:13:06

que al ritmo que va... No va a haber gente en los próximos meses que también va a tener

SPEAKER_04 2:13:12

su momento... venga voy a decir una cosa pero tampoco pasa nada yo mi apuesta no es Open Cloud aunque lo que haga sea compatible con ello es totalmente Cloud la plataforma de agentes de Cloud que es la de Cloud Code pero no exclusivamente para Cloud Code están haciendo todo lo que le faltaba para competir con Open Cloud pero ya lo tienen ya tienen tareas tipo Chrome ya tienen subagentes ya tienen todo y entonces para mí es mucho más fiable lo que hacen ellos

SPEAKER_06 2:13:40

yo lo que

SPEAKER_04 2:13:42

veo

SPEAKER_06 2:13:42

es que se me olvidó es que se me olvidó decirlo antes, que estas grandes empresas de IA, me estoy dando cuenta que su capacidad de innovación está disminuyendo. La innovación va a venir de los pequeños. Todo el mundo que está trabajando en innovación, de no pensar, pero me da impresión porque si os deis Si os dais cuenta, se abre todo un mundo para que la gente tenga sus momentos Eureka, de cosas que se la ocurrió y adelante,¿sabes? Así que vamos a encontrar a mucha gente,¿cuántos millones

SPEAKER_03 2:14:22

han dado? Es que el nuevo Silicon Valley va a ser eso, es decir, va a ser desarrollar Eurekas, que te acaben comprando pues OpenAI, Anthrofi, Exy, la

SPEAKER_04 2:14:31

de Turbo. Mira, Mallbook,

SPEAKER_03 2:14:35

Mallbook, Mallbook con Meta, o sea, Open club lo ha comprado, o sea, yo creo que ahora el nuevo Silicon Valley va a ser que te compre estas grandes, que son las que van a controlar todo el mercado, y es que no hay

SPEAKER_04 2:14:46

más. José, a ti vienen y te ponen mil millones

SPEAKER_01 2:14:48

de euros,¿qué haces? Aparte de tirando misiles... Aparte

SPEAKER_04 2:14:53

de... Si te dan mil millones, compras un misil a la casa ese de que te has estafado las tarjetas,¿no? La casa esa que más

SPEAKER_06 2:14:58

necesitas. No, no la necesito. Ya estoy preparando la querella contra este contra este sujeto.

SPEAKER_04 2:15:10

La verdad es que, bueno, di el resumen, que luego Eduardo y Álvaro nos vamos ya, que al final hemos hecho un programa súper largo. José, resumen.

SPEAKER_06 2:15:16

Ah, pues que me parece... Rápido. Que también te digo que no me ha sorprendido nada porque muchos de estos ataques ya los conozco y que evidentemente no hay problemas, es que no hay mucho más. Esto lo llevamos viendo desde, pues yo qué sé, cuánto tiempo llevo yo en la tecnología. O sea que... Eduardo...

SPEAKER_04 2:15:40

Venga, rápido al final, o bueno, un poquito alineado más o menos con lo que decía José, en el sentido de que en esta era o próximo desarrollo de la empresa agéntica, pues necesitas

SPEAKER_05 2:15:49

controles, necesitas seguridad, ese control de identidad, ese mínimo privilegio, la trazabilidad que hemos comentado,

SPEAKER_04 2:15:55

el tema del lock inmutable y porque si no, al final vamos a la era agéntica, pero si no nos tomamos en serio temas de seguridad, van a ser fácilmente manipulados y van a ser grandes vectores de ataque. y lo que más me preocupa de este tipo de informes y no del informe en sí, sino de la mala prensa que pueda tener y que los medios, como tú lo llamas, Plácido, digan, veis, esto no funciona, esto es una locura.¿Y sabes qué pasa, Eduardo? Que cuando retuitean o postean este paper, que ya lo he hecho, pero no lo voy a volver a hacer, yo publico el programa y más de un gilipollas con perdón me dice lo único que hace es publicitar tu canal. Y uno me soltó, si es que dura dos horas conclusión no hay nada que hacer utilizarán ese paper como utilizaron el del mit del cerebro el mit del cerebro que nuestro amigo nos lo publicó en el whatsapp el otro día si dice que duran dos horas es que nos ha visto ni uno

SPEAKER_02 2:16:58

eso es verdad y uno vio y

SPEAKER_04 2:17:00

dijo que hablábamos 20 minutos de política tres venga Álvaro nos

SPEAKER_03 2:17:09

vamos ya bueno Pues, mira, basándome en datos del informe, o sea, parece que un 44% de los problemas vienen de diseños de sistema, un 32% de desalineación entre agentes y un 23% de verificación de tareas. Yo creo que aunque vamos diciendo que se van a reducir trabajos y que la gente está perdiendo la fe igual por estudiar cargos como programación, creo que arquitecturas de inteligencia artificial de agentes, creo que que sistemas, creo que ciberseguridad, son carreras que todavía tienen mucha trayectoria durante estos próximos cinco años, en que esto es lo que va a conseguir de que el artificial acabe implementándose en el 80% de las empresas del mundo. Entonces, realmente lo que demuestra este artículo es que, bueno, hay mucho por trabajar todavía, hay mucho que analizar y hay muchos retos que se van a ir afrontando a medida que esto se va implementando en nuevos sectores y en nuevos

SPEAKER_04 2:18:06

mercados. Estaba buscando a ver una cosa, si me dejáis un momentín bueno, ya lo pasaré quería decir, una página que se dedica al tema de seguridad y tiene unos PDFs exclusivamente dejadme un

SPEAKER_02 2:18:34

segundo es que es verdad que es muy bueno un segundo un

SPEAKER_04 2:18:35

segundo porque es muy útil bueno Vale, es que en la charla que voy a dar en WhatsApp, aquí os voy a dar dos cosas para riesgos que recomiendo. A ver, una es esta que hemos hecho un programa, que no es tanto de sistema multiagéntico. Rápido, es el Meet AI Risk. Me parece, es un GitHub, lo tienen en GitHub y dan herramientas a través de Excel, etc. Es para mí de lo más serio y transparente que se ha hecho en cuanto a riesgos de inteligencia artificial. Y luego el otro es... Hay un informe último de WASP que tiene que ver con todo este tema. A ver, un segundo. Este, es este informe,¿vale? Y luego está este,¿vale? Este informe y con esas recomendaciones más el paper nos vamos. Este de aquí,¿vale? Que es de seguridad de 2016 para aplicaciones de agentes.¿Y crees que hay

SPEAKER_06 2:19:37

agentes que

SPEAKER_04 2:19:37

se digan...? Agénticas. A esto lo lees y... Bueno, este es, por ejemplo, referente. Sí, este lo daré... Estos PDFs descargados. Este es interesante porque es uno de los últimos. El del MIT también lo tenéis que ver. a mí es del que más me gusta y hemos hecho además programa y luego el paper está bien y también bueno, juntaros, uniros al Discord también publicamos muchas cosas en definitiva, que penséis en los riesgos de la IA, para que no los agentes no sean agentes del caos y bueno estudiar mucho para que José no os diga que no tenéis ni puta José, es que eso queda para el señor que le llames tú a Peter solo falta que le digas algo al creador de Cloud Code. José, un abrazo. Álvaro.

SPEAKER_01 2:20:44

Bye. Bye.