Vulnerabilidades de seguridad en IA, realidades corporativas de la IA y la encíclica del Papa

Vulnerabilidades de seguridad en IA, realidades corporativas de la IA y la encíclica del Papa

Una nueva herramienta de GitHub elude las barreras de seguridad de los principales modelos de código abierto, ClickUp reemplaza personal con agentes de IA, Uber cuestiona el retorno de inversión en IA y el Papa publica una importante encíclica sobre IA.

Seguridad y protección de la IA

La herramienta 'Heretic' de GitHub elude las principales barreras de seguridad de la IA

Una herramienta gratuita de GitHub llamada Heretic ha sido identificada como un riesgo de seguridad significativo, capaz de eludir las barreras de seguridad de modelos de IA de código abierto como Llama 3.3 de Meta y Gemma 3 de Google en menos de 10 minutos. La herramienta, que utiliza una técnica de 'abliteración', ha sido utilizada para crear más de 3.500 versiones de modelos 'desensuradas', que han sido descargadas 13 millones de veces. El creador también afirmó haber eludido el modelo más reciente de Google, Gemma 4, poco después de su lanzamiento.

Este desarrollo resalta una creciente tensión en la industria de la IA en relación con los modelos de código abierto. Mientras las empresas invierten fuertemente en filtros de seguridad para evitar la generación de contenido dañino, como instrucciones para armas biológicas, estas protecciones se eliminan fácilmente una vez que los pesos del modelo se hacen públicos. La facilidad con la que se eliminan estas salvaguardas en hardware estándar sugiere que la seguridad se está volviendo cada vez más difícil de hacer cumplir en el ecosistema de pesos abiertos.

Analistas de la industria señalan que esto no es un incidente aislado, sino parte de un patrón más amplio de investigadores que encuentran formas de eludir las negativas de los modelos. A medida que los modelos de código abierto continúan cerrando la brecha de rendimiento con los sistemas propietarios, se espera que se intensifique el debate sobre si los gobiernos deberían tratar la IA de pesos abiertos como una tecnología de doble uso.

Estrategia corporativa de IA

ClickUp reduce un 22% de su personal y los reemplaza con 3.000 agentes de IA

ClickUp ha anunciado una reducción significativa de su fuerza laboral, despidiendo al 22% de su personal (aproximadamente 290 empleados) y reemplazándolos con 3.000 agentes de IA. La empresa presenta estos recortes como parte de una estrategia para construir una 'organización 100x'. A los empleados que permanecen se les ofrecen bandas salariales de hasta 1 millón de dólares si pueden demostrar un 'impacto descomunal' utilizando herramientas de IA.

Este movimiento representa uno de los ejemplos más agresivos de una empresa que sustituye directamente mano de obra humana con agentes de IA. Señala un cambio en el que la IA ya no es solo una herramienta de eficiencia para el personal existente, sino un reemplazo para roles completos, lo que plantea preguntas sobre el futuro del empleo en organizaciones con alta presencia tecnológica.

Observadores de la industria están siguiendo de cerca para ver si esta estrategia produce las ganancias de productividad prometidas o si conduce a desafíos operativos. Las altas ofertas salariales para el personal restante sugieren que la empresa apuesta por una fuerza laboral más pequeña y altamente aumentada por IA para impulsar el crecimiento futuro.

Director de operaciones de Uber: el gasto en IA se está volviendo 'difícil de justificar'

Andrew Macdonald, director de operaciones de Uber, ha expresado escepticismo respecto al gasto actual de la empresa en IA, afirmando que se está volviendo cada vez más difícil justificar los costos. Macdonald señaló que, aunque la empresa está invirtiendo fuertemente en IA, un mayor uso de tokens no se traduce necesariamente en ganancias proporcionales en funciones útiles para el consumidor.

Este sentimiento refleja un creciente 'control de realidad de la IA' entre las grandes empresas tecnológicas. Mientras que el 'tokenmaxxing' (la práctica de maximizar el uso de IA) ha sido una tendencia, los ejecutivos están comenzando a cuestionar el retorno de la inversión (ROI). Uber ya ha ralentizado las contrataciones para financiar sus iniciativas de IA, lo que hace que la presión para demostrar el valor de estas inversiones sea más aguda.

Los comentarios de Macdonald se alinean con una tendencia más amplia de empresas que se alejan de la adopción ciega de IA. Otras empresas, como Duolingo, también han ajustado recientemente sus métricas de evaluación de rendimiento para depender menos del uso de IA, lo que señala un cambio hacia un enfoque más equilibrado y centrado en el ROI para la integración de la IA.

Política y sociedad

El Papa León XIV publica una importante encíclica sobre IA

El Papa León XIV ha publicado su primera encíclica, 'Magnifica Humanitas', un documento de 42.000 palabras que aborda la revolución de la IA. El Papa establece paralelismos entre el cambio actual de la IA y la Revolución Industrial, enfatizando que la Iglesia Católica pretende servir como una voz moral en el desarrollo de la tecnología.

La encíclica advierte que la IA no es neutral y que actualmente está impulsada por empresas privadas transnacionales que pueden superar el poder de los gobiernos. León XIV pide 'marcos legales sólidos', supervisión independiente y usuarios informados, al tiempo que afirma explícitamente que las decisiones letales en la guerra nunca deben delegarse a la IA. Argumenta que la IA corre el riesgo de reducir a los humanos a meros 'engranajes en una máquina de eficiencia' si no se controla.

Esta intervención es significativa dada la rareza de las encíclicas papales. Al dedicar un importante documento de enseñanza a la IA, el Vaticano está señalando que considera la tecnología como un desafío existencial y moral que requiere un compromiso activo por parte de las instituciones religiosas y sociales.

La Universidad Estatal de California renueva el acuerdo con OpenAI por 13 millones de dólares al año

El sistema de la Universidad Estatal de California ha renovado su acuerdo con OpenAI por 13 millones de dólares al año, comprometiéndose a un acuerdo de tres años por 39 millones de dólares. Esto la convierte en el primer sistema universitario importante en Estados Unidos en adoptar plenamente la educación impulsada por IA a esta escala.

La renovación se produce a pesar de una importante oposición de profesores y estudiantes. Una encuesta reciente indicó que la mayoría de los miembros de la propia comunidad universitaria siguen siendo escépticos sobre el valor educativo de la IA, lo que genera preocupaciones sobre el impacto en el aprendizaje y la integridad académica.

El acuerdo resalta la tensión entre los esfuerzos institucionales por modernizarse y las preocupaciones de la comunidad académica. A medida que las universidades navegan por la integración de la IA, el éxito de esta asociación probablemente será un caso de estudio clave para otras instituciones educativas que consideren inversiones a gran escala similares.

Lanzamientos de modelos y actualizaciones de la industria

Elon Musk: finalizado el entrenamiento de Grok V9-Medium

Elon Musk ha confirmado que el próximo modelo fundacional de xAI, Grok V9-Medium, ha finalizado su entrenamiento. El modelo, que cuenta con 1,5 billones de parámetros, ha mostrado resultados iniciales sólidos durante las evaluaciones. Actualmente se está realizando el ajuste fino, y la empresa espera un lanzamiento público en aproximadamente dos o tres semanas.

Este lanzamiento es parte del agresivo impulso de xAI para competir con otros modelos de frontera. Además, xAI ha lanzado 'Grok Build' en versión beta, un rival de asistentes de codificación como Codex y Claude Code, que ahora está disponible para los usuarios de SuperGrok y X Premium+.

El rápido desarrollo de Grok V9-Medium subraya la intensa competencia en el espacio de los LLM. Con el modelo cerca del lanzamiento público, xAI se está posicionando para desafiar el dominio de los actores establecidos tanto en modelos fundacionales como en herramientas de codificación agénticas.