El cofundador de Ethereum, Vitalik Buterin, ha respaldado la decisión de Moonshot AI de limitar las capacidades avanzadas de hacking en su modelo Kimi K3.1 Pro, advirtiendo que los riesgos de seguridad de la IA mal gestionados podrían conducir a controles de identidad restrictivos y a una vigilancia generalizada.
Resumen
- Vitalik Buterin apoya limitar las capacidades peligrosas de la IA sin restringir el acceso en función de la identidad de los usuarios.
- El modelo Kimi filtrado de Moonshot obtuvo un 81%, en comparación con el 90,5% de su contraparte sin filtrar.
- Buterin advirtió que los ataques de IA sin control podrían fomentar la KYC obligatoria y la vigilancia intrusiva.
- Moonshot planea publicar los pesos abiertos de Kimi K3.1 Pro antes del 4 de noviembre.
En una publicación del 26 de octubre en X, Buterin defendió la decisión de Moonshot de excluir material avanzado de ciberseguridad ofensiva del entrenamiento del modelo, argumentando que los desarrolladores necesitan más tiempo para fortalecer el software contra ataques de IA cada vez más capaces.
Los comentarios siguieron al anuncio de Moonshot del 23 de octubre de Kimi K3.1 Pro, que ya está disponible a través de sus aplicaciones y API. La startup china tiene la intención de publicar los pesos completos del modelo antes del 4 de noviembre.
Vitalik Buterin apoya limitar las capacidades peligrosas de la IA
La posición de Vitalik Buterin se centra en la distinción entre restringir lo que un modelo de IA puede hacer y decidir qué personas deberían poder usarlo.
"Discriminar contra casos de uso es MUCHO menos malo que discriminar contra usuarios", escribió, respaldando la decisión de Moonshot de dejar fuera del entrenamiento las capacidades avanzadas de ciberataque ofensivo.
Argumentó que el mundo necesita tiempo para prepararse ante poderosos ataques impulsados por IA mediante el fortalecimiento de la infraestructura existente, la revisión de software más antiguo y la aplicación de verificación formal al código recién desarrollado.
La verificación formal implica comprobar matemáticamente si el software cumple con los requisitos especificados. Buterin ha respaldado repetidamente este enfoque como un medio para encontrar debilidades de seguridad antes de que los programas se desplieguen.
En septiembre, rechazó las afirmaciones de que el hacking impulsado por IA eventualmente haría que la ciberseguridad fuera imposible de ganar, argumentando que la verificación automatizada podría mejorar la capacidad de los defensores para proteger el software.
Sus últimos comentarios no sugirieron que eliminar material de entrenamiento peligroso impediría que otros desarrolladores produjeran modelos más capaces.
Cuando el usuario de X LOID preguntó si los laboratorios competidores eventualmente desarrollarían capacidades ofensivas avanzadas de todos modos, Buterin respondió: "Sí, por supuesto que lo harán".
Moonshot informa un impacto medible de las restricciones de seguridad de Kimi
Moonshot presentó Kimi K3.1 Pro como un modelo de pesos abiertos mejorado, construido sobre su arquitectura Kimi K3 existente.
Según el anuncio técnico de la compañía, los desarrolladores eliminaron datos seleccionados relacionados con ciberataques del entrenamiento y del aprendizaje por refuerzo, manteniendo las capacidades generales de programación.
La decisión redujo el rendimiento en el benchmark interno de exploits de Moonshot. Una versión sin las restricciones resolvió el 90,5% de las tareas, en comparación con el 81% del modelo publicado.
La diferencia asciende a 9,5 puntos porcentuales, aunque la compañía no ha establecido cómo se traduce esa reducción en la prevención de ciberataques en el mundo real.
Moonshot informó que el modelo anterior Kimi K3 obtuvo un 33,3% en la misma evaluación, lo que indica que el sucesor restringido aún se desempeñó considerablemente mejor en sus propias pruebas.
En Terminal-Bench 4.0, el nuevo modelo alcanzó el 65,7%, en comparación con las puntuaciones reportadas por Moonshot de 66,4% para Claude Opus 5.5 y 58,2% para GPT-6 Astra.
Esas cifras de rendimiento provienen de las pruebas de Moonshot y no han sido verificadas de forma independiente.
La compañía ha lanzado una versión Highspeed que, según afirma, opera de dos a tres veces más rápido que la oferta estándar.
Buterin advierte que los fallos de la IA podrían llevar a controles de acceso más estrictos
Más allá de las preocupaciones inmediatas de ciberseguridad, Vitalik Buterin advirtió que los gobiernos y las empresas tecnológicas podrían responder a incidentes graves relacionados con la IA imponiendo restricciones a los usuarios comunes.
Describió un futuro posible que implica modelos bloqueados, verificaciones obligatorias de Know Your Customer y vigilancia intrusiva.
En virtud de tales acuerdos, el acceso a herramientas avanzadas de IA podría depender de la nacionalidad de una persona, sus documentos de identidad u otras credenciales.
Buterin advirtió que algunos usuarios podrían convertirse en participantes de "segunda, tercera o cuarta clase" según sus cualificaciones o ciudadanía.
Sus preocupaciones son coherentes con sus recientes experimentos relacionados con el acceso privado a la IA.
El 16 de octubre, presentó una configuración de agente centrada en la privacidad que combina el enrutamiento Tor, pagos anónimos mediante zkAPI y la reescritura local de indicaciones para reducir la información personal expuesta a modelos externos.
El sistema fue diseñado para permitir a los usuarios acceder a servicios de IA mientras se limita la divulgación de sus identidades y actividad.
La ciberseguridad de la IA sigue siendo una preocupación para los desarrolladores de blockchain
Evaluaciones independientes han examinado previamente las capacidades ofensivas de los modelos de Moonshot.
En julio, el Centro para Estándares e Innovación en IA de EE. UU. y el Instituto de Seguridad de IA del Reino Unido evaluaron Kimi K3 frente a ciberataques simulados.
Los investigadores descubrieron que el modelo tuvo un rendimiento inferior al de los principales sistemas con capacidades cibernéticas, pero aún así podría intentar operaciones ofensivas a pesar de sus salvaguardas existentes.
En un ataque simulado a una red corporativa, Kimi K3 completó un promedio de 17 pasos de 32, en comparación con 28,5 de los modelos estadounidenses más capaces probados.
La evaluación cubrió la versión anterior de Kimi K3, no el recién presentado K3.1 Pro.
Anteriormente, Buterin ha propuesto dirigir más trabajo de desarrollo asistido por IA hacia las pruebas de seguridad y la verificación matemática.
En mayo, identificó aplicaciones para el enfoque en las máquinas virtuales de conocimiento cero de Ethereum, las pruebas criptográficas, los sistemas de consenso y la investigación de seguridad resistente a la cuántica.
