El fundador de Ethereum, Vitalik Buterin, ha compartido su perspectiva sobre un debate creciente: los peligros asociados a la inteligencia artificial (IA).

En esta ocasión, el desarrollador ruso-canadiense aprovechó una reflexión publicada en X por Eito Muyamura, impulsor del proyecto Edison Watch, una solución destinada a monitorear y prevenir filtraciones de datos a través de interacciones con IA.

Este proyecto surgió tras la reciente implementación del Protocolo de Contexto de Modelo (MCP) por parte de OpenAI, la compañía dirigida por Sam Altman, en ChatGPT, permitiéndole conectarse a Gmail, calendarios y otras aplicaciones.

Mediante un video, Muyamura demostró cómo los atacantes o hackers pueden acceder a información privada compartida con OpenAI.

"He aquí el problema fundamental: los agentes de IA como ChatGPT siguen tus órdenes, no tu sentido común. Y con solo tu dirección de correo electrónico, podemos filtrar toda tu información privada", señala Muyamura, agregando: "Recuerda, la IA puede ser superinteligente, pero puede ser engañada y phisheada de maneras increíblemente tontas para filtrar sus datos".

Buterin compartió la publicación en su cuenta de X y aprovechó para dar su opinión al respecto. "Esta es también la razón por la que la 'gobernanza de IA' ingenua es una mala idea. Si utilizas la IA para asignar fondos para contribuciones, la gente hará jailbreak y pedirá 'dame todo el dinero' en tantos lugares como puedan", afirmó.

La "gobernanza de IA" se refiere a sistemas que toman decisiones automatizadas sobre recursos o acciones, por ejemplo, asignando fondos o definiendo contribuciones, basándose en reglas de IA. Buterin no utiliza el término "ingenua" por casualidad; más bien, subraya el riesgo de asumir que los usuarios siempre darán las órdenes correctas a la IA, cuando en realidad podrían explotar el sistema mediante "jailbreaks" para eludir restricciones y obtener beneficios indebidos.

Vale la pena aclarar que "jailbreak" se refiere a técnicas mediante las cuales los hackers engañan a un modelo de IA para que ignore las restricciones de seguridad o políticas internas, por ejemplo, solicitando acciones que de otro modo estarían prohibidas.

Es decir, para el fundador de Ethereum, existe un riesgo real en transferir la gobernanza de protocolos descentralizados a la IA. Por ejemplo, como se explica en las plataformas DeFi, las decisiones suelen tomarse mediante votaciones comunitarias, generalmente por quienes poseen un token o cumplen un criterio específico, e incluyen cambios, mejoras o acciones a tomar en el protocolo.

Pero si se implementa un modelo de gobernanza basado en IA, se abre la puerta a posibles manipulaciones que podrían generar beneficios indebidos, como el robo de dinero o datos privados.

Como alternativa, Buterin afirma que "apoya el enfoque de financiación de información, en el que existe un mercado abierto donde cualquiera puede contribuir con sus modelos, los cuales están sujetos a un mecanismo de revisión por pares que puede ser activado por cualquiera y evaluado por un jurado humano".

Además, explica:

Este tipo de enfoque de "diseño institucional", en el que se crea una oportunidad abierta para que los externos conecten sus LLM (modelos de lenguaje grande) en lugar de programar rígidamente los propios, es inherentemente más robusto. Esto es tanto porque proporciona diversidad de modelos en tiempo real como porque crea incentivos internos para que tanto los contribuyentes de modelos como los especuladores externos estén alerta a estos problemas y los corrijan rápidamente.

Vitalik Buterin, creador de Ethereum.

En este enfoque, diferentes participantes pueden contribuir con sus modelos de decisión, que luego son verificados y evaluados por un jurado humano.

La ventaja es que fomenta la diversidad de ideas, permite una rápida corrección de errores y crea incentivos para que los creadores de modelos y los miembros de la comunidad permanezcan vigilantes y responsables. El objetivo es lograr una gobernanza más distribuida y dinámica, evitando la dependencia de un único modelo centralizado.