El cofundador de Ethereum, Vitalik Buterin, afirma que es una “mala idea” usar inteligencia artificial (IA) para el gobierno. En una publicaci贸n X el s谩bado, Buterin escribi贸:
“Si usa una IA para asignar fondos para las contribuciones, las personas pondr谩n un jailbreak m谩s” dorar todo el dinero “en tantos lugares como puedan”.
Por qu茅 la gobernanza de IA es defectuosa
La publicaci贸n de Buterin fue una respuesta a Eito Miyamura, cofundador y CEO de EdisonWatch, una gobernanza de datos de IA Platchorm que revel贸 un defecto fatal en Chatgpt. En una publicaci贸n el viernes, Miyamura escribi贸 que la adici贸n de las herramientas de MCP (protocolo de contexto modelo) en ChatGPT ha hecho que el agente de IA haya susceptible a la explotaci贸n.
La actualizaci贸n, que entr贸 en vigencia el mi茅rcoles, permite a ChatGPT conectar y leer datos de varias aplicaciones, incluidos Gmail, Calendar y noci贸n.
Miyamura se帽al贸 que con solo una direcci贸n de correo electr贸nico, la actualizaci贸n ha permitido “exfiltrar toda su informaci贸n privada”. Los delincuentes pueden obtener acceso a sus datos en tres pasos simples, explic贸 Miyamura:
Primero, los atacantes env铆an una invitaci贸n de calendario malicioso con un aviso de jailbreak a la v铆ctima prevista. Un mensaje de jailbreak se refiere al c贸digo que permite que un atacante elimine las restricciones y obtenga acceso administrativo.
Miyamura se帽al贸 que la v铆ctima no tiene que aceptar la invitaci贸n maliciosa del atacante para que se produzca la fuga de datos.
El segundo paso implica esperar a que la v铆ctima prevista busque la ayuda de Chatgpt para prepararse para su d铆a. Finalmente, una vez que ChatGPT lee la invitaci贸n del calendario con jailbreak, se compromete: el atacante puede secuestrar por completo la herramienta AI, hacer que busque los correos electr贸nicos privados de la v铆ctima y enviar los datos al correo electr贸nico del atacante.
Alternativa de Buterin
Buterin sugiere utilizar el enfoque de finanzas de informaci贸n para el gobierno de la IA. El enfoque de finanzas de informaci贸n consiste en un mercado abierto donde diferentes desarrolladores pueden contribuir con sus modelos. El mercado tiene un mecanismo de verificaci贸n puntual para tales modelos, que puede ser desencadenado por cualquier persona y evaluado por un jurado humano, escribi贸 Buterin.
En una publicaci贸n separada, Buterin explic贸 que los jurados humanos individuales ser谩n ayudados por modelos de idiomas grandes (LLM).
Seg煤n Buterin, este tipo de enfoque de ‘dise帽o de instituci贸n’ es “inherentemente m谩s robusto”. Esto se debe a que ofrece diversidad de modelos en tiempo real y crea incentivos tanto para los desarrolladores de modelos como para los especuladores externos a la polic铆a y corregir los problemas.
Mientras que muchos est谩n entusiasmados con la perspectiva de tener “IA como gobernador”, advirti贸 Buterin:
“Creo que hacer esto es arriesgado tanto por razones de seguridad tradicionales de IA como por razones de” esto crear谩 un gran valor destructivo “razones”.
Mencionado en este art铆culo
(Tagstotranslate) Ethereum
