Descentralización del almacenamiento: un largo camino de la concepción a la práctica

La Descentralización del almacenamiento fue una de las rutas más populares en la industria de blockchain. Filecoin, como el proyecto líder de la última bull market, tuvo una capitalización de mercado que superó los diez mil millones de dólares en un momento dado. Arweave, con su concepto de almacenamiento permanente, también alcanzó una capitalización de mercado de 3.5 mil millones de dólares. Sin embargo, a medida que se cuestiona la disponibilidad del almacenamiento de datos fríos, la necesidad del almacenamiento permanente también se ha puesto en duda, y si la Descentralización del almacenamiento puede realmente concretarse sigue siendo una cuestión pendiente.

Recientemente, la aparición de Walrus ha traído nueva vitalidad a un sector de almacenamiento que había estado en silencio durante mucho tiempo. El proyecto Shelby, lanzado en colaboración entre Aptos y Jump Crypto, intenta lograr un avance en el área de almacenamiento de datos en caliente. Entonces, ¿es posible que la Descentralización vuelva a surgir y ofrezca soluciones para una amplia gama de escenarios de aplicación? ¿O es simplemente otra ronda de especulación sobre conceptos? Este artículo analizará las trayectorias de desarrollo de cuatro proyectos: Filecoin, Arweave, Walrus y Shelby, explorando la evolución de la narrativa del almacenamiento descentralizado y tratando de responder a la pregunta: ¿cuánto falta para la difusión del almacenamiento descentralizado?

Filecoin: el almacenamiento es solo una superficie, la minería es la esencia

Filecoin es una de las criptomonedas alternativas que surgieron en una etapa temprana, y su dirección de desarrollo naturalmente gira en torno a la Descentralización. Esta es una característica común de las criptomonedas tempranas: buscar el significado de la Descentralización en varios campos tradicionales. Filecoin no es una excepción, ya que relaciona el almacenamiento con la Descentralización y señala los problemas de confianza de los proveedores de servicios de almacenamiento de datos centralizados. Por lo tanto, el objetivo de Filecoin es transformar el almacenamiento centralizado en almacenamiento descentralizado. Sin embargo, ciertos aspectos que se sacrifican en el proceso de lograr la Descentralización se convierten precisamente en los puntos críticos que los proyectos posteriores como Arweave o Walrus intentan abordar. Para entender por qué Filecoin es en realidad solo una moneda minera, es necesario comprender las limitaciones objetivas de su tecnología subyacente IPFS, que no es adecuada para manejar datos calientes.

IPFS: Descentralización arquitectura de los cuellos de botella de transmisión

IPFS(Sistema de Archivos Interestelar)salió a la luz alrededor de 2015, con el objetivo de revolucionar el protocolo HTTP tradicional a través de la dirección basada en contenido. La mayor desventaja de IPFS es su velocidad de recuperación extremadamente lenta. En una era donde los proveedores de servicios de datos tradicionales pueden alcanzar tiempos de respuesta en milisegundos, IPFS aún necesita decenas de segundos para recuperar un archivo, lo que dificulta su promoción en aplicaciones prácticas y explica por qué, aparte de unos pocos proyectos de blockchain, rara vez es adoptado por la industria tradicional.

El protocolo P2P subyacente de IPFS es principalmente adecuado para "datos fríos", es decir, contenido estático que no cambia con frecuencia, como videos, imágenes y documentos. Sin embargo, al tratar con datos calientes, como páginas web dinámicas, juegos en línea o aplicaciones de inteligencia artificial, el protocolo P2P no tiene ventajas significativas en comparación con las CDN tradicionales.

A pesar de que IPFS en sí no es una blockchain, su diseño basado en un grafo acíclico dirigido (DAG) se alinea estrechamente con muchas cadenas públicas y protocolos Web3, lo que lo convierte en una base adecuada para la construcción de blockchain. Por lo tanto, incluso si no tiene valor práctico, como un marco subyacente que soporta la narrativa de blockchain es suficiente; los primeros proyectos de copia solo necesitaban un marco funcional para comenzar su camino hacia las estrellas y el mar. Pero cuando Filecoin alcanzó cierta etapa, las deficiencias que trajo IPFS comenzaron a obstaculizar su avance.

lógica de las monedas minadas bajo el almacenamiento

El diseño original de IPFS es permitir que los usuarios, al almacenar datos, también sean parte de una red de almacenamiento. Sin embargo, sin incentivos económicos, es difícil que los usuarios utilicen este sistema de forma voluntaria, y mucho menos que se conviertan en nodos de almacenamiento activos. Esto significa que la mayoría de los usuarios solo almacenarán archivos en IPFS, pero no contribuirán con su espacio de almacenamiento ni almacenarán archivos de otros. Es en este contexto que surge Filecoin.

En el modelo económico del token de Filecoin, hay tres roles principales: los usuarios son responsables de pagar tarifas para almacenar datos; los mineros de almacenamiento obtienen incentivos en tokens por almacenar los datos de los usuarios; y los mineros de recuperación proporcionan datos cuando los usuarios los necesitan y obtienen incentivos.

Este modelo presenta un espacio potencial para el comportamiento malicioso. Los mineros de almacenamiento podrían rellenar datos basura para obtener recompensas después de proporcionar espacio de almacenamiento. Dado que estos datos basura no serán recuperados, incluso si se pierden, no activarían el mecanismo de penalización de los mineros de almacenamiento. Esto permite a los mineros de almacenamiento eliminar datos basura y repetir este proceso. El consenso de prueba de replicación de Filecoin solo puede asegurar que los datos del usuario no han sido eliminados de manera privada, pero no puede impedir que los mineros llenen datos basura.

El funcionamiento de Filecoin depende en gran medida de la inversión continua de los mineros en la economía de tokens, en lugar de estar basado en la demanda real de los usuarios finales por el almacenamiento descentralizado. Aunque el proyecto sigue en iteración continua, en la etapa actual, la construcción del ecosistema de Filecoin se ajusta más a la "lógica de minería" que a la definición de un proyecto de almacenamiento "impulsado por aplicaciones".

Arweave: nace del largo plazo, muere por el largo plazo

Si el objetivo de diseño de Filecoin es construir un "nube de datos" descentralizada, incentivada y verificable, entonces Arweave va en la dirección opuesta en el almacenamiento: proporcionando la capacidad de almacenamiento permanente para los datos. Arweave no intenta construir una plataforma de computación distribuida; todo su sistema se basa en una suposición central: los datos importantes deben ser almacenados una vez y permanecer para siempre en la red. Este extremismo en el largo plazo hace que Arweave sea muy diferente de Filecoin en términos de mecanismos, modelos de incentivos, requisitos de hardware y enfoques narrativos.

Arweave utiliza Bitcoin como objeto de estudio, intentando optimizar continuamente su red de almacenamiento permanente en un periodo largo medido en años. A Arweave no le importa el marketing, ni la competencia o las tendencias del mercado. Simplemente avanza en el camino de iterar la arquitectura de la red, sin preocuparse si nadie se interesa, porque esa es la esencia del equipo de desarrollo de Arweave: el largo plazo. Gracias al largo plazo, Arweave fue muy aclamado en el último mercado alcista; y también debido al largo plazo, incluso si cae a un fondo, Arweave podría sobrevivir a varias rondas de mercados alcistas y bajistas. Pero, ¿tendrá Arweave un lugar en el futuro almacenamiento Descentralización? El valor de existencia del almacenamiento permanente solo puede ser demostrado a través del tiempo.

La red principal de Arweave, desde la versión 1.5 hasta la reciente versión 2.9, aunque ha perdido el fervor del debate en el mercado, ha estado trabajando para permitir que un rango más amplio de mineros participe en la red con el menor costo posible y para incentivar a los mineros a almacenar datos al máximo, mejorando continuamente la robustez de toda la red. Arweave es consciente de que no se ajusta a las preferencias del mercado, por lo que ha adoptado un enfoque conservador, no abrazando a la comunidad de mineros, su ecosistema está completamente estancado, actualizando la red principal con el mínimo costo, y siempre buscando reducir el umbral de hardware sin comprometer la seguridad de la red.

Revisión del camino de actualización de 1.5-2.9

La versión 1.5 de Arweave expone una vulnerabilidad que permite a los mineros depender de la apilación de GPU en lugar de almacenamiento real para optimizar las probabilidades de generar bloques. Para frenar esta tendencia, la versión 1.7 introduce el algoritmo RandomX, limitando el uso de poder de cómputo especializado y exigiendo la participación de CPU genéricas en la minería, debilitando así la Descentralización del poder de cómputo.

En la versión 2.0, Arweave adopta SPoA, convirtiendo la prueba de datos en una ruta simplificada de estructura de árbol de Merkle, e introduce transacciones de formato 2 para reducir la carga de sincronización. Esta arquitectura alivia la presión sobre el ancho de banda de la red, mejorando significativamente la capacidad de colaboración de los nodos. Sin embargo, algunos mineros aún pueden eludir la responsabilidad de poseer datos reales a través de estrategias de grupos de almacenamiento centralizado de alta velocidad.

Para corregir esta tendencia, 2.4 lanza el mecanismo SPoRA, introduciendo un índice global y acceso aleatorio a hash lento, lo que obliga a los mineros a poseer realmente bloques de datos para participar en la creación de bloques válidos, debilitando así el efecto de acumulación de poder de cálculo desde el mecanismo. Como resultado, los mineros comienzan a prestar atención a la velocidad de acceso al almacenamiento, impulsando la aplicación de SSD y dispositivos de lectura y escritura de alta velocidad. 2.6 introduce una cadena de hash para controlar el ritmo de creación de bloques, equilibrando la rentabilidad marginal de los dispositivos de alto rendimiento y proporcionando un espacio de participación equitativo para los mineros pequeños y medianos.

Las versiones posteriores refuerzan aún más la capacidad de colaboración de la red y la diversidad de almacenamiento: 2.7 aumenta la minería colaborativa y el mecanismo de piscinas, mejorando la competitividad de los pequeños mineros; 2.8 introduce un mecanismo de empaquetado compuesto, permitiendo que dispositivos de gran capacidad y baja velocidad participen de manera flexible; 2.9 introduce un nuevo proceso de empaquetado en formato replica_2_9, mejorando significativamente la eficiencia y reduciendo la dependencia computacional, completando el ciclo del modelo de minería orientado a datos.

En general, la ruta de actualización de Arweave presenta claramente su estrategia a largo plazo orientada al almacenamiento: al resistir continuamente la tendencia de concentración de poder de cómputo, reduce constantemente las barreras de participación, garantizando la viabilidad del funcionamiento a largo plazo del protocolo.

Walrus: ¿Abrazar los datos calientes es una exageración o una profunda sabiduría?

El enfoque de diseño de Walrus es completamente diferente al de Filecoin y Arweave. El punto de partida de Filecoin es crear un sistema de almacenamiento descentralizado y verificable, a costa del almacenamiento de datos fríos; el punto de partida de Arweave es crear una biblioteca de Alejandría en cadena que pueda almacenar datos de forma permanente, a costa de tener muy pocos escenarios; el punto de partida de Walrus es optimizar el costo de almacenamiento del protocolo de almacenamiento de datos calientes.

Modificación mágica de códigos de corrección: ¿innovación en costos o vino nuevo en botellas viejas?

En cuanto al diseño de costos de almacenamiento, Walrus considera que los gastos de almacenamiento de Filecoin y Arweave son irracionales, ya que ambos utilizan una arquitectura de replicación completa, cuya principal ventaja radica en que cada nodo posee una copia completa, lo que proporciona una fuerte capacidad de tolerancia a fallos y una independencia entre nodos. Este tipo de arquitectura garantiza que, incluso si algunos nodos están fuera de línea, la red aún mantenga la disponibilidad de datos. Sin embargo, esto también significa que el sistema requiere redundancia de múltiples copias para mantener la robustez, lo que a su vez incrementa los costos de almacenamiento. Especialmente en el diseño de Arweave, el mecanismo de consenso en sí mismo fomenta el almacenamiento redundante de nodos para aumentar la seguridad de los datos. En comparación, Filecoin es más flexible en el control de costos, pero a costa de que algunos almacenamiento de bajo costo pueda conllevar un mayor riesgo de pérdida de datos. Walrus intenta encontrar un equilibrio entre ambos, su mecanismo controla los costos de replicación mientras mejora la disponibilidad mediante un enfoque de redundancia estructural, estableciendo así un nuevo camino de compromiso entre la disponibilidad de datos y la eficiencia de costos.

La tecnología Redstuff creada por Walrus es clave para reducir la redundancia de nodos, y proviene de la codificación Reed-Solomon(RS). La codificación RS es un algoritmo de código de borrado muy tradicional, y el código de borrado es una técnica que permite duplicar conjuntos de datos mediante la adición de fragmentos redundantes(erasure code), que se puede utilizar para reconstruir los datos originales. Desde CD-ROM hasta comunicaciones por satélite y códigos QR, se utiliza con frecuencia en la vida cotidiana.

Los códigos de corrección de errores permiten a los usuarios obtener un bloque, por ejemplo, de 1 MB, y luego "ampliarlo" a 2 MB, donde el 1 MB adicional se llama datos de corrección de errores. Si se pierde cualquier byte en el bloque, los usuarios pueden recuperar fácilmente esos bytes a través del código. Incluso si se pierde un bloque de hasta 1 MB, se puede recuperar el bloque completo. La misma técnica permite a las computadoras leer todos los datos en un CD-ROM, incluso si ha sido dañado.

Actualmente, el más utilizado es el código RS. La forma de implementación es comenzar con k bloques de información, construir un polinomio relacionado y evaluarlo en diferentes coordenadas x para obtener los bloques codificados. Al usar códigos de borrado RS, la probabilidad de muestreo aleatorio de grandes bloques de datos perdidos es muy baja.

¿Cuál es la característica más destacada de RedStuff? A través de la mejora del algoritmo de codificación de borrado, Walrus puede codificar rápidamente y de manera robusta bloques de datos no estructurados en fragmentos más pequeños, que se almacenarán distribuidos en una red de nodos de almacenamiento. Incluso si se pierden hasta dos tercios de los fragmentos, se puede reconstruir rápidamente el bloque de datos original utilizando fragmentos parciales. Esto es posible manteniendo un factor de replicación de solo 4 a 5 veces.

Por lo tanto, es razonable definir a Walrus como un protocolo ligero de redundancia y recuperación rediseñado en torno a un escenario de Descentralización. A diferencia de los códigos de corrección de errores tradicionales ( como Reed-Solomon ), RedStuff ya no persigue una estricta coherencia matemática, sino que realiza compromisos realistas en relación con la distribución de datos, la verificación de almacenamiento y los costos de computación. Este modelo renuncia al mecanismo de decodificación instantánea requerido por la programación centralizada, y en su lugar verifica a través de pruebas en cadena si los nodos tienen copias específicas de datos, adaptándose así a una estructura de red más dinámica y marginal.

El núcleo del diseño de RedStuff es dividir los datos en dos categorías: fragmentos principales y fragmentos secundarios. Los fragmentos principales se utilizan para recuperar los datos originales, su generación y distribución están sujetas a estrictas restricciones, el umbral de recuperación es de f+1, y se requieren 2f+1 firmas como respaldo de disponibilidad; los fragmentos secundarios se obtienen a través de