En las empresas de todos los sectores, los volúmenes de datos están creciendo de forma exponencial. Las organizaciones recopilan, procesan y actúan sobre conjuntos de datos más grandes y diversos que nunca. Con este crecimiento incesante de los datos, surge un nuevo reto: ¿cómo puede la infraestructura de datos existente estar a la altura, no solo en tamaño, sino también en flexibilidad e inteligencia?
Commvault reconoce que el crecimiento exige cambios.
Inicialmente, Commvault se creó para el ámbito de la protección de centros de datos locales. Nuestros productos estaban diseñados para escalar verticalmente, pero no horizontalmente, lo que supuso un problema para nuestros clientes.
Nuestros servicios fundamentales funcionaban en máquinas individuales, lo que, según descubrimos, creaba un cuello de botella que limitaba tanto la flexibilidad como la capacidad de recuperación. Más memoria y procesadores más rápidos permitieron ampliar la capacidad; sin embargo, esto solo resultó ser una solución temporal.
A medida que desarrollábamos nuestros productos en la nube, tuvimos que evolucionar y nos embarcamos en un cambio arquitectónico de gran envergadura que incorporaba la escalabilidad horizontal, los microservicios y una base de plataforma diseñada para las cargas de trabajo de datos actuales.
Reconocer nuestros límites: el punto de inflexión
Las limitaciones del sistema y la arquitectura monolítica generaban una experiencia de usuario negativa para algunos de nuestros clientes. Así que empezamos a introducir cambios.
Una de las funciones básicas que empezamos a ampliar en primer lugar fueron los MediaAgents, componentes de software que actúan como gestores de transmisión de datos y se encargan del movimiento de datos y la gestión del almacenamiento en varios equipos. Al tratarse de algunos de los componentes que más datos consumen, tenían dificultades para seguir el ritmo a medida que aumentaba la carga de datos.
La solución consistió en ampliar la capacidad de forma horizontal, lo que permitía a los usuarios incorporar más máquinas para distribuir la carga. Este cambio marcó el inicio de la ampliación horizontal en toda la plataforma. Al permitir a los usuarios añadir máquinas en lugar de actualizar una misma, introdujimos flexibilidad. MediaAgent demostró que un enfoque escalable horizontalmente funcionaba y que el resto de la plataforma debía seguir su ejemplo.
Sentar las bases de la escalabilidad: Presentación del servicio de búsqueda de entidades
Mientras trabajábamos para mejorar nuestra capa de movimiento de datos, también decidimos centrarnos en otra dimensión crítica de la escalabilidad: el rendimiento del Command Center.
La plataforma de Commvault se caracteriza por un uso intensivo de la escritura, ya que incorpora datos de forma continua para la detección, el seguimiento de tareas, la auditoría y otras funciones. Aunque este modelo funcionaba bien con bases de datos relacionales que ofrecían una alta consistencia y garantías transaccionales, el rendimiento de lectura no daba abasto en entornos de gran tamaño.
Introducimos el servicio de búsqueda de entidades para mejorar la experiencia del usuario en el Command Center, donde algunas llamadas a la API tardaban 30 segundos o más en responder.
Este servicio ligero y optimizado para la lectura mantiene una copia desnormalizada de los datos relacionales clave en un almacén basado en documentos como MongoDB, lo que nos permite alcanzar nuestro principal objetivo de rendimiento: mantener todas las respuestas de API de lectura pesada por debajo de los 3 segundos, independientemente de la escala.
Este cambio arquitectónico no solo mejoró notablemente la experiencia del usuario, sino que también sentó las bases para futuras optimizaciones de la plataforma, algunas de las cuales detallamos a continuación.
Reconstruir nuestras capacidades: el papel de CVDotnetContainer
Con la evolución satisfactoria de MediaAgents, nos dimos cuenta de que nuestros otros componentes principales también podían ampliarse. Nuestros servicios de plataforma básica, como el Job Manager y el servidor CommServe, seguían utilizando un único equipo. Esto generaba rigidez arquitectónica y limitaba nuestra capacidad para gestionar de forma eficaz las crecientes cargas de trabajo, los requisitos regionales y/o las preferencias de los clientes.
Para satisfacer estas demandas, decidimos pasar a una arquitectura basada en microservicios con el fin de dividir los grandes servicios en componentes más pequeños y específicos que pudieran desarrollarse, implementarse y ampliarse de forma independiente. Este enfoque proporcionó una mayor flexibilidad y un uso más eficiente de la infraestructura.
Sin embargo, esto también planteó nuevos retos. Necesitábamos una forma de implementar múltiples servicios sin consumir recursos excesivos, permitir la coexistencia simultánea de diversos servicios en una misma máquina y ofrecer a los administradores la flexibilidad de elegir dónde se ejecutaría cada servicio. Esto requería un sistema capaz de alojar componentes modulares y, al mismo tiempo, gestionar las responsabilidades compartidas de la plataforma.
La solución a este reto fue el CVDotnetContainer.
Microservicios prácticos a gran escala
Desarrollado desde cero, el CVDotnetContainer actúa como una eficaz capa de alojamiento que admite múltiples microservicios en una única instancia. Ofrece la flexibilidad necesaria para implementar servicios de forma independiente, en función de las necesidades de cada CommCell. Una vez preparada la capa base, servicios clave como la integración con S3, App Manager Lite y el servicio de auditoría adoptaron rápidamente el contenedor para ejecutarse en cualquier máquina, con un esfuerzo mínimo y total flexibilidad.
Más allá de sus capacidades de alojamiento, el contenedor se encarga de los requisitos operativos habituales. Gestiona la autenticación, los ciclos de vida de las solicitudes y las respuestas, la gestión de errores, el registro de eventos, el acceso al registro y las interacciones con el sistema de archivos. Los desarrolladores ya no tienen que volver a crear estas capas fundamentales para cada nuevo servicio. En su lugar, pueden centrarse por completo en la aplicación o en la lógica de negocio.
El CVDotnetContainer aportó modularidad a la plataforma de Commvault, agilizó las implementaciones y permitió que los servicios se ampliaran de forma independiente. Como resultado, nuestra arquitectura general se volvió más fácil de mantener y se adaptó mejor a las exigencias de las cargas de trabajo modernas, en constante evolución.
Simplificación de la gestión de CommCell: Global Command Center
A medida que las empresas comenzaron a llegar a audiencias globales y a recibir más datos, un único entorno CommCell resultó insuficiente, ya que solo cuenta con una única instancia de un servidor CommServe. Estas organizaciones empezaron a configurar múltiples CommCells en diferentes regiones para cumplir los requisitos normativos, operativos y de rendimiento. Estas instancias funcionaban de forma independiente, por lo que su gestión se convirtió en una experiencia fragmentada.
Al adoptar la escalabilidad horizontal para mejorar la experiencia del usuario, la gestión de estos entornos distribuidos supuso un nuevo reto para Commvault. En respuesta a ello, se llevó a cabo uno de los avances más significativos en la arquitectura de Commvault: la habilitación de una gestión simplificada de múltiples entornos en un único panel de control con la introducción del Global Command Center, que permite al cliente gestionar todas sus CommCells.
El Global Command Center es un panel de control que actúa como «ventana única», lo que permite a los clientes gestionar múltiples CommCells a través de una única interfaz administrativa. Ofrece una visión consolidada de las operaciones, incluso cuando la infraestructura se encuentra repartida por distintos continentes. Los clientes pueden desplegar instancias en Estados Unidos, Europa, Asia o cualquier otra ubicación, y seguir supervisándolas y controlándolas desde un único lugar.
Esta vista unificada ha eliminado la necesidad de iniciar sesión en cada consola por separado. En lugar de requerir que varios administradores se encarguen del mantenimiento de los entornos de CommCell, esta única plataforma global permite a los clientes supervisar las tareas, realizar un seguimiento de las actualizaciones y controlar el estado de toda la empresa. Contribuye a simplificar la supervisión, a reducir la carga operativa y permite a los equipos gestionar ecosistemas globales con la claridad que ofrece un sistema centralizado.
Lo que nos espera: Diseñado para ayudar a crear una empresa preparada para el futuro
La evolución de Commvault hacia una arquitectura basada en microservicios y escalable horizontalmente ha cambiado radicalmente, para mejor, la forma en que prestamos servicio a nuestros clientes. Al apostar por la modularidad, ofrecer flexibilidad e introducir una gestión centralizada a través del Global Command Center, Commvault ha diseñado una plataforma preparada para satisfacer las necesidades actuales y ayudar a hacer frente a las exigencias del futuro. Por muy complejas que se vuelvan las cargas de trabajo modernas o por mucho que aumenten los volúmenes de datos, Commvault está diseñado para ofrecer una experiencia de usuario excepcional.
