Arquitectura distribuida

Soporte de arquitectura distribuida

AggreGate es la única plataforma de IoT en el mundo que admite arquitectura distribuida genérica. Está diseñado para garantizar una escalabilidad ilimitada al separar las operaciones entre múltiples servidores AggreGate subdivididos en varias capas. Los servidores mantienen conexiones seguras entre sí, intercambiando sus datos y viviendo como un sólo organismo coordinado.

A diferencia de los nodos del clúster de conmutación por error "cluster de tolerancia a fallos" AggreGate, los servidores que participan en la arquitectura distribuida son completamente independientes. Cada servidor tiene su base de datos, cuentas de usuarios locales, permisos asociados, etc.

La arquitectura distribuida AggreGate es extremadamente flexible. Se basa técnicamente en establecer una relación de interconexión entre servidores y unir partes del modelo de datos unificados de servidores específicos ("proveedores") a otros servidores ("consumidores").

Concepto de arquitectura distribuida

Objetivos de las operaciones distribuidas

Los propósitos principales de la arquitectura distribuida son:

  • Escalabilidad. Los servidores de nivel inferior pueden estar muy cargados con un control casi en tiempo real y un sondeo extenso de dispositivos. Pero en la práctica, la cantidad de dispositivos que pueden ser administrados por un único servidor está limitada a varios miles. Para escalar el sistema para una mayor cantidad de dispositivos, es razonable instalar varios servidores y unirlos en una instalación distribuida.
  • Distribución de roles. Cada servidor en una instalación distribuida puede resolver su tarea. Los servidores de administración de redes comprueban la disponibilidad y operatividad de la infraestructura de red IP, mientras que los servidores de control de acceso físico atienden las solicitudes de los controladores de puerta / torniquete. Además, las operaciones de supervisión (cómo generar y enviar informes por correo electrónico) pueden ser realizadas por un servidor central.
  • Penetración de cortafuegos. Los servidores de "sondeo" secundarios pueden instalarse en ubicaciones remotas y conectarse al servidor central. Los operadores del sistema sólo se conectan al servidor central, por lo que no es necesario configurar las VPN y el reenvío de puertos a los servidores secundarios.
  • Centralizacion. Los servidores de nivel inferior pueden funcionar en un modo totalmente automático, mientras que su operación general puede ser supervisada por un único operador a través de un servidor de nivel superior instalado en el centro de situación.

Distribución de roles del servidor

En este escenario sencillo, hay dos servidores unidos en una instalación distribuida. Los operadores del sistema están conectados al servidor de monitoreo 24x7, realizando sus tareas diarias. Los ejecutivos de la empresa se conectan al servidor de informes y análisis una vez que se requiere un corte de datos específicos. Independientemente de cuán costoso sea este corte de datos, no afectara el rendimiento de la interfaz del operador.

- Escenario de distribución de roles del servidor

Plataforma en la nube de IoT a gran escala

Los operadores de telecomunicaciones y los proveedores de servicios administrados ofrecen servicios de IoT según el modelo IaaS / PaaS / SaaS. En este caso, hay millones de dispositivos que pertenecen a miles de inquilinos. El mantenimiento de una infraestructura tan considerable requiere cientos de servidores AggreGate, la mayoría de los cuales están agrupados en dos niveles:

  • Servidores que mantienen el registro de los usuarios y sus dispositivos, enrutando las conexiones de dispositivos y operadores a servidores adecuados de nivel inferior y agregan datos durante operaciones avanzadas de minería de datos que involucran múltiples servidores de nivel inferior
  • Servidores que realizan la administración y el monitoreo real del dispositivo, así como la adquisición, el almacenamiento y el procesamiento de datos
Ejemplo de la plataforma en la nube de IoT a gran escala

Los servidores de directorio de usuarios y dispositivos también son responsables de interconectar el sistema de control de la nube que se ocupa de implementar nuevos servidores de análisis y almacenamiento de datos, así como de supervisar su funcionamiento.

Los servidores de almacenamiento y procesamiento de datos están utilizando recursos (alertas, modelos, flujos de trabajo, Dashboards, etc.) compartidos por los servidores de plantillas que guardan copias maestras de esos recursos.

Infraestructura IoT de varios niveles

Gracias a la arquitectura distribuida de AggreGate, una sola solución puede unirse a varios servidores instalados en varios niveles. Algunos de ellos se están ejecutando dentro de puertas de enlace IoT, otros están almacenando y procesando datos, y otros son responsables de la agregación de alto nivel y la computación distribuida.

El equipo de campo, como sensores y actuadores, se puede conectar a los servidores de procesamiento directamente, a través de agentes, a través de puertas de enlace o mediante una combinación de un agente y una puerta de enlace.

Ejemplo de la infraestructura IoT de varios niveles

Administracion de Ciudad Inteligente

Aquí hay un ejemplo de la arquitectura de varios niveles basada en AggreGate empleada en un gran proyecto de automatización de área metropolitana:

  • Layer 1: hardware físico (enrutadores de red, controladores, equipos industriales, etc.)
  • Layer 2: servidores de administración directa (servidor de supervisión de red, servidor de control de acceso, servidor de automatización de edificios, etc.)
  • Layer 3: creación de servidores del centro de control (un servidor por edificio, consolida la información de todos los servidores "especializados" de Capa 2 en este edificio)
  • Layer 4: servidores del distrito urbano (el destino final para alertas escaladas de nivel inferior, monitoreo en tiempo real por parte de operadores humanos, integración con sistemas de Service Desk)
  • Layer 5: servidor HQ (supervisión general, gestión de incidencias y situaciones, informes y alertas globales)

Cualquier servidor AggreGate particular en el esquema anterior puede ser un clúster de tolerancia a fallos de varios nodos.

Ejemplo de la administración de ciudad inteligente basada en la arquitectura de varios niveles AggreGate

Adminsitracion de red multisegmento

El producto AggreGate Network Manager construido sobre la plataforma AggreGate es uno de los casos de uso más típicos para la arquitectura distribuida. Las grandes redes segmentadas de corporaciones y operadores de telecomunicaciones no pueden monitorearse desde una única ubicación debido a restricciones de enrutamiento, problemas de seguridad y ancho de banda limitado entre segmentos geográficamente separados.

Por lo tanto, un sistema de monitoreo unificado generalmente se compone de varios componentes:

  • Un servidor primario o central que consolida la información agregada de todos los segmentos de red
  • Servidores secundarios o de sondeo que realizan sondeos de dispositivos en segmentos aislados
  • Servidores especializados como el servidor de descomposición de tráfico que maneja miles de millones de eventos NetFlow por día.

Los servidores secundarios y especializados actúan como proveedores de datos para el servidor primario, exponiendo una parte de su modelo de datos para el centro de control. Esto puede ser:

  • A todo el contenido del árbol de contexto del servidor de sondeo, le permite una monitorización y configuración completas a través del servidor central. En este caso, el servidor de prueba sólo se utiliza como un proxy para resolver problemas de segmentación de red.
  • Alertas generadas por los servidores de sondeo. En este caso, el 99% de los trabajos se realizan de forma remota, pero los operadores del servidor central reciben notificaciones inmediatas sobre los problemas planteados en los segmentos secundarios.
  • Un conjunto personalizado de datos del servidor de sondeo, como dispositivos específicos de misión crítica e importantes informes de resumen. La encuesta real y la generación de informes serán realizadas por el servidor secundario, lo que permite equilibrar la carga del sistema correctamente.
Ejemplo de la adminsitración de red multisegmento vía AggreGate Network Manager

Administración de eventos de alto rendimiento

Algunos escenarios de uso de AggreGate Platform, como la administración centralizada de incidentes, suponen que se debe recibir, procesar y almacenar de manera persistente un gran número de eventos en el formato estructurado. Algunas secuencias de eventos pueden llegar a millones de eventos por segundo, provenientes de varias fuentes.

Ejemplo de la adminsitración de eventos de alto rendimiento usando la plataforma AggreGate

En tales casos, un único servidor AggreGate no podrá gestionar todo el flujo de eventos. La arquitectura distribuida ayuda a organizar el procesamiento de eventos:

  • Múltiples servidores de procesamiento de eventos locales están instalados en las ubicaciones de origen del evento. Se pueden conectar varias fuentes (sondas) a un único servidor de procesamiento.
  • Un servidor de almacenamiento dedicado o un clúster de almacenamiento de Big Data multiservidor está asociado a cada servidor de procesamiento local. La cantidad de nodos de clúster puede variar de acuerdo con la tasa de eventos.
  • Todos los servidores de almacenamiento locales realizan pre-filtrado de eventos, de duplicación, correlación (usando reglas aplicables a las sondas conectadas localmente), enriquecimiento y almacenamiento.
  • Los servidores de almacenamiento local están conectados a un servidor de agregación central. El servidor de agregación es responsable de la correlación de eventos significativos en todo el sistema.
  • Los operadores de servidor central pueden examinar toda la base de datos de eventos mientras las tareas de búsqueda de datos reales se distribuyen entre los servidores de almacenamiento. Por lo tanto, es posible la generación de informes centralizados y las alertas basadas en toda la base de datos de eventos.

Empresa digital

AggreGate puede actuar como la plataforma central de middleware de una empresa digital. En este caso, sus servidores desempeñan varios roles, desde el nivel alto de BI y la gestión de incidentes / situaciones hasta los servidores de supervisión y control local en sucursales remotas.

Todos los servidores de una empresa digital están conectados a través de la arquitectura distribuida. Los servidores de nivel inferior comparten partes de su modelo unificado a servidores de nivel superior, lo que permite construir un centro de situación unificado para toda la empresa.

AggreGate como la plataforma central de middleware de una empresa digital