Sun Grid Engine

xml-qstat

• Reserva anticipada.
• Dependencias de la matriz.
• Reserva de recursos y control de las cuotas de uso de esos recursos (a nivel individual y de clúster).
• Ejecución remota mejorada (sin usar rshd/rlogind/sshd procesos externos).
• Multi-clustering, es decir, permite la utilización en paralelo de multitud de ordenadores, estando estos conectados mediante algún tipo de red.
• Demonios gestionados por el centro de administradores de los servicios de Solaris (Service Management Facility).
• Los trabajos interactivos están apoyados por Pseudo TTY (pty).
• Verificador de presentación del trabajo (verificación de trabajo de cliente y servidor).
• Instalador con interfaz gráfica de usuario (GUI) y revisión del SGE.
• Topología “inteligente” de programación e hilos vinculantes.
• Integración con Hadoop y Amazon EC2 para facilitar el Cloud Computing.

• Posee varios algoritmos de programación avanzada basados en políticas de asignación de recursos.
• Permite la creación de colas de clúster.
• Tolerancia a fallos del programador (Grid Engine sigue funcionando siempre y cuando existan uno o más hosts).
• Puntos de control o guardado de trabajo.
• Matrices de trabajo y tareas.
• DRMAA (como API de trabajo para la presentación y control de trabajos en entornos distribuidos) con la posibilidad de usar diferentes lenguajes como C/C++, Java/Java script, Perl, Python.
• Informe de avances de XML (qstat y qhost) y la interfaz de web de xml-qstat.
• Trabajos paralelos (MPI, PVM, OpenMP) y arranque de trabajo paralelo escalable con qrsh.
• Contabilidad y control de uso (sensores de inactividad).
• Contabilidad y presentación de la consola (ARCO).
• Integración con FLEXlm y gestión de licencias software con LicenseJuggler.

• Soporte multiplataforma.
• Calendario inteligente, para almacenar los cambios de una forma segura y correcta y para mantener el control en las colas de tareas o ejecución.
• Manejo y administración de usuarios.
• Migración de tareas de un host a otro con la posibilidad de realizarse con o sin punto de control.

SGE es un sistema multiplataforma, destacando las siguientes:

• AIX
• BSD (la mayoría de arquitecturas).
• HP-UX (PA-RISC & IA64)
• IRIX
• Linux (la mayoría de arquitecturas).
• Mac OS X (PPC & x64)
• Solaris (SPARC & x64)
• Tru64
• Windows

Otras plataformas menos comunes:

• UNICOS (Cray)
• SUPER-UX (NEC SX)

Incluyendo diferentes variantes de Linux

• PS/2 & PS/3
• zLinux

Información de la arquitectura clúster que sigue el sistema Sun grid Engine, conocido en la actualidad como Oracle Grid Engine.

Un clúster con el sistema Grid Engine típico consiste en un host principal o maestro y uno o más host en ejecución. Además se pueden configurar varios host maestros secundarios, similar a una estructura RAID, que asumen el papel del host principal en caso de que éste se bloquee o deje de funcionar de forma correcta.

En el caso del SGE, cada host recibe un nombre que lo diferencia de los demás, siendo estos nombres Grid1, Grid2,…, hasta nombrar todos y cada uno de ellos. El único host que recibe un nombre diferente a los demás es el host principal, al que se le suele denominar Grid (sin poseer un número que lo determine). Los SGE funcionan mejor cuando todos los usuarios que usan máquinas del sistema utilizan una cola de trabajos, puesto que aplican todas las características y potencia de este sistema.

Antes de comenzar a detallar más aspectos del funcionamiento es necesario explicar algunos conceptos, como job y cola.

• job: es una unidad de trabajo que es definida por un programa ejecutable. Hay varios tipos:

• Batch.
• Trabajos interactivos.
• Trabajos paralelo.

• cola: es un contenedor para una categoría de trabajos que pueden ser asignados para ser ejecutados en un único host. Una cola pueden distinguirse de otras en cuanto a:

• Tipos de trabajos.
• Números de CPUs disponibles.
• Cuando pueden migrarse los trabajos de una cola a otra.
• Listas de usuarios.

Los usuarios envían trabajos (jobs): El usuario especifica el perfil de requisitos (CPU disponible, disco, arquitectura...).

SGE registra el trabajo, su perfil de requisitos e información de control (usuario, grupo, proyecto, departamento, fecha/hora de envío...).

Tan pronto como una cola, quede disponible, SGE lanza a ejecución uno de los trabajos en espera:

• Aquel con mayor prioridad o mayor tiempo en espera, según la configuración del planificador.
• En caso de que haya varias colas disponibles se escoge la más descargada.
• Puede haber varias colas por host.

A partir de estos datos ya podemos explicar el último punto del funcionamiento del SGE, conocido como ciclo de vida del trabajo o job, donde se observa el camino que sigue cada trabajo desde que un usuario lo envía hasta que recibe el resultado. El ciclo de vida de un trabajo es el siguiente:

• Se envía el trabajo.
• El host maestro almacena el trabajo en su base de datos.
• El host maestro asigna el trabajo a una cola y lo envía al host correspondiente.
• El host de ejecución almacena el trabajo en su base de datos, lo inicia y espera a obtener el resultado.
• Cuando ha finalizado envía el resultado al host maestro y elimina el trabajo de su base de datos.

SGE tiene tres políticas de planificación a la hora de establecer un orden y distribuir los trabajos. Estas políticas se pueden combinar para implementar nuevas políticas de uso de un clúster:

• Política basada en tickets (usuario): cuántos más tickets tenga un usuario mayor será su prioridad.
• Política de urgencia (trabajo):

• Deadline: que es la hora límite que tiene un trabajo para que sea obtenido su resultado.
• El tiempo que lleve esperando el trabajo en la cola.
• Los recursos que sean demandados por el trabajo.

• Política personalizada: permite asignar una prioridad a los trabajos, con unos valores entre -1023 y 1024.

Ventajas que proporciona el sistema Sun grid Engine, conocido en la actualidad como Oracle Grid Engine, cuando es utilizado para gestionar el trabajo realizado por varios ordenadores.

El sistema SGE es un gestor de recursos distribuidos (DRM) que administra la distribución de las cargas de trabajo de los usuarios teniendo en cuenta la disponibilidad de dichos recursos.

Uno de las primeras ventajas, y de los más destacables, es la situación que tiene lugar en un centro de trabajo donde la utilización de los recursos suele estar en torno a un promedio del 10-25%, y que al emplear el SGE puede aumentar al 80-90%. Esta mejora procede de la inteligente distribución de la carga de trabajo y de la correcta utilización de los recursos, de tal modo que ningún host se encuentre sobrecargado en comparación con el resto, existiendo un equilibrio en las cargas de trabajo.

Cuando los usuarios envían su trabajo al SGE, el sistema controla el estado actual de todos los recursos del clúster y es capaz de asignar dichos trabajos a los recursos más adecuados. Además este sistema permite a los administradores adaptar sus entornos informáticos y sus recursos para conseguir el mayor rendimiento.

Además este sistema permite la posibilidad de supervisar los trabajos enviados y consultar los host en donde se están ejecutando, si han terminado, si ha tenido lugar algún tipo de error, entre otras consultas. También proporciona un historial de trabajo donde comprobar distintos datos, como fechas, usuarios, etc.

Por otro lado si se trabaja con Apache Hadoop, el SGE reduce el coste de ejecución de estas aplicaciones y permite compartir y utilizar los recursos para otras tareas, evitando el uso único de un grupo de host para esta tarea. Si se trabaja con Amazon EC2 el SGE proporciona recursos adicionales de forma automática, reduciendo la “picos” de demanda a los centros de datos que se producen.

Como resultado de estas ventajas, se producen varios beneficios:

• Se reducen los tiempos de ejecución, llegando a ser en algunos casos de un 50%.
• Se reduce el consumo de energía, debido a que se gestionan los recursos de tal manera que los periodos de inactividad se minimizan.

Sun proporcionó contratos de soporte para la versión comercial del Grid Engine en la mayoría de plataformas UNIX y Windows. Los servicios profesionales, de consultoría y formación fueron proporcionados por Sun Partners. Sun Partners se asoció con la Universidad de Georgetown para impartir clases de administración de Grid Engine. El personal de estas instituciones proporcionó breves talleres de formación, con una duración de 1 o 2 días. Este tipo de talleres ha tenido lugar en la ciudad de Regensburg (Alemania) en los años 2002, 2003, 2007, 2009 y 2012.

Por otro lado, los usuarios de este sistema pueden obtener cualquier tipo de soporte y solución a través de las listas de correo que proporciona la comunidad de Grid Engine.

Los principales y más destacados usuarios de este sistema son:

• Sun Grid, servicio suministrado en la actualidad por Oracle, que proporciona acceso a recursos computacionales a través de internet, para facilitar y acelerar ciertas tareas.
• El superordenador TSUBAME del Instituto Tecnológico de Tokio.
• Centro de Computación Avanzada de Texas (Texas Advanced Computing Center-TACC).
• San Diego Supercomputer Center (SDSC).
• Laboratorio geofísico de dinámica de fluidos (Geophysical Fluid Dynamics Laboratory-NOAA GFDL).

En el año 2000, Sun adquirió Gridware, empresa especializada en sistemas de gestión de recursos de computación con oficinas en San José, California y Regensburg (Alemania), para ofrecer una versión gratuita para Solaris y Linux, a la que denominó Sun Grid Engine.

En el año 2001, Sun liberó el código y adoptó el modelo de desarrollo open source o código abierto, lo que provocó la aparición de adaptaciones para otros sistemas UNIX, Mac OS, etc.

En 2010, después de la compra de Sun MicroSystems por Oracle, renombró el SGE y lo denominó Oracle Grid Engine. Posteriormente el código fuente de la actualización de la versión 6.2 del Grid Engine no se incluyó con los archivos binarios y los cambios no se pusieron de nuevo en el repositorio del proyecto. Como respuesta a esta situación la comunidad del Grid Engine comenzó a desarrollar el proyecto Open Grid Scheduler, para continuar con el desarrollo y mantenimiento de una implementación libre y gratuita del Grid Engine.

El 18 de enero de 2011, la empresa privada Univa anunciaba que había reunido a varios ingenieros de gran importancia del equipo de Sun Grid Engine y que estaba desarrollando su propia versión del Grid Engine. Además, la empresa ha anunciado que su sistema, conocido como Univa Grid Engine incluirá soporte comercial, lo que supone que competiría con la versión oficial de Oracle Grid Engine.

• Sun Constellation System
• Sun Visualization System
• Sun Compute Cluster
• ClusterVisionOS Distribution
• Rocks Cluster Distribution
• Univa's UniCluster Express
• Univa Grid Engine
• BioTeam's iNquiry
• Nimbus

• Wikimedia Commons alberga una categoría multimedia sobre Sun Grid Engine.
• Página oficial de Sun Grid Engine
• Página de descarga desde Oracle
• Información de la compra de Sun por Oracle (página oficial Oracle)
• Información acerca del SGE (página oficial Oracle)
• Colección de documentación sobre SGE
• Manual del SGE