N1GE Sun Grid Engine

Je suis cette semaine en formation chez Sun afin de suivre le module de formation "N1 Grid Engine Advanced Administration".

Ce moteur de Grid a ete implemente en parallele avec leur produit open source. Je remarque que leur système est tres bien abouti. Il répond a la plupart des critères attendus pour un systeme de type HPC (high predictable cluster).

Sun annonce que N1GE est un Grid complet pour les Departments Grid et Enterprise Grid, mais ne convient pas en tant que tel pour les Global Grid. Il y a sans doute moyen d'étendre facilement à un global grid en couplant la suite de Sun à un système tel que Globus.

Voici les fonctionnalités importantes de N1GE qui font de lui à mes yeux l'un des meilleurs systèmes :

* Chaque job en exécution est associé avec un slot. Le scheduler n'a pas plus de jobs en exécution que de slots associés avec une file d'attente.
* L'architecture est composée de executable host (noeuds), master, submit hosts, admin hosts, chacune de ces entités pouvant se retrouver sur la meme machine bien entendu.
* N1GE dispose d'un GUI complet !
* A chaque file d'attente peuvent s'attacher des règles de scheduling et d'autres paramètres.
* Il est possible de limiter l'utilisation des ressources. Il est possible de réserver des ressources pour un job. Il est possible de spécifier des ressources pour un job.
* Plusieurs politiques de scheduling sont possibles : FIFO, Posix, Tickets.
* Il est possible de réordonnancer à la volée.
* Les politiques de scheduling permettent de migrer certaines taches à l'aide de technique de checkpointing lorsqu'un évènement défini a lieu (exemple : si l'utilisation du processeur dépasse 1 heure, migrer le job).
* Il est possible de créer des projets (auquel on peut associer des tickets de priorité). Il est possible de créer des départements : une liste d'utilisateurs et leurs droits.

Gros bémol du produit : tout fonctionne en NFS => l'extension au delà d'un réseau local nécessite donc le deploiement d'une autre architecture (éventuellement avec Globus).

Le petit point negatif : peut-être un manque d'acteurs intelligents permettant de se passer d'un bon nombre de choix de configuration. Mais je ne doute pas que certains au contraire apprecieront la customisabilite de n1Ge.

Quelques adresses :
N1 Grid Engine (anglais)
Sun Grid Engnie project (anglais)
N1 Grid Engine 6 documentation (anglais)