Les solutions logicielles.

Sous peine de n’être qu’une coquille vide et inutilisable, un cluster HPC ne se résume pas à du matériel de haute volée. C’est pourquoi il est nécessaire d’avoir les outils logiciels pour faciliter à la fois son utilisation, sa gestion et sa surveillance.

La complexité de ces systèmes peut représenter un défi pour les administrateurs et les utilisateurs. BECHTLE est présent à vos côtés pour faire les bons choix technologiques appropriés aux objectifs que vous souhaitez atteindre.

BECHTLE est capable de vous fournir des solutions diverses et variées en adéquation avec vos souhaits mais aussi avec votre environnement informatique. Ces solutions peuvent être classées dans deux catégories :

• D’un côté, les logiciels commerciaux tels que Bright Cluster Manager ou NICE EnginFrame, qui sont sous licence payante vous offrant ainsi un support éprouvé et professionnel.
• D’un autre côté, les solutions de type « open source » tels que xCAT, openHPC, Nagios, SLURM…et beaucoup d’autres.

Dans les deux cas, nous sommes prêts à vous accompagner dans toutes les étapes de la mise en œuvre et de l’utilisation de votre cluster HPC.

Vous pouvez retrouver ci-dessous les besoins les plus courants de l’univers HPC, ainsi que des exemples de solutions que nous sommes en mesure de vous proposer.

Stockage.

BeeGFS est un système de fichiers parallèle, développé et optimisé pour le HPC.  Un système de fichiers parallèle découpe les données en plusieurs morceaux et les distribue à travers l’espace de stockage. Le but est d’améliorer sensiblement l’accès simultané et les performances, par-rapport à un système de fichiers « classique ».

BeeGFS peut être téléchargé et installé sans frais d’utilisation. Il s’agit d’un produit qui est utilisé dans de nombreux superordinateurs du TOP 500. BeeGFS s’exécute sur n’importe quelle machine Linux. Il se compose de nombreux services : serveur de stockage, serveur de métadonnées, client…

Un support professionnel est possible, délivré par ThinkParQ.

Les principaux atouts de BeeGFS sont :

• Evolutivité : Possibilité d’étendre très rapidement et très facilement un stockage existant.
• Flexibilité : Fonctionne sur un très grand nombre de machines. N’est pas contraint à l’aspect matériel.
• Convivialité : Fonctionne de manière transparente pour les utilisateurs. Dispose d’une interface graphique pour les administrateurs.

Scality est un acteur français qui propose une solution de stockage logicielle très performante afin de répondre à la demande d'une solution de stockage scalable, multi-utilisateurs et économique.

La solution permet de consolider toutes les données non structurées dans un stockage partagé afin d'adresser : Le backup (la solution est certifiée avec toutes les solutions de backup dont VEEAM) et l’archivage long-terme ; Le File Sync & Share (partage des fichiers) ; Le big data, IA et analytique ; La vidéo-surveillance…

Les équipes IT peuvent facilement servir plusieurs départements & services avec l'agilité des solutions de Cloud Public mais dans vos propres Datacenters, tout en ayant la possibilité de gérer aussi vos datas (cycle de vie, recherche, optimisation des coûts, etc) dans les grands clouds publics si nécessaire (Azure, Google, AWS, etc)

Les avantages de la solution :

• Hardware agnostique
• Multi-protocoles natif File & Objet, S3 & BLOB
• Data 100% disponible sur plusieurs Data Center grâce à une distribution géographique avancée à la fois hyper agile et efficace
• Une durabilité exceptionnelle (14x9). 
• Affranchissement du backup traditionnel avec les mécanismes embarqués de sécurité permettant perte de DC sans interruption de service
• ROI & TCO optimisés comparés aux approches NAS traditionnels.
• Fonctionnalités multi-cloud pour les synergies avec les Cloud tiers.

Gestion de cluster.

Bright Cluster Manager, développé par Bright Computing, permet de déployer des clusters HPC et de les gérer. Cet outil offre une interface unifiée pour le matériel, le système d’exploitation, les logiciels HPC et les utilisateurs.

Les administrateurs peuvent installer des clusters rapidement et les garder en état de marche optimal pendant tout leur cycle de fonctionnement.

Les principaux avantages de Bright Cluster Manager sont :

• Facilité de déploiement : Outil graphique d’installation simple et puissant ; Installation directe sur des
  serveurs « nus ».
• Facilité de surveillance : Une interface graphique offrant des métriques détaillées et personnalisables ainsi que des alertes en cas de besoin ; Des vérifications automatiques permettant de surveiller le cluster à votre place.
• Facilité de gestion :  Choisissez entre interface graphique ou commande pour exécuter votre travail ; Optimisez l’utilisation des ressources IT ; Inclut des outils et librairies HPC.

OpenHPC est un ensemble d’outils Open Source pour les clusters HPC. Ces outils permettent l’installation des clusters, leur administration, la gestion des ressources, le développement de logiciels, des librairies ainsi que de la surveillance et des analyses de métriques. Son architecture est modulaire pour permettre aux utilisateurs de choisir parmi les composants disponibles.

Quelques exemples de logiciels qui sont disponibles dans les dépôts OpenHPC : xCAT, BeeGFS, MPICH, PBS Pro, …

OpenHPC s’installe sur un serveur maître où le système d’exploitation est déjà installé.

Virtualisation graphique.

NICE DCV est une technologie, développée par NICE SOFTWARE, qui permet d’accéder à des applications et des bureaux 2D/3D à distance.

Le protocole DCV est capable de s’adapter à des réseaux hétérogènes (LAN, WAN, VPN) afin d’optimiser l’expérience utilisateur selon la latence et la bande passante.

Le principe de cette technologie est simple : sur un serveur équipé d’une ou plusieurs cartes graphiques, une application 2D/3D envoie des données qui sont transformées en images par les cartes graphiques. Les images sont ensuite compressées et envoyées à travers le réseau à des clients. Ces clients ont alors uniquement besoin d’une simple application légère voire d’un navigateur Internet pour recevoir et afficher les données graphiques. Le rendu et l’expérience sont très proches d’une utilisation en local.

NICE DCV est capable de se connecter à des bureaux Windows ou Linux, pour des applications OpenGL et DirectX. Il est également possible de découper un GPU en plusieurs morceaux et d’attribuer chaque morceau à un utilisateur différent (cartes NVIDIA requises).

Gestionnaire de ressources.

SLURM est une solution Open Source de gestion des ressources d’un cluster HPC. Il est tolérant aux pannes et est capable de supporter des clusters de tailles variées, allant de 2 à plusieurs milliers de nœuds.

Ses 3 fonctions clés sont :

• Allocation des ressources, ou nœuds de calcul, aux utilisateurs pendant une certaine durée.
• Mise à disposition d’un framework pour démarrer, exécuter et surveiller les travaux parallèles.
• Gestion de la contention des ressources par le biais d’une file d’attente.

PBS Professional optimise la planification des travaux et la charge de travail dans un environnement HPC.

Les fonctionnalités clés de PBS Professional sont :

• Evolutivité : Supporte des millions de cœurs en gardant une latence minimale.
• Planification par stratégies : Répartition optimale des travaux et équilibrage du temps d’exécution.
• Résilience : Architecture de failover automatique, les travaux ne sont jamais perdus.
• Framework de plugin flexible : Simplifie l’administration avec des meilleures visibilité et extensibilité.
• Surveillance : Framework permettant une tolérance aux pannes et un contrôle de l’état de santé des composants.

Surveillance.

Nagios est connu pour être le meilleur logiciel de surveillance de serveurs sur le marché. Cette surveillance est facilitée par la possibilité de se passer d’un agent sur les clients. Plus de 5000 plugins sont disponibles pour personnaliser l’environnement.

Nagios est disponible sous deux éditions :

• Nagios Core, gratuit mais limité en fonctionnalités.
• Nagios XI, payant mais disposant d’une interface de configuration, de meilleurs graphiques de surveillance, et plein d’autres fonctionnalités exclusives.

Les principales caractéristiques de Nagios sont :

• Une architecture conçue pour la flexibilité et l’évolutivité.
• Un cadre concentré principalement vers la planification des contrôles, leur exécution, leur traitement, la gestion des évènements et les alertes.
• Une interface Web pour visionner les éléments surveillés par Nagios.
• Une grande variété de plugins qui offrent des fonctionnalités supplémentaires : interfaces de configuration, graphes de performance, découverte automatique, …

Ganglia est un outil distribué capable d’afficher en temps réel des métriques (utilisation CPU, RAM, réseau, …) provenant des divers éléments constitutifs d’un cluster HPC.

Il est disponible directement depuis les paquets des distributions Linux les plus utilisées.

Ganglia parvient à s’exécuter sur des très grands clusters tout en gardant une empreinte minimale. Il peut s’installer sur un grand nombre d’architectures et est utilisé sur plus de 500 clusters à travers le monde. Il permet aussi de lier des clusters situés à des emplacements géographiques différents.

L’écosystème Ganglia regroupe 2 services pour l’envoi et la récolte des données, une interface Web PHP, et quelques programmes utilitaires.

Hyperconvergence.

Bechtle et Scale Computing s'associent pour vous offrir une nouvelle solution d’infrastructure hyperconvergée.

SC//Platform rassemble les fonctions de virtualisation, de gestion des serveurs, de stockage et de sauvegarde/reprise après sinistre en une appliance entièrement intégrée. Hautement automatisée, l’infrastructure Scale Computing est conçue pour éliminer les temps d’arrêt et être facile à gérer dans n’importe quel environnement informatique.

Scale Computing​​​​​​​ est le premier choix des entreprises qui recherchent la haute disponibilité de leurs applications, la simplicité et la maîtrise de leurs coûts : avec en moyenne une réduction des coûts de gestion courante de 60 à 80 % !