Partenaire

  

Web site :

• IRFU. Institut de recherche sur les lois fondamentales de l'Univers (CEA)
• CRAL. Centre de recherche Astrophysique de Lyon
  
  

Contexte

Figure 1 : Re-simulation sur un supercalculateur de galaxies pour améliorer la résolution.

RAMSES est une application de calcul intensif typiquement utilisée par les astrophysiciens pour étudier la formation des galaxies. RAMSES est utilisé, entre autre chose, pour simuler l'évolution d'un fluide auto-gravitant et sans collisions appelé "matière noire". Les trajectoires individuelles des macro-particules sont intégrées en utilisant un solveur "N-body", couplé à un solveur de volumes finis basé sur une technique de raffinement par maillages adaptatifs. L'espace de calcul est décomposé entre les processeurs disponibles en utilisant une stratégie de partionnement de maillage suivant une décomposition de Peano-Hilbert. Les simulations cosmologiques sont classiquement divisées en deux catégories principales. La première concerne de larges espaces périodiques qui requièrent des machines massivement parallèles et sont calculés sur de longues périodes de temps (plusieurs mois). La seconde catégorie concerne les "simulations zoom" qui se réalisent sur des périodes de temps plus petites. Une des particularités du projet HORIZON est de permettre de re-simuler des zones intéressant les astronautes.

 

Cas d'utilisation

La réalisation d'une simulation zoom nécessite deux étapes : la première consiste à utiliser RAMSES sur des conditions initiales en basse résolution (c'est-à-dire avec un faible nombre de particules) pour obtenir à la fin de la simulation un catalogue de halos de matière noire, tel qu'on peut voir sur la Figure 2 comme des piques de haute densité, contenant pour chaque halo la position, la masse et la vitesse des particules.

Figure 2 : séquence chronologique (de la gauche vers la droite) d'une zone projetée de densité dans une simulation de cosmologie (période à large échelle).

Puis, une petite région est sélectionnée autour de chaque halo du catalogue, pour chacune d'elles, nous effectuons la seconde étape de la simulation "zoom". L'idée est de re-simuler le halo choisi avec une meilleure résolution. Pour cela, nous ajoutons dans le volume de Lagrange du halo choisi beaucoup plus de particules, afin d'obtenir des résultats plus précis. Des "simulations zoom" similaires sont réalisées en parallèle pour chaque entrée du catalogue de halos.

Les simulations RAMSES sont exécutées avec des conditions initiales spécifiques, contenant les masses, les positions et les vitesses des particules initiales. Ces conditions initiales sont lues depuis des fichiers binaires Fortran, générés en utilisant une version modifiée du code Grafic. Cette application génère des champs Gaussiens aléatoires à des niveaux de résolution différents, compatibles avec les données actuelles d'observations obtenues par le satellite WMAP, qui observe les rayonnements de fond cosmologique. Deux types de conditions initiales sont générées par Grafic :

• Niveau simple : C'est la solution "standard" pour générer les conditions initiales. Les fichiers obtenus sont utilisés pour effectuer la première simulation basse résolution, qui permet d'extraire un catalogue de halos.
• Niveaux multiples : ces conditions initiales sont utilisées pour les "simulations zoom". Les fichiers résultats consistent en de multiples boîtes de dimensions de plus en plus petite, emboîtées comme des poupées russes. La plus petite boîte est centrée sur la région du halo, pour lequel nous avons localement une grande précision grâce à un large nombre de particules.

Le résultat des simulations est un ensemble "d'instantanés". A partir d'une liste de pas de temps (ou facteur d'expansion), RAMSES sort l'état courant de l'univers (c'est-à-dire les différents paramètres de chaque particule) dans des fichiers binaires en Fortran.

Contribution

• Déploiement d'une plate-forme SysFera-DS sur 7 sites Grid'5000 (12 grappes), pendant 48 heures. Au total, ce sont 1824 processeurs qui ont été utilisés pour l'expérience.
• Nous avons étudié la possibilité d'effectuer un grand nombre de simulations moyenne résolution. Le client lance un maximum de simulations contenant 256³ particules dans des univers de 100Mpc.h^-1.

L'expérience a permis de calculer 33 simulations complètes et 26 simulations partielles, produisant un total de 193Go de données.

• Le bénéfice d'exécuter la simulation en parallèle sur différentes grappes est clairement visible. Cela aurait pris plus de 368 jours pour réaliser les simulations séquentiellement. 

Fiche Technique

Type	Valeur
Code	Parallèle
Consommation CPU	Fort
Consommation E/S	Fort
Consommation mémoire	Fort
Ordonnanceur optimisé	Non
Client/Serveur SysFera-DS	Disponible
Déploiement	Grid'5000

Références

« Avec SysFera-DS, nous sommes passés simplement d’un seul cluster à une utilisation « grille », multi-clusters. L’accès à cette grille, couplé à une gestion plus fine des données et des workflows d’exécution, a apporté une amélioration drastique des performances : de trois jours en moyenne à moins d’une heure par simulation. » - Hélène Courtois, IPNL, IN2P3  

• Y. Caniou, E. Caron, H. Courtois, B. Depardon, and R. Teyssier. Cosmological simulations using grid middleware. In Fourth High-Performance Grid Computing Workshop (HPGC’07), Long Beach, California, USA, Mar. 2007. IEEE.
• B. Depardon, E. Caron, F. Desprez, J. Blaizot, and H. Courtois. Cos- mological simulations on a grid of computers. In J.M. Alimi and A. Füzfa, editors, INVISIBLE UNIVERSE : Proceedings of the Conference, volume 1241, pages 816–825, Paris, France, 2009. AIP.