code

aide mémoire pbs : les modules

Les modules sont des éléments essentiels pour les soumissions des travaux sous un cluster. Ils permettent le transport des chemins, des raccourcis, et des variables d'environnement sous les noeuds. En particulier, un module permet l'exécution sur les noeuds d'un programme particulier.

Dans une soumission monScript.job, ou en ligne de commande, l'appel à un module se fait comme suit

module load monModule

La suppression de tout ce qui est définis dans le module se fait par commande inverse

module unload monModule

Un module est dont un petit fichier texte, placé dans le repertoire /usr/local/modules/.

Lire la suite de aide mémoire pbs : les modules

aide mémoire pbs: options de soumission, création de piles de calculs

La commande de soumission à une liste d'attente de calcul permet une optimisation de son temps de travail et de la gestion des ressources informatiques (que ce soit en terme de cpus, ou en terme de licences quand celles ci sont en faible nombre et que les utilisateurs en ont un besoin immodéré).

Nous avons déjà indiqué l'option pour spécifier un noeud de calcul, qsub -l, afin de permettre un calcul sur un noeud précis.

L'option -a permet de spécifier la date de début de calcul; elle s'écrit comme suit:

qsub -a 2000 monScript.job

pour un lancement effectif du calcul a 20:00 le jour même. Le jour, moi et année peuvent être spécifié également:

qsub -a AnnéeMoisJourHeureMinute.Secondes monScript.job

ce qui donne, pour un calcul qui doit être lancé le 15 juin 2025 à 17h56 et 13 s

qsub -a 2506151756.13 monScript.job

ou encore

qsub -a 202506151756.13 monScript.job

Ces calculs s'afficherons avec un 'W' par un qstat.

Lire la suite de aide mémoire pbs: options de soumission, création de piles de calculs

aide mémoire pbs: liste, suspension d'un job

Pour afficher les calculs en cours, la commande à taper est qstat. Cette commande ne permet que d'avoir accès aux calculs en cours de l'utilisateur courant. Le super utilisateur, quant à lui, peut avoir accès à tous les travaux, via sudo qstat.

L'utilisateur peut avoir cependant accès à la charge du cluster via un utilitaire type ganglia: http://NomDuCluster/ganglia

La liste des travaux soumis à une file d'attente s’affiche ainsi (la file d'attente ici est 'batch')


Job id                    Name             User            Time Use S Queue
------------------------- ---------------- --------------- -------- - -----
6355              calcul1              charles         07:21:16 R batch          
6356              calcul2              charles                0 H batch          
6357              calcul3              charles                0 H batch          
6358              calcul4              charles                0 H batch          
6451              calcul5              charles         02:20:57 R batch          
6452              calcul6              charles                0 H batch          
6453              calcul7              charles                0 H batch          
6454              calcul8              charles                0 H batch          
6459              calcul9              charles         00:00:12 S batch          
6460              calcul10             charles                0 H batch          
6461              calcul11             charles                0 H batch          
6462              calcul12             charles                0 H batch          
6463              calcul13             charles                0 H batch          
6464              calcul14             charles                0 H batch          
6465              calcul15             charles                0 H batch          
6466              calcul16             charles                0 H batch          
6467              calcul17             charles         01:33:24 R batch         

Lire la suite de aide mémoire pbs: liste, suspension d'un job

aide mémoire pbs : soumission à une file d'attente

Les clusters de calculs ont ceci d'agréables qu'ils permettent la mise en place de files d'attentes, ce qui permet, au final, de très bien gérer ses calculs et d'optimiser les licences utilisées et le temps total.

 

Chaque calcul se soumet via une file d'attente, en utilisant

qsub monScript.job

 

Dans le fichier monScript.job se trouvent les commandes d’exécution. Pour spécifier le nom du nœud, il faut rajouter l'option -l:

qsub -l nodes=nomNoeud monScript.job

 

Lire la suite de aide mémoire pbs : soumission à une file d'attente