GNU parallel

• Remplacement d'une boucle en shell, par exemple

   (for x in `cat list` ; do 
       foo $x
   done) | processus_de_sortie

sous la forme simplifiée suivante:

   cat list | parallel foo | processus_de_sortie

où la liste des fichiers contient des arguments pour foo et où le processus de sortie peut être vide.

Les scripts utilisant GNU parallel sont souvent plus faciles à lire que les scripts utilisant pexec.

GNU parallel comporte également les fonctionnalités suivantes :

• regroupement de la sortie standard stdout et de la sortie erreur standard stderr afin de traiter séparément la sortie des processus traités en parallèle;
• ordre des sorties identique celui des entrées;
• support des noms de fichiers contenant des caractères spéciaux comme l'espace, les guillemets simples ou doubles, l'esperluette, et des caractères en UTF-8;

GNU parallel peut faire tourner autant de processus en parallèle qu'il y a de processeurs.

 find . -name "*.foo" | parallel grep bar

équivaut à:

 grep bar $(find . -name "*.foo")

Recherche de toutes les occurrences de la chaîne bar dans les fichiers du répertoire courant et ses sous-répertoires finissant par l'extension .foo. La commande parallèle va fonctionner comme prévu à moins que le nom de fichier ne contienne une fin de ligne. Pour contourner cette limitation:

 find . -name "*.foo" -print0 | parallel -0 grep bar

L'exemple ci-dessus rajoute des spécificités GNU à la commande find pour séparer les noms de fichiers en utilisant le caractère nul;

 find . -name "*.foo" | parallel -X mv {} /tmp/trash

La commande ci-dessus utilise {} pour dire à parallel de remplacer {} par la liste des arguments.

 find . -maxdepth 1 -type f -name "*.ogg" | parallel -X -r cp -v -p {} /home/media

L'exemple ci-dessus fait la même chose que:

 cp -v -p *.ogg /home/media

cependant, le 1^er utilisant find/parallel/cp consomme moins de ressource et ne va pas s'arrêter avec une erreur si les arguments à *.ogg sont trop nombreux.

GNU parallel est officiellement intégré dans Fedora 16 depuis le 3 octobre 2011[5]. On peut l'utiliser pour la compression de données audio FLAC[6], pour la compression de données au format zip[7], dans des situations de tests plus complexes[8] ou avec des logiciels de simulation de Monte-Carlo comme MCX[9]. Il est intégré au toolkit PPBS[10] depuis décembre 2011.

L'origine du projet remonte à 2001 de la propre « expérience utilisateur » de l'auteur[11].

• (en) Cet article est partiellement ou en totalité issu de l’article de Wikipédia en anglais intitulé « GNU parallel » (voir la liste des auteurs).

• (en) GNU parallel sur la forge Savannah ;
• (en) Notice technique sur le répertoire du logiciel libre ;

• Portail des logiciels libres