Apache Pig

Voici un exemple d'un programme "Word Count" en Pig Latin:

 input_lines = LOAD '/tmp/my-copy-of-all-pages-on-internet' AS (line:chararray);
 
 -- Extract words from each line and put them into a pig bag
 -- datatype, then flatten the bag to get one word on each row
 words = FOREACH input_lines GENERATE FLATTEN(TOKENIZE(line)) AS word;
 
 -- filter out any words that are just white spaces
 filtered_words = FILTER words BY word MATCHES '\\w+';
 
 -- create a group for each word
 word_groups = GROUP filtered_words BY word;
 
 -- count the entries in each group
 word_count = FOREACH word_groups GENERATE COUNT(filtered_words) AS count, group AS word;
 
 -- order the records by count
 ordered_word_count = ORDER word_count BY count DESC;
 STORE ordered_word_count INTO '/tmp/number-of-words-on-internet';

Le programme ci-dessus va générer des tâches exécutables parallèles qui peuvent être distribués sur plusieurs machines dans un cluster Hadoop pour compter le nombre de mots dans un ensemble de données telles que les pages Web sur Internet.

Par rapport au SQL, Pig:

1. Utilise l'évaluation paresseuse,
2. utilise des extract, transform, load (ETL),
3. est capable de stocker des données à tout moment pendant un pipeline,
4. déclare le plan d'exécution,
5. exécute le workflow subdivisé selon un graphe, au lieu d'une exécution purement séquentielle.

En revanche, les SGBD sont sensiblement plus rapide que le système de MapReduce une fois que les données sont chargées, ce chargement de données étant beaucoup plus rapide dans un système de MapReduce. Et les systèmes de bases de données relationnels offrent directement prêtes à l'emploi des fonctionnalités de stockage en colonnes, de traitement de données compressées, d'indexation pour une localisation plus rapide des données et de tolérance aux fautes au niveau transactionnel[8].

Pig Latin est un langage procédural et s'inscrit tout naturellement dans le paradigme du pipeline tandis que SQL est plutôt déclaratif.  En SQL, les utilisateurs peuvent spécifier que les données de deux tables doivent être jointes, mais pas quelle implémentation de jointure est à utiliser et «... pour de nombreuses applications le moteur de requêtes n'a pas une connaissance suffisante des données ou une expertise suffisante pour spécifier un algorithme de jointure approprié. »[9]. Pig Latin permet aux utilisateurs de spécifier une implémentation ou des aspects de l'implémentation à utiliser dans l'exécution d'un script de plusieurs façons[10]. En effet, la programmation Pig Latin est similaire à la spécification d'un plan d'exécution de la requête, qui rend plus facile pour les programmeurs de contrôler explicitement le flux de leur tâche de traitement de données[11].

SQL est orienté autour de requêtes qui produisent un résultat unique. Il gère également les arbres, mais n'a aucun mécanisme intégré pour diviser un flux de traitement de données et appliquer les différents opérateurs à chaque sous-flux. Pig Latin décrit un Graphe orienté acyclique (DAG) plutôt qu'un pipeline[10].

Pig Latin est capable d'inclure du code utilisateur à n'importe quel point dans le pipeline. Avec SQL, les données doivent d'abord être importées dans la base de données, avant que l'on puisse lancer un processus de nettoyage et de transformation de celles-ci.

• Apache Hive
• Sawzall — outil similaire de Google
• Hadoop
• Catégorie:Écosystème Hadoop

• (en) Cet article est partiellement ou en totalité issu de l’article de Wikipédia en anglais intitulé « Pig (programming tool) » (voir la liste des auteurs).

• Site officiel

• Portail des logiciels libres
• Portail des données
• Portail des bases de données