Η Αρχιτεκτονική Χοιροειδών σε Hadoop - dummies

Το "απλό" συχνά σημαίνει "κομψό" όταν πρόκειται για εκείνα τα αρχιτεκτονικά σχέδια γι 'αυτό νέο αρχοντικό της Σίλικο Βίλα που έχετε προγραμματίσει για το πότε θα ξεκινήσουν τα χρήματα μετά την εφαρμογή του Hadoop. Η ίδια αρχή ισχύει για την αρχιτεκτονική λογισμικού. Το γουρούνι αποτελείται από δύο συστατικά:

• Η ίδια η γλώσσα: Ως απόδειξη ότι οι προγραμματιστές έχουν την αίσθηση του χιούμορ, η γλώσσα προγραμματισμού για το Pig είναι γνωστή ως Pig Latin, γλώσσα που σας επιτρέπει να γράφετε προγράμματα επεξεργασίας δεδομένων και ανάλυσης.

• Ο μεταγλωττιστής λατινικών Pig: Ο μεταγλωττιστής Pig Latin μετατρέπει τον κώδικα λατινικής γλώσσας σε εκτελέσιμο κώδικα. Ο εκτελέσιμος κώδικας έχει τη μορφή εργασιών MapReduce ή μπορεί να δημιουργήσει μια διαδικασία όπου δημιουργείται μια εικονική παρουσία Hadoop για να εκτελέσει τον κώδικα Pig σε έναν μόνο κόμβο.

  Η ακολουθία των προγραμμάτων MapReduce επιτρέπει στα προγράμματα Pig να εκτελούν παράλληλα επεξεργασία και ανάλυση δεδομένων, αξιοποιώντας το Hadoop MapReduce και το HDFS. Η εκτέλεση της εργασίας "Χοίροι" στην εικονική εμφάνιση του Hadoop είναι μια χρήσιμη στρατηγική για τη δοκιμή των σεναρίων Pig.

Το σχήμα δείχνει τον τρόπο με τον οποίο το χοίρο σχετίζεται με το οικοσύστημα Hadoop.

Τα προγράμματα Pig μπορούν να εκτελούνται σε MapReduce v1 ή MapReduce v2 χωρίς αλλαγές κώδικα, ανεξάρτητα από τον τρόπο λειτουργίας του cluster σας. Ωστόσο, scripts Pig μπορούν επίσης να τρέξουν χρησιμοποιώντας το Tez API αντ 'αυτού. Το Apache Tez παρέχει ένα πιο αποτελεσματικό πλαίσιο εκτέλεσης από το MapReduce. Το YARN επιτρέπει άλλα πλαίσια εφαρμογής εκτός του MapReduce (όπως το Tez) να τρέχουν στο Hadoop. Η κυψέλη μπορεί επίσης να τρέξει ενάντια στο πλαίσιο Tez.