Ανάπτυξη ροών εργασίας Oozie σε Hadoop - dummies

Οι ροές εργασίας Oozie είναι στο κέντρο τους κατευθυνόμενες γραφικές παραστάσεις, όπου μπορείτε να ορίσετε ενέργειες (εφαρμογές Hadoop) και ροή δεδομένων, αλλά χωρίς βρόχο - t ορίστε μια δομή όπου θα εκτελούσατε μια συγκεκριμένη λειτουργία ξανά και ξανά μέχρι να επιτευχθεί κάποια συνθήκη (για παράδειγμα, για βρόχο).

Οι ροές εργασίας του Oozie είναι αρκετά ευέλικτες επειδή μπορείτε να ορίσετε αποφάσεις που βασίζονται στην κατάσταση και διαδρομές δίπλωσης για παράλληλη εκτέλεση. Μπορείτε επίσης να εκτελέσετε ένα ευρύ φάσμα ενεργειών.

Σε αυτό το σχήμα, βλέπετε μια ροή εργασιών που δείχνει τις βασικές δυνατότητες των ροών εργασίας του Oozie. Αρχικά, τρέχει ένα σενάριο Pig και ακολουθεί αμέσως ένα δέντρο απόφασης. Ανάλογα με την κατάσταση της εξόδου, η ροή ελέγχου μπορεί είτε να μεταβεί απευθείας σε μια λειτουργία αρχείου HDFS (Hadoop Distributed File System) (για παράδειγμα, μια λειτουργία copyToLocal) είτε σε μια δράση περόνης.

Εάν η ροή ελέγχου μεταβεί στη δράση διχάλας, εκτελούνται ταυτόχρονα δύο εργασίες: μια εργασία MapReduce και μια ερώτηση Hive. Στη συνέχεια, η ροή ελέγχου μεταβαίνει στη λειτουργία HDFS μόλις ολοκληρωθεί η εκτέλεση της εργασίας Job MapReduce και της ερώτησης Hive. Μετά τη λειτουργία HDFS, η ροή εργασιών ολοκληρώθηκε.

Οι ορισμοί της ροής εργασίας του Oozie γράφονται σε XML, με βάση το σχήμα hadoop Process Definition Language (hPDL). Το συγκεκριμένο σχήμα, με τη σειρά του, βασίζεται στο σχήμα XML Language Definition Language (XPDL), το οποίο είναι ένα ανεξάρτητο από το προϊόν πρότυπο για τον ορισμό των ορισμών των επιχειρηματικών διαδικασιών.

Μια ροή εργασίας Oozie αποτελείται από μια σειρά ενεργειών που κωδικοποιούνται από κόμβους XML. Υπάρχουν διαφορετικά είδη κόμβων, που αντιπροσωπεύουν διαφορετικά είδη ενεργειών ή οδηγίες ροής ελέγχου. Κάθε ροή εργασιών του Oozie έχει το δικό του αρχείο XML, όπου ορίζεται κάθε κόμβος και οι διασυνδέσεις του.

Οι κόμβοι ροής εργασίας απαιτούν μοναδικά αναγνωριστικά επειδή χρησιμοποιούνται για τον εντοπισμό του επόμενου κόμβου που θα επεξεργαστεί στη ροή εργασιών. Αυτό σημαίνει ότι η σειρά με την οποία εκτελούνται οι ενέργειες εξαρτάται από το πού εμφανίζεται ο κόμβος μιας ενέργειας στη XML ροή εργασίας. Για να δείτε πώς φαίνεται αυτή η έννοια, ελέγξτε την ακόλουθη λίστα, η οποία δείχνει ένα παράδειγμα της βασικής δομής ενός αρχείου XML της ροής εργασίας του Oozie.

… … "Κλεισμένη δουλειά."

Σε αυτό το παράδειγμα, εκτός από την αρχή, τέλος και σκοτώνοντας τους κόμβους, έχετε δύο κόμβους δράσης. Κάθε κόμβος ενέργειας αντιπροσωπεύει μια εφαρμογή ή μια εντολή που εκτελείται.