Πώς να πάρετε Apache Oozie Ρύθμιση σε Hadoop - dummies

Το Apache Oozie περιλαμβάνεται σε κάθε μεγάλη διανομή Hadoop, συμπεριλαμβανομένου του Apache Bigtop. Στο σύμπλεγμα Hadoop, εγκαταστήστε το διακομιστή Oozie σε έναν κόμβο άκρη, όπου θα εκτελέσετε και άλλες εφαρμογές πελάτη ενάντια στα δεδομένα του συμπλέγματος, όπως φαίνεται.

Οι κόμβοι άκρων είναι σχεδιασμένοι να αποτελούν πύλη για το εξωτερικό δίκτυο στο σύμπλεγμα Hadoop. Αυτό το καθιστά ιδανικό για τεχνολογίες μεταφοράς δεδομένων (Flume, για παράδειγμα), αλλά και εφαρμογές πελάτη και άλλη υποδομή εφαρμογών όπως η Oozie. Η Oozie δεν χρειάζεται ειδικό διακομιστή και μπορεί εύκολα να συνυπάρχει με άλλες υπηρεσίες που είναι ιδανικές για κόμβους ακρών, όπως το Pig and Hive.

Αφού εγκατασταθεί το Oozie, είστε έτοιμοι να ξεκινήσετε το διακομιστή Oozie. Η υποδομή του Oozie είναι εγκατεστημένη στον κατάλογο $ OOZIE_HOME. Από εκεί, εκτελέστε την oozie-αρχή. sh για να ξεκινήσει ο διακομιστής. (Όπως μπορείτε να περιμένετε, η διακοπή του διακομιστή περιλαμβάνει την πληκτρολόγηση του oozie-stop. Sh) Μπορείτε να ελέγξετε την κατάσταση της παρουσίας σας Oozie εκτελώντας την εντολή

oozie admin -status

Αφού έχετε αναπτύξει τον διακομιστή Oozie και ξεκινήσει, μπορείτε να καταγράψετε και να εκτελέσετε διάφορες εργασίες ροής εργασίας, συντονιστή ή δέσμες εργασιών. Όταν εργάζεστε με την εργασία σας, η Oozie αποθηκεύει τους ορισμούς του καταλόγου - τα δεδομένα που περιγράφουν όλα τα αντικείμενα Oozie (εργασίες ροής εργασίας, συντονιστή και δέσμες εργασιών) - καθώς και τις καταστάσεις τους σε μια ειδική βάση δεδομένων.

Από προεπιλογή, το Oozie έχει ρυθμιστεί ώστε να χρησιμοποιεί την ενσωματωμένη βάση δεδομένων Derby, αλλά μπορείτε να χρησιμοποιήσετε MySQL, Oracle ή PostgreSQL, αν χρειαστεί.

Έχετε τέσσερις επιλογές αλληλεπίδρασης με τον διακομιστή Oozie:

• Το API Java: Αυτή η επιλογή είναι χρήσιμη σε περιπτώσεις όπου έχετε δικό σας κώδικα προγραμματισμού σε εφαρμογές Java και πρέπει να ελέγξετε την εκτέλεση του Oozie ροές εργασίας, συντονιστές ή δέσμες από την εφαρμογή σας.

• Το API REST: Και πάλι, αυτή η επιλογή λειτουργεί καλά σε εκείνες τις περιπτώσεις όπου θέλετε να χρησιμοποιήσετε τον δικό σας κώδικα προγραμματισμού ως βάση των ροών εργασίας, των συντονιστών ή των δεσμών σας Oozie ή εάν θέλετε να δημιουργήσετε το δικό σας περιβάλλον εργασίας ή να επεκτείνετε ένα υπάρχον για τη διαχείριση του διακομιστή Oozie.

• Διεπαφή γραμμής εντολών (CLI): Είναι η παραδοσιακή διεπαφή γραμμής εντολών Linux για την Oozie.

• Η κονσόλα Web Oazie: Εντάξει, ίσως δεν μπορείτε να αλληλεπιδράσετε πολύ εδώ, αλλά η κονσόλα Web Oozie σας δίνει μια (μόνο για ανάγνωση) εικόνα της κατάστασης του διακομιστή Oozie, χρήσιμο για την παρακολούθηση των εργασιών σας Oozie.

  

Hue, μια διεπαφή διαχείρισης του Hadoop, παρέχει ένα άλλο εργαλείο για συνεργασία με την Oozie.Οι ροές εργασίας Oozie, οι συντονιστές και οι δέσμες ορίζονται με τη χρήση XML, η οποία μπορεί να είναι κουραστική για επεξεργασία, ειδικά για περίπλοκες καταστάσεις. Το Hue παρέχει ένα εργαλείο σχεδιαστή GUI για τη δημιουργία γραφικών ροών εργασιών και άλλων αντικειμένων Oozie.

Κάτω από τα καλύμματα, η Oozie περιλαμβάνει έναν ενσωματωμένο διακομιστή ιστού Tomcat, ο οποίος χειρίζεται την είσοδο και την έξοδο του.