Η Αρχιτεκτονική YARN σε Hadoop - dummies

YARN, για όσους μόλις φτάσουν σε αυτό το συγκεκριμένο κόμμα, αντιπροσωπεύει ακόμα έναν Διαπραγματευτή Πόρων, ένα εργαλείο που επιτρέπει σε άλλα πλαίσια επεξεργασίας δεδομένων να τρέχουν στον Hadoop. Η δόξα του YARN είναι ότι παρουσιάζει τον Hadoop με μια κομψή λύση σε μια σειρά από μακροχρόνιες προκλήσεις.

Το YARN έχει ως στόχο να παρέχει έναν αποδοτικότερο και ευέλικτο προγραμματισμό του φόρτου εργασίας καθώς και μια διευκόλυνση διαχείρισης πόρων, και οι δύο θα επιτρέψουν τελικά στον Hadoop να εκτελέσει περισσότερες από απλές εργασίες MapReduce.

Το σχήμα δείχνει σε γενικές γραμμές πώς το YARN ταιριάζει με τον Hadoop και επίσης καθιστά σαφές πώς επέτρεψε στον Hadoop να γίνει μια πραγματικά πλατφόρμα γενικής χρήσης για την επεξεργασία δεδομένων. Η παρακάτω λίστα δίνει τους στίχους στη μελωδία:

• Κατανεμημένη αποθήκευση: Τίποτα δεν άλλαξε εδώ με τη μετατόπιση από MapReduce σε YARN - Το HDFS εξακολουθεί να είναι το στρώμα αποθήκευσης για το Hadoop.

• Διαχείριση πόρων: Η βασική ιδέα της μετατόπισης στο YARN από το Hadoop 1 είναι η αποσύνδεση της διαχείρισης των πόρων από την επεξεργασία δεδομένων. Αυτό επιτρέπει στο YARN να παρέχει πόρους σε οποιοδήποτε πλαίσιο επεξεργασίας που έχει γραφτεί για τον Hadoop, συμπεριλαμβανομένου του MapReduce.

• Πλαίσιο επεξεργασίας: Επειδή το YARN είναι μια γενική διευκόλυνση διαχείρισης πόρων, μπορεί να διαθέσει πόρους συμπλέγματος σε οποιοδήποτε πλαίσιο επεξεργασίας δεδομένων γραμμένο για το Hadoop. Το πλαίσιο επεξεργασίας στη συνέχεια χειρίζεται τα θέματα χρόνου εκτέλεσης εφαρμογών.

  Για να διατηρηθεί η συμβατότητα για όλο τον κώδικα που αναπτύχθηκε για το Hadoop 1, το MapReduce χρησιμεύει ως το πρώτο πλαίσιο που είναι διαθέσιμο για χρήση στο YARN. Την εποχή της γραφής, το έργο Apache Tez ήταν ένα σχέδιο επωαστήρων ανάπτυξης ως εναλλακτικό πλαίσιο για την εκτέλεση των εφαρμογών των χοίρων και των κυψελών. Η Tez πιθανόν να εμφανιστεί ως κανονική διαμόρφωση Hadoop.

• Διεπαφή προγραμματισμού εφαρμογών (API): Με την υποστήριξη για πρόσθετα πλαίσια επεξεργασίας, θα έρθει η υποστήριξη για επιπλέον API. Την εποχή της γραφής, ο Hoya (για την εκτέλεση του HBase στο YARN), ο Apache Giraph (για την επεξεργασία γραφημάτων), το Open MPI (για τη μετάδοση μηνυμάτων σε παράλληλα συστήματα), το Apache Storm (για επεξεργασία δεδομένων) βρίσκονται σε ενεργό ανάπτυξη.