Διαχειριστής κόμβου του YARN στο Hadoop - dummies

Κάθε κόμβος υποτελούς σε έναν ακόμη διαχειριστή πόρων (YARN) έχει έναν δαίμονα διαχείρισης κόμβων, ο οποίος ενεργεί ως υποτελής για τον διαχειριστή πόρων. Όπως και με το TaskTracker, κάθε κόμβος υποτελούς έχει μια υπηρεσία που το συνδέει με την υπηρεσία επεξεργασίας (Node Manager) και την υπηρεσία αποθήκευσης (DataNode) που επιτρέπει στο Hadoop να είναι ένα κατανεμημένο σύστημα.

Κάθε διαχειριστής κόμβων παρακολουθεί τους διαθέσιμους πόρους επεξεργασίας δεδομένων στον δευτερεύοντα κόμβο του και στέλνει τακτικές αναφορές στον διαχειριστή πόρων.

Οι πόροι επεξεργασίας σε ένα σύμπλεγμα Hadoop καταναλώνονται σε κομμάτια μεγέθους δαγκώματος που ονομάζονται δοχεία. Ένα δοχείο είναι μια συλλογή όλων των πόρων που απαιτούνται για την εκτέλεση μιας εφαρμογής: πυρήνες CPU, μνήμη, εύρος ζώνης δικτύου και χώρος στο δίσκο. Ένα αναπτυγμένο δοχείο λειτουργεί ως μεμονωμένη διαδικασία σε έναν κόμβο υποτελούς σε ένα σύμπλεγμα Hadoop.

Η έννοια ενός δοχείου μπορεί να σας υπενθυμίσει μια υποδοχή , τη μονάδα επεξεργασίας που χρησιμοποιείται από το JobTracker και το TaskTracker, αλλά έχουν κάποιες αξιοσημείωτες διαφορές. Πιο σημαντικά, τα δοχεία είναι γενικά και μπορούν να εκτελέσουν οποιαδήποτε λογική εφαρμογής που δίνουν, σε αντίθεση με τις υποδοχές, οι οποίες καθορίζονται ειδικά για να εκτελούν είτε χάρτες είτε να μειώνουν τις εργασίες. Επίσης, τα εμπορευματοκιβώτια μπορούν να ζητηθούν με προσαρμοσμένες ποσότητες πόρων, ενώ οι χρονοθυρίδες είναι όμοιες.

Όλες οι διεργασίες δοχείων που εκτελούνται σε έναν υποτελές κόμβο αρχικά παρέχονται, παρακολουθούνται και παρακολουθούνται από τον δαίμονα διαχείρισης κόμβων του κόμβου του κόμβου.