Hadoop Κατανεμημένο σύστημα αρχείων (HDFS) Υψηλή διαθεσιμότητα

Συχνά στην παιδική ηλικία του Hadoop, ένα μεγάλο μέρος της συζήτησης επικεντρώθηκε στην εκπροσώπηση του ονόματοςNode ενός μοναδικού σημείου αποτυχίας. Ο Hadoop, γενικά, είχε πάντα μια ισχυρή και ανθεκτική στην αποτυχία αρχιτεκτονική, με εξαίρεση αυτή την βασική περιοχή. Χωρίς τον ΌνομαNode, δεν υπάρχει cluster Hadoop.

Χρησιμοποιώντας το Hadoop 2, μπορείτε να διαμορφώσετε τα αρχεία HDFS έτσι ώστε να υπάρχει ένα ενεργό όνομα και ένα όνομα αναμονής. Το όνομα αναμονής σε κατάσταση αναμονής πρέπει να είναι σε έναν ειδικό κύριο κόμβο που είναι διαμορφωμένος ταυτόσημα με τον κύριο κόμβο που χρησιμοποιείται από τον Active NameNode.

Το όνομα αναμονής σε κατάσταση αναμονής δεν βρίσκεται καθ 'οδόν, ενώ το όνομαNode χειρίζεται όλα τα αιτήματα διεύθυνσης μπλοκ. Ο Αναγνωριστής Αναμονής, ο οποίος είναι επιφορτισμένος με το καθήκον της διατήρησης της κατάστασης των θέσεων του μπλοκ και των μπλοκαρισμένων μεταδεδομένων στη μνήμη, χειρίζεται τις ευθύνες ελέγχου των δεδομένων HDFS.

Το Active NameNode γράφει τις εγγραφές περιοδικών στις αλλαγές αρχείων στην πλειοψηφία των υπηρεσιών JournalNode, οι οποίες εκτελούνται στους κύριους κόμβους. ( Σημείωση: Η λύση υψηλής διαθεσιμότητας HDFS απαιτεί τουλάχιστον τρεις κύριους κόμβους και, εάν υπάρχουν περισσότερα, μπορεί να υπάρχει μόνο περίεργος αριθμός.)

Το Zookeeper χρησιμοποιείται για την παρακολούθηση του ActiveNameNode και για την αντιμετώπιση της αποτυχημένης εφοδιαστικής, αν ο ActiveNameNode δεν είναι διαθέσιμος. Τόσο τα ActiveName όσο και τα Standby NameNodes έχουν αποκλειστικούς ελεγκτές σφαλμάτων Zookeeper (ZFC) που εκτελούν τις εργασίες παρακολούθησης και αποτυχίας. Σε περίπτωση αποτυχίας, το ZFC ενημερώνει τις παρουσίες του Zookeeper στο σύμπλεγμα, το οποίο στη συνέχεια επιλέγει ένα νέο ActiveNameNode.

Το Apache Zookeeper παρέχει υπηρεσίες συντονισμού και διαμόρφωσης για κατανεμημένα συστήματα, οπότε δεν είναι περίεργο που το βλέπουμε να χρησιμοποιείται σε όλο τον χώρο στο Hadoop.