Βίντεο: 895 ΣΤΙΓΜΙΟΤΥΠΑ ΑΠΟ ΤΗΝ ΒΑΣΙΛΟΠΙΤΑ ΤΗΣ ΟΜΟΝΟΙΑΣ 2019 Β' 2024
Η λύση για την επέκταση των clusters Hadoop επ 'αόριστον είναι να ομόσπονδο το όνομαNode. Πριν ο Hadoop 2 εισέλθει στη σκηνή, τα clusters του Hadoop έπρεπε να ζήσουν με το γεγονός ότι το όνομαNode έθεσε όρια στον βαθμό στον οποίο θα μπορούσαν να κλιμακωθούν. Λίγα clusters ήταν σε θέση να κλιμακώσουν πέρα από 3, 000 ή 4, 000 κόμβους.
Η ανάγκη του NameNode να διατηρεί αρχεία για κάθε μπλοκ δεδομένων που είναι αποθηκευμένο στο σύμπλεγμα αποδείχθηκε ότι είναι ο σημαντικότερος παράγοντας που περιορίζει την αύξηση της συσσώρευσης. Όταν έχετε πάρα πολλά μπλοκ, καθίσταται όλο και πιο δύσκολο για το NameNode να αυξάνεται καθώς η συστοιχία Hadoop κλιμακώνεται.
Συγκεκριμένα, πρέπει να ρυθμίσετε το HDFS έτσι ώστε να έχετε πολλαπλές εμφανίσεις NameNode που εκτελούνται με δικούς τους αποκλειστικούς κύριους κόμβους και στη συνέχεια να κάνετε κάθε NameNode υπεύθυνο μόνο για τα μπλοκ αρχείων στο δικό του χώρο ονομάτων.
Το σχήμα δείχνει τα μοτίβα αναπαραγωγής των μπλοκ δεδομένων σε HDFS. Μπορείτε να δείτε ένα σύμπλεγμα Hadoop με δύο ΌνομαNodes που εξυπηρετούν ένα μόνο σύμπλεγμα. Οι υποτελείς κόμβοι περιέχουν όλα τα μπλοκ και από τους δύο χώρους ονομάτων.