Σπίτι Προσωπικά Οικονομικά Αναπαραγωγή μπλοκ δεδομένων στο διανεμημένο σύστημα αρχείων Hadoop - dummies

Αναπαραγωγή μπλοκ δεδομένων στο διανεμημένο σύστημα αρχείων Hadoop - dummies

Βίντεο: Φυσική Οργάνωση του δίσκου 2024

Βίντεο: Φυσική Οργάνωση του δίσκου 2024
Anonim

Το Hadoop Distributed File System (HDFS) σχεδιάστηκε για να αποθηκεύει δεδομένα σε φθηνό και πιο αναξιόπιστο υλικό. Το φθηνό έχει ένα ελκυστικό δαχτυλίδι σε αυτό, αλλά δημιουργεί ανησυχίες για την αξιοπιστία του συστήματος στο σύνολό του, ειδικά για την εξασφάλιση της υψηλής διαθεσιμότητας των δεδομένων.

Προγραμματίζοντας μπροστά για καταστροφή, οι εγκέφαλοι πίσω από το HDFS αποφάσισαν να ρυθμίσουν το σύστημα έτσι ώστε να αποθηκεύουν τρία (τρία) αντίγραφα κάθε μπλοκ δεδομένων.

Το HDFS υποθέτει ότι κάθε μονάδα δίσκου και κάθε κόμβος υποτελούς είναι εγγενώς αναξιόπιστος, οπότε είναι σαφές ότι πρέπει να ληφθεί μέριμνα για την επιλογή των τριών αντιγράφων των μπλοκ δεδομένων.

Το σχήμα δείχνει πως τα μπλοκ δεδομένων από το προηγούμενο αρχείο είναι ριγέ σε ολόκληρο το σύμπλεγμα Hadoop - που σημαίνει ότι κατανέμονται ομοιόμορφα μεταξύ των κόμβων σκλάβου έτσι ώστε ένα αντίγραφο του μπλοκ να είναι ακόμα διαθέσιμο ανεξάρτητα από το δίσκο, κόμβων ή αστοχιών ραφιών.

Το αρχείο που εμφανίζεται έχει πέντε μπλοκ δεδομένων, με α, b, c, d και e. Αν κοιτάξετε πιο προσεκτικά, μπορείτε να δείτε ότι αυτό το συγκεκριμένο σύμπλεγμα αποτελείται από δύο ράφια με δύο κόμβους ανά τεμάχιο και ότι τα τρία αντίγραφα κάθε μπλοκ δεδομένων έχουν διανεμηθεί στους διάφορους κόμβους των σκλάβων.

Κάθε στοιχείο του συμπλέγματος Hadoop θεωρείται πιθανό σημείο αποτυχίας, οπότε όταν το HDFS αποθηκεύει τα αντίγραφα των αρχικών μπλοκ σε ένα σύμπλεγμα Hadoop, προσπαθεί να διασφαλίσει ότι τα αντίγραφα μπλοκ αποθηκεύονται σε διαφορετικά σημεία αποτυχίας.

Για παράδειγμα, ρίξτε μια ματιά στο Block A. Τη στιγμή που έπρεπε να αποθηκευτεί, επιλέχθηκε ο Slave Node 3 και αποθηκεύτηκε το πρώτο αντίγραφο του Block A. Για τα πολλαπλά συστήματα rack, το HDFS στη συνέχεια καθορίζει ότι τα υπόλοιπα δύο αντίγραφα του μπλοκ Α πρέπει να αποθηκευτούν σε διαφορετική βάση. Έτσι το δεύτερο αντίγραφο του μπλοκ Α αποθηκεύεται στον κόμβο Slave 1.

Το τελικό αντίγραφο μπορεί να αποθηκευτεί στο ίδιο ράφι με το δεύτερο αντίγραφο, αλλά όχι στον ίδιο κόμβο υποτελούς, έτσι αποθηκεύεται στον κόμβο Slave 2.

Αναπαραγωγή μπλοκ δεδομένων στο διανεμημένο σύστημα αρχείων Hadoop - dummies

Η επιλογή των συντακτών

Εξαρτήματα ηλεκτρονικών: Ενισχυτές ανοιχτού βρόχου

Εξαρτήματα ηλεκτρονικών: Ενισχυτές ανοιχτού βρόχου

Οι πιο βασικές ηλεκτρονικές χρήσεις ενός ενισχυτή Op είναι ως ενισχυτής. Εάν συνδέσετε μια πηγή εισόδου σε έναν από τους ακροδέκτες εισόδου και γειώσετε τον άλλο ακροδέκτη εισόδου, εμφανίζεται μια ενισχυμένη έκδοση του σήματος εισόδου στο εξωτερικό τερματικό. Μια σημαντική ιδέα στα κυκλώματα op-amp ...

Ηλεκτρονικά Στοιχεία: Δημοφιλή Op Amp Ενσωματωμένα Κυκλώματα - Dummy

Ηλεκτρονικά Στοιχεία: Δημοφιλή Op Amp Ενσωματωμένα Κυκλώματα - Dummy

Για την οικοδόμηση ενός πραγματικού ηλεκτρονικού κυκλώματος χρησιμοποιώντας Op-amp, φυσικά, θα πρέπει να χρησιμοποιήσετε ένα πραγματικό ενισχυτή op. Ευτυχώς, τα ενσωματωμένα ολοκληρωμένα κυκλώματα (IC) είναι άφθονα και σχεδόν όλα τα καταστήματα που πωλούν ηλεκτρονικά εξαρτήματα πωλούν διάφορους τύπους φθηνών IC-ενισχυτών. Το πιο δημοφιλές op-amp IC είναι το LM741, το οποίο έρχεται ...

Ηλεκτρονικά Συστατικά: Κύκλοι ταλαντωτών - ανδρείκελοι

Ηλεκτρονικά Συστατικά: Κύκλοι ταλαντωτών - ανδρείκελοι

. Η ακριβής κυματομορφή που παράγεται εξαρτάται από τον τύπο του κυκλώματος που χρησιμοποιείται για τη δημιουργία του ταλαντωτή. Ένα από τα συνηθέστερα χρησιμοποιούμενα κυκλώματα ταλαντωτών είναι κατασκευασμένο από ένα ζεύγος τρανζίστορ που είναι εφοδιασμένα για να εναλλάσσονται και να σβήνουν εναλλάξ. Αυτός ο τύπος κυκλώματος είναι ...

Η επιλογή των συντακτών

Ασκήσεις για ανδρείκελα Κατάρτιση για ανδρείκελα Εξάσκηση - ανδρείκελα

Ασκήσεις για ανδρείκελα Κατάρτιση για ανδρείκελα Εξάσκηση - ανδρείκελα

Η ασήμαντη εκπαίδευση είναι ένα σημαντικό βήμα στην ανάπτυξη των παιδιών. Ως γονέας, θα πρέπει να αναγνωρίσετε τα σημάδια ότι το παιδί σας είναι έτοιμο για την ομιλία της τουαλέτας, να ξεκινήσει μια διαδικασία ασήμαντης κατάρτισης, να συνεχίσει τη διαδικασία και να αναγνωρίσει πότε το παιδί σας είναι σχεδόν εκεί. Κατά τη διάρκεια της διαδρομής, πρέπει να σιγουρευτείτε ότι το παιδί σας ξέρει ...

Εκπαίδευση για παιδιά με αναπηρίες - ανδρείκελα

Εκπαίδευση για παιδιά με αναπηρίες - ανδρείκελα

Παιδιά, ανάλογα με την αναπηρία. Μπορεί να χρειαστεί να παρέχετε στηρίγματα υψηλής τεχνολογίας που διευκολύνουν την κίνηση από τον περιπατητή ή την αναπηρική καρέκλα στην τουαλέτα (δείτε την ενότητα "Εργασία με ειδικό εργαλείο" σε αυτό το άρθρο.) Από την άλλη πλευρά, το παιδί σας μπορεί να ...

Υποδηλώνουν ότι το παιδί σας είναι έτοιμο για ασήμαντη εκπαίδευση - ανδρείκελα

Υποδηλώνουν ότι το παιδί σας είναι έτοιμο για ασήμαντη εκπαίδευση - ανδρείκελα

Την ημέρα που κάθε γονιός επιθυμεί, αλλά δεν μπορείτε να βιάσετε τη διαδικασία. Περιμένετε τα σημάδια ότι το παιδί σας είναι έτοιμο να αντιμετωπίσει αυτή τη μεγάλη πρόκληση. Παρακολουθήστε τα σημεία στην παρακάτω λίστα. οι πρώτες πέντε είναι απολύτως απαραίτητες: μένει ξηρό τουλάχιστον δύο ώρες παίρνει Bummed από υγρό ή ...

Η επιλογή των συντακτών

Πώς να χρησιμοποιήσετε τη φαντασία σας για να χαλαρώσετε το σώμα σας για διαλογισμό - Dummies

Πώς να χρησιμοποιήσετε τη φαντασία σας για να χαλαρώσετε το σώμα σας για διαλογισμό - Dummies

Αναδυόμενο πεδίο της ιατρικής μυαλού-σώματος υπενθυμίζει στους ανθρώπους - και γιόγκι και σοφοί έχουν πει για χιλιετίες - το σώμα σας, το μυαλό σας και η καρδιά σας αποτελούν ένα ενιαίο και αδιάσπαστο σύνολο. Όταν οι σκέψεις σας συνεχίζουν να σφύζουν από την ανησυχία σας, το σώμα σας αποκρίνεται με τη σύσφιξη και την τάνυση, ειδικά σε ορισμένες σημαντικές θέσεις ...

Πώς να χρησιμοποιήσετε την προσοχή για τη διαχείριση του πόνου

Πώς να χρησιμοποιήσετε την προσοχή για τη διαχείριση του πόνου

Πόνος είναι κάτι που θα αντιμετωπίσει κάποιος σε κάποιο σημείο . Η προσοχή μπορεί να σας βοηθήσει να προσεγγίσετε πόνο με υγιεινό τρόπο. Ο οξύς πόνος είναι ένας αιχμηρός πόνος που διαρκεί για μικρό χρονικό διάστημα, μερικές φορές ορίζεται ως λιγότερο από 12 εβδομάδες. Η ιατρική είναι αρκετά καλή για τη θεραπεία του οξέος πόνου. Ο χρόνιος πόνος είναι ο πόνος που διαρκεί ...

Βελτίωση των σχέσεών σας - ανδρείκεS

Βελτίωση των σχέσεών σας - ανδρείκεS

Σχέσεις - είτε με την οικογένεια, τους φίλους ή τους εραστές; Και δεν έχει σημασία πόσο χαρούμενος και ευχαριστημένος είστε με τις σημαντικές σχέσεις στη ζωή σας, υπάρχει πάντα περιθώριο βελτίωσης. Οι σχέσεις, όπως όλες οι διεργασίες, επίσης καταλήγουν και ρέουν και σας παρουσιάζουν προκλήσεις. Εδώ είναι μερικές εξαιρετικές τεχνικές για να σας βοηθήσουμε ...