Συμπύκνωση σε HBase - ανδρείκελα

Η συμπύκνωση , η διαδικασία με την οποία καθαρίζει το HBase μετά τον εαυτό της, έρχεται σε δύο γεύσεις: Οι μεγάλες συμπαγές μπορεί να είναι μια μεγάλη υπόθεση, αλλά πρώτα πρέπει να καταλάβετε τις μικρές συμπίεσης.

Οι μικρές συμπίεσεις συνδυάζουν έναν ρυθμιζόμενο αριθμό μικρότερων HFiles σε ένα μεγαλύτερο HFile. Μπορείτε να συντονίσετε τον αριθμό των HFiles σε συμπαγή και τη συχνότητα μιας μικρής συμπίεσης. Οι μικρές συμπίεσεις είναι σημαντικές επειδή χωρίς αυτές, η ανάγνωση μιας συγκεκριμένης σειράς μπορεί να απαιτήσει πολλές αναγνώσεις δίσκων και να προκαλέσει αργή συνολική απόδοση.

Ο αριθμός, ο οποίος απεικονίζει τον τρόπο με τον οποίο λειτουργεί αυτή η έννοια, μπορεί να σας βοηθήσει να απεικονίσετε πώς μπορεί να επιμείνει ο ακόλουθος πίνακας στο HDFS.

Λογική προβολή των στοιχείων επικοινωνίας με τον πελάτη στο HBase

Κλειδί σειράς	Οικογένεια στήλης: {Προδιαγραφές στήλης: Έκδοση: Value}
00001	Όνομα πελάτη: {'FN': 1383859182496: ' John ', «LN»: 1383859182858: «Smith», «MN»: 1383859183001:' Timothy ', ' MN ': 1383859182915:' T '} ContactInfo: ': 1383859183030: «John. Smith @ xyz. com ", « SA »: 1383859183073: '1 Hadoop Lane, NY 11111'}
00002	Όνομα Πελάτη: { 1383859183103: 'LN': 1383859183163: 'Doe', ContactInfo: { 'SA': 1383859185577: '7 HBase Ave, CA 22222'} Παρατηρήστε πώς γράφτηκε η οικογένεια της στήλης CustomerName στο HDFS με δύο προεξοχές του MemStore και πώς τα δεδομένα στην οικογένεια της στήλης ContactInfo συνεχίστηκαν στο δίσκο με μόνο ένα Flush MemStore. Αυτό το παράδειγμα είναι υποθετικό, αλλά είναι πιθανό σενάριο που εξαρτάται από το χρονοδιάγραμμα των εγγραφών.

Εμφανίστε μια εταιρεία παροχής υπηρεσιών που κερδίζει ολοένα και περισσότερες πληροφορίες επικοινωνίας με τους πελάτες με την πάροδο του χρόνου. Η εταιρεία παροχής υπηρεσιών μπορεί να γνωρίζει το επώνυμο και το επώνυμό του, αλλά να μην μάθει για το μεσαίο της όνομα μέχρι τις ώρες ή τις εβδομάδες αργότερα στις επόμενες αιτήσεις παροχής υπηρεσιών. Αυτό το σενάριο θα είχε ως αποτέλεσμα τα τμήματα της Σειράς 00001 να συνεχίζονται στο HDFS σε διαφορετικά HFiles.

Έως ότου το σύστημα HBase εκτελεί μια μικρή συμπύκνωση, η ανάγνωση από τη σειρά 00001 θα απαιτήσει τρία δισκέτα για να ανακτήσει το σχετικό περιεχόμενο HFile! Οι μικρές συμπυκνώσεις επιδιώκουν να ελαχιστοποιήσουν τα γενικά έξοδα του συστήματος διατηρώντας παράλληλα τον αριθμό των HFiles υπό έλεγχο. Οι σχεδιαστές της HBase έδωσαν ιδιαίτερη προσοχή ώστε να δώσουν στον διαχειριστή του HBase όσο το δυνατόν περισσότερους ελέγχους ρύθμισης ώστε να καθιστούν τυχόν αντίκτυπο του συστήματος "μικρές. "

Όπως υποδηλώνει το όνομά του, μια μεγάλη συμπύκνωση είναι διαφορετική από την προοπτική ενός συστήματος. Ωστόσο, η συμπύκνωση είναι πολύ σημαντική για τη συνολική λειτουργικότητα του συστήματος HBase. Μια μεγάλη συμπύκνωση προσπαθεί να συνδυάσει

όλα τα

HFiles σε ένα μεγάλο HFile. Επιπλέον, μια σημαντική συμπύκνωση κάνει την εργασία καθαρισμού αφού ένας χρήστης διαγράψει μια εγγραφή. Όταν ένας χρήστης εκδίδει μια κλήση διαγραφής, το σύστημα HBase τοποθετεί ένα δείκτη στο ζεύγος κλειδιού-τιμής έτσι ώστε να μπορεί να αφαιρεθεί οριστικά κατά την επόμενη μεγάλη συμπύκνωση. Επιπλέον, επειδή οι μεγάλες συμπυκνώσεις συνδυάζουν όλα τα HFiles σε ένα μεγάλο HFile, ο χρόνος είναι σωστός για το σύστημα να ελέγξει τις εκδόσεις των δεδομένων και να τις συγκρίνει με την ιδιότητα χρόνου (TTL). Οι τιμές μεγαλύτερες από το TTL καθαρίζονται.

Ο χρόνος ζωής

αναφέρεται στη μεταβλητή HBase που μπορείτε να ορίσετε για να καθορίσετε πόσο θα παραμείνουν τα δεδομένα με πολλαπλές εκδόσεις στο HBase.

Μπορεί να έχετε υποθέσει ότι μια μεγάλη συμπύκνωση επηρεάζει σημαντικά τον χρόνο απόκρισης του συστήματος. Οι χρήστες που προσπαθούν να προσθέσουν, να ανακτήσουν ή να επεξεργαστούν δεδομένα στο σύστημα κατά τη διάρκεια μιας μεγάλης συμπίεσης, μπορεί να δουν τον ανεπαρκή χρόνο απόκρισης του συστήματος. Επιπλέον, το σύμπλεγμα HBase ίσως χρειαστεί να χωρίσει περιοχές ταυτόχρονα με την πραγματοποίηση σημαντικής συμπύκνωσης

και

ισορροπία των περιφερειών σε όλα τα RegionServers. Αυτό το σενάριο θα οδηγούσε σε σημαντική κυκλοφορία δικτύου μεταξύ των περιφερειακών διακομιστών. Για αυτούς τους λόγους, ο διαχειριστής του HBase πρέπει να έχει μια σημαντική στρατηγική συμπίεσης για την ανάπτυξή σας.