Κατανεμημένα βασικά στοιχεία υπολογιστών για μεγάλα δεδομένα - ανδρείκελα

Εάν η επιχείρησή σας εξετάζει ένα μεγάλο έργο δεδομένων, είναι σημαντικό να κατανοήσετε ορισμένα βασικά βασικά υπολογιστικά στοιχεία πρώτα. Δεν υπάρχει ούτε ένα κατανεμημένο υπολογιστικό μοντέλο επειδή οι υπολογιστικοί πόροι μπορούν να διανεμηθούν με πολλούς τρόπους.

Για παράδειγμα, μπορείτε να διανείμετε ένα σύνολο προγραμμάτων στον ίδιο φυσικό διακομιστή και να χρησιμοποιήσετε υπηρεσίες ανταλλαγής μηνυμάτων για να τους επιτρέψετε να επικοινωνούν και να διαβιβάζουν πληροφορίες. Είναι επίσης δυνατό να υπάρχουν πολλά διαφορετικά συστήματα ή εξυπηρετητές, το καθένα με τη δική του μνήμη, που μπορούν να συνεργαστούν για να λύσουν ένα πρόβλημα.

Γιατί απαιτείται κατανεμημένος υπολογιστής για μεγάλα δεδομένα

Δεν είναι όλα τα προβλήματα που απαιτούνται κατανεμημένα υπολογιστών. Εάν δεν υπάρχει ένας μεγάλος χρονικός περιορισμός, η σύνθετη επεξεργασία μπορεί να γίνει μέσω εξειδικευμένης υπηρεσίας εξ αποστάσεως. Όταν οι εταιρείες χρειάζονταν να κάνουν σύνθετη ανάλυση δεδομένων, η πληροφορική θα μεταφέρει δεδομένα σε μια εξωτερική υπηρεσία ή οντότητα, όπου ήταν διαθέσιμοι πολλοί εφεδρικοί πόροι για επεξεργασία.

Δεν ήταν ότι οι εταιρείες ήθελαν να περιμένουν να πάρουν τα αποτελέσματα που χρειαζόταν. δεν ήταν απλώς οικονομικά εφικτό να αγοραστούν αρκετοί υπολογιστικοί πόροι για να αντιμετωπιστούν αυτές οι αναδυόμενες απαιτήσεις. Σε πολλές περιπτώσεις, οι οργανισμοί θα συλλαμβάνουν μόνο επιλογές δεδομένων αντί να προσπαθούν να καταγράψουν όλα τα δεδομένα εξαιτίας του κόστους. Οι αναλυτές ήθελαν όλα τα δεδομένα, αλλά έπρεπε να εγκατασταθούν για στιγμιότυπα, ελπίζοντας να συλλέξουν τα σωστά δεδομένα την κατάλληλη στιγμή.

Βασικές καινοτομίες στον τομέα του υλικού και του λογισμικού επανάφεραν τη βιομηχανία διαχείρισης δεδομένων. Πρώτον, η καινοτομία και η ζήτηση αύξησαν την ισχύ και μείωσαν την τιμή του υλικού. Παρουσιάστηκε νέο λογισμικό που κατανόησε πώς να επωφεληθεί από αυτό το υλικό, αυτοματοποιώντας διαδικασίες όπως εξισορρόπηση φορτίου και βελτιστοποίηση σε ένα τεράστιο σύμπλεγμα κόμβων.

Το λογισμικό περιλάμβανε ενσωματωμένους κανόνες που κατανοούσαν ότι ορισμένοι φόρτοι εργασίας απαιτούσαν ένα συγκεκριμένο επίπεδο απόδοσης. Το λογισμικό αντιμετώπισε όλους τους κόμβους σαν να ήταν απλά μια μεγάλη ομάδα υπολογιστών, αποθήκευσης και δικτύωσης και μετακόμισε διαδικασίες σε άλλο κόμβο χωρίς διακοπή αν ένας κόμβος αποτύχει, χρησιμοποιώντας την τεχνολογία virtualization.

Η μεταβαλλόμενη οικονομία της πληροφορικής και τα μεγάλα δεδομένα

Η γρήγορη προώθηση και πολλά έχουν αλλάξει. Τα τελευταία χρόνια, το κόστος αγοράς υπολογιστικών και αποθηκευτικών πόρων μειώθηκε δραματικά. Με τη βοήθεια της εικονικοποίησης, οι διακομιστές βασικών προϊόντων που θα μπορούσαν να συγκεντρωθούν και τα πτερύγια που θα μπορούσαν να συνδεθούν σε ένα ράφι, άλλαξαν τα οικονομικά της πληροφορικής. Αυτή η αλλαγή συνέπεσε με την καινοτομία στις λύσεις αυτοματισμού λογισμικού που βελτίωσαν δραματικά τη διαχειρισιμότητα αυτών των συστημάτων.

Η δυνατότητα μόχλευσης των κατανεμημένων υπολογιστών και των τεχνικών παράλληλης επεξεργασίας μεταμόρφωσε δραματικά το τοπίο και δραματικά μειώνει την καθυστέρηση. Υπάρχουν ειδικές περιπτώσεις, όπως η εμπορία υψηλών συχνοτήτων (HFT), στις οποίες η χαμηλή λανθάνουσα κατάσταση μπορεί να επιτευχθεί μόνο με τον φυσικό εντοπισμό των διακομιστών σε μία θέση.

Το πρόβλημα με την καθυστέρηση για τα μεγάλα δεδομένα

Ένα από τα πολυετή προβλήματα διαχείρισης δεδομένων - ιδιαίτερα μεγάλων ποσοτήτων δεδομένων - ήταν ο αντίκτυπος της λανθάνουσας κατάστασης. Η καθυστέρηση είναι η καθυστέρηση ενός συστήματος που βασίζεται σε καθυστερήσεις στην εκτέλεση μιας εργασίας. Η καθυστέρηση είναι ένα ζήτημα σε κάθε πτυχή της πληροφορικής, συμπεριλαμβανομένων των επικοινωνιών, της διαχείρισης δεδομένων, της απόδοσης του συστήματος και πολλά άλλα.

Εάν έχετε χρησιμοποιήσει ποτέ ένα ασύρματο τηλέφωνο, έχετε βιώσει την λανθάνουσα κατάσταση από πρώτο χέρι. Είναι η καθυστέρηση στις μεταδόσεις μεταξύ εσάς και του καλούντος σας. Κατά καιρούς, η καθυστέρηση έχει ελάχιστες επιπτώσεις στην ικανοποίηση του πελάτη, όπως εάν οι εταιρείες πρέπει να αναλύσουν τα αποτελέσματα πίσω από τις σκηνές για να σχεδιάσουν μια νέα κυκλοφορία προϊόντος. Αυτό πιθανώς δεν απαιτεί άμεση ανταπόκριση ή πρόσβαση.

Ωστόσο, όσο πιο μεγάλη είναι η ανταπόκριση σε έναν πελάτη κατά τη στιγμή της απόφασης, τόσο περισσότερο είναι η λανθάνουσα κατάσταση.

Οι τεχνικές κατανεμημένης υπολογιστικής και παράλληλης επεξεργασίας μπορούν να κάνουν σημαντική διαφορά στην λανθάνουσα κατάσταση που αντιμετωπίζουν οι πελάτες, οι προμηθευτές και οι εταίροι. Πολλές μεγάλες εφαρμογές δεδομένων εξαρτώνται από τη χαμηλή λανθάνουσα κατάσταση λόγω των μεγάλων απαιτήσεων δεδομένων για την ταχύτητα και τον όγκο και την ποικιλία των δεδομένων.

Μπορεί να μην είναι δυνατή η κατασκευή μιας μεγάλης εφαρμογής δεδομένων σε περιβάλλον υψηλής καθυστέρησης, εάν απαιτούνται υψηλές επιδόσεις. Η ανάγκη επαλήθευσης των δεδομένων σε σχεδόν πραγματικό χρόνο μπορεί επίσης να επηρεαστεί από την καθυστέρηση. Όταν πρόκειται για δεδομένα σε πραγματικό χρόνο, ένα υψηλό επίπεδο λανθάνουσας κατάστασης σημαίνει τη διαφορά μεταξύ επιτυχίας και αποτυχίας.

Η μεγάλη ζήτηση δεδομένων ανταποκρίνεται σε λύσεις

Η ανάπτυξη του Διαδικτύου ως πλατφόρμα για τα πάντα, από το εμπόριο μέχρι το φάρμακο, μετασχηματίζει τη ζήτηση για μια νέα γενιά διαχείρισης δεδομένων. Στα τέλη της δεκαετίας του 1990, οι εταιρείες κινητήρων και του Διαδικτύου όπως το Google, το Yahoo!, και Amazon. com ήταν σε θέση να επεκτείνουν τα επιχειρηματικά τους μοντέλα, αξιοποιώντας το φθηνό υλικό για υπολογιστές και αποθήκευση.

Στη συνέχεια, αυτές οι εταιρείες χρειάζονταν μια νέα γενιά τεχνολογιών λογισμικού που θα τους επέτρεπε να δημιουργούν έσοδα από τα τεράστια ποσά των δεδομένων που συλλέγουν από τους πελάτες. Οι εταιρείες αυτές δεν μπορούσαν να περιμένουν τα αποτελέσματα της αναλυτικής επεξεργασίας. Χρειαζόταν την ικανότητα επεξεργασίας και ανάλυσης αυτών των δεδομένων σε σχεδόν πραγματικό χρόνο.