Η εξέλιξη της κατανεμημένης υπολογιστικής για τα μεγάλα δεδομένα

Πίσω από όλες τις σημαντικές τάσεις κατά την τελευταία δεκαετία, συμπεριλαμβανομένου του προσανατολισμού των υπηρεσιών, του cloud computing,, είναι μια θεμελιώδης τεχνολογία που ονομάζεται κατανεμημένος υπολογιστής. Με απλά λόγια, χωρίς τη διανομή υπολογιστών, καμία από αυτές τις εξελίξεις δεν θα ήταν δυνατή.

Η κατανεμημένη υπολογιστική είναι μια τεχνική που επιτρέπει σε μεμονωμένους υπολογιστές να δικτυωθούν μεταξύ τους σε γεωγραφικές περιοχές σαν να ήταν ένα ενιαίο περιβάλλον. Βρίσκετε πολλές διαφορετικές υλοποιήσεις κατανεμημένων υπολογιστών. Σε ορισμένες τοπολογίες, μεμονωμένες οντότητες υπολογιστών απλά μεταδίδουν μηνύματα μεταξύ τους.

Σε άλλες καταστάσεις, ένα κατανεμημένο περιβάλλον πληροφορικής μπορεί να μοιράζεται πόρους που κυμαίνονται από τη μνήμη στα δίκτυα και την αποθήκευση. Όλα τα κατανεμημένα μοντέλα υπολογιστών έχουν ένα κοινό χαρακτηριστικό: Πρόκειται για μια ομάδα δικτυωμένων υπολογιστών που συνεργάζονται για την εκτέλεση ενός φόρτου εργασίας ή μιας διαδικασίας.

Το DARPA και τα μεγάλα δεδομένα

Το πιο γνωστό κατανεμημένο υπολογιστικό μοντέλο, το Διαδίκτυο, είναι το θεμέλιο για τα πάντα, από το ηλεκτρονικό εμπόριο μέχρι το cloud computing μέχρι τη διαχείριση υπηρεσιών και virtualization. Το Διαδίκτυο σχεδιάστηκε ως ερευνητικό πρόγραμμα που χρηματοδοτήθηκε από το U. S. DARPA.

Σχεδιάστηκε για να δημιουργήσει ένα διασυνδεδεμένο σύστημα δικτύωσης που θα υποστηρίζει μη εμπορικούς σκοπούς, θα συνεργαστεί με την έρευνα μεταξύ των επιστημόνων. Στις πρώτες μέρες του Διαδικτύου, αυτοί οι υπολογιστές συνδέονταν συχνά με τηλεφωνικές γραμμές! Εκτός αν βιώσατε αυτή την απογοήτευση, μπορείτε μόνο να φανταστείτε πόσο αργή και εύθραυστη ήταν αυτές οι συνδέσεις.

Κατά τη διάρκεια της δεκαετίας του 1980, οι νέες υπηρεσίες με βάση το Διαδίκτυο άρχισαν να εμφανίζονται στην αγορά ως εμπορική εναλλακτική λύση στο δίκτυο DARPA. Το 1992, το Κογκρέσο του Ηνωμένου Βασιλείου ψήφισε τον νόμο για την επιστημονική και προηγμένη τεχνολογία, ο οποίος για πρώτη φορά επέτρεψε την εμπορική χρήση αυτής της ισχυρής τεχνολογίας δικτύωσης. Με τη συνεχιζόμενη εκρηκτική ανάπτυξή του, το Διαδίκτυο είναι πραγματικά ένα παγκόσμιο κατανεμημένο δίκτυο και παραμένει το καλύτερο παράδειγμα της δύναμης των κατανεμημένων υπολογιστών.

Η αξία ενός σταθερού μεγάλου μοντέλου δεδομένων

Ποια ήταν η διαφορά που έκανε αυτή η προσπάθεια που οδήγησε η DARPA στην κίνηση προς τον κατανεμημένο υπολογισμό;Πριν από την εμπορευματοποίηση του Διαδικτύου, υπήρχαν εκατοντάδες εταιρίες και οργανισμοί που δημιούργησαν μια υποδομή λογισμικού με σκοπό την παροχή μιας κοινής πλατφόρμας υποστήριξης ενός πολύ κατανεμημένου περιβάλλοντος πληροφορικής.

Όμως, κάθε οργανισμός προμηθευτών ή προτύπων έδωσε τις δικές του απομακρυσμένες διαδικασίες κλήσεων (RPCs) που όλοι οι πελάτες, οι προγραμματιστές εμπορικού λογισμικού και οι εταίροι θα έπρεπε να υιοθετήσουν και να υποστηρίξουν. Το RPC είναι ένας πρωταρχικός μηχανισμός που χρησιμοποιείται για την αποστολή εργασίας σε έναν απομακρυσμένο υπολογιστή και απαιτεί συνήθως την αναμονή για την ολοκλήρωση της απομακρυσμένης εργασίας πριν να συνεχιστεί η άλλη εργασία.

Με τους προμηθευτές που εφαρμόζουν ιδιόκτητα RPCs, δεν ήταν πρακτικό να φανταστεί κανείς ότι οποιαδήποτε εταιρεία θα μπορούσε να δημιουργήσει ένα καθολικό πρότυπο για κατανεμημένους υπολογιστές. Μέχρι τα μέσα της δεκαετίας του '90, τα πρωτόκολλα Διαδικτύου αντικατέστησαν αυτές τις πρωτόγονες προσεγγίσεις και έγιναν το θεμέλιο για το τι είναι κατανεμημένο υπολογιστικό σήμερα. Μετά από αυτό διευθετήθηκε, οι χρήσεις αυτής της προσέγγισης σε δίκτυα υπολογιστών άρχισαν να ανθίζουν.