Τα μεγάλα δεδομένα δεν είναι μόνο μια μοντέρνα ημέρα

Οι επιστήμονες άρχισαν να αγωνίζονται ενάντια σε εντυπωσιακά ποσά δεδομένων για χρόνια πριν κάποιος έφτιαξε τον όρο μεγάλα δεδομένα. Σε αυτό το σημείο, το Διαδίκτυο δεν παρήγαγε τα τεράστια ποσά για δεδομένα που κάνει σήμερα. Είναι χρήσιμο να θυμάστε ότι τα μεγάλα δεδομένα δεν είναι απλώς μια μανία που δημιουργείται από προμηθευτές λογισμικού και υλικού, αλλά έχει βάση σε πολλά από τα παρακάτω πεδία:

• Αστρονομία: Εξετάστε τα δεδομένα που λαμβάνονται από τα διαστημόπλοια σε μια αποστολή Voyager ή Galileo) και όλα τα δεδομένα που λαμβάνονται από ραδιοτηλεσκόπια, τα οποία είναι εξειδικευμένες κεραίες που χρησιμοποιούνται για τη λήψη ραδιοκυμάτων από αστρονομικά σώματα. Ένα κοινό παράδειγμα είναι το έργο αναζήτησης αναζήτησης εξωγήινης νοημοσύνης (SETI), το οποίο αναζητά εξωγήινα σήματα παρακολουθώντας ραδιοσυχνότητες που φθάνουν από το διάστημα. Η ποσότητα των δεδομένων που λαμβάνονται και η ισχύς του υπολογιστή που χρησιμοποιείται για την ανάλυση ενός τμήματος του ουρανού για μία ώρα είναι εντυπωσιακή. Αν οι εξωγήινοι είναι εκεί έξω, είναι πολύ δύσκολο να τις εντοπίσεις. (Η ταινία Επικοινωνία διερευνά τι θα μπορούσε να συμβεί εάν οι άνθρωποι ανίχνευαν πράγματι ένα σήμα.)
• Μετεωρολογία: Σκεφτείτε να προσπαθήσετε να προβλέψετε τον καιρό για το σύντομο χρονικό διάστημα δεδομένου του μεγάλου αριθμού απαιτούμενων μέτρων τη θερμοκρασία, την ατμοσφαιρική πίεση, την υγρασία, τους ανέμους και τις βροχοπτώσεις σε διαφορετικούς χρόνους, τοποθεσίες και υψόμετρα. Η πρόγνωση του καιρού είναι πραγματικά ένα από τα πρώτα προβλήματα στα μεγάλα δεδομένα και αρκετά σημαντικό. Σύμφωνα με το Weather Analytics, μια εταιρεία που παρέχει στοιχεία για το κλίμα, πάνω από το 33% του παγκόσμιου ακαθάριστου εγχώριου προϊόντος (ΑΕΠ) καθορίζεται από το πώς επηρεάζουν οι καιρικές συνθήκες η γεωργία, το ψάρεμα, ο τουρισμός και οι μεταφορές. Χρονολογώντας από τη δεκαετία του 1950, οι πρώτοι υπερυπολογιστές της εποχής χρησιμοποιήθηκαν για να χτυπήσουν όσο το δυνατόν περισσότερα δεδομένα, επειδή, στη μετεωρολογία, όσο περισσότερα δεδομένα είναι πιο ακριβή, τόσο πιο ακριβή είναι η πρόβλεψη. Αυτός είναι ο λόγος για τον οποίο όλοι συγκεντρώνουν περισσότερη χωρητικότητα αποθήκευσης και επεξεργασίας, όπως μπορείτε να διαβάσετε σε αυτή την ιστορία σχετικά με την Κορεατική Μετεωρολογική Εταιρεία για την πρόβλεψη του καιρού και τη μελέτη της κλιματικής αλλαγής.
• Φυσική: Εξετάστε τις μεγάλες ποσότητες δεδομένων που παράγονται από πειράματα χρησιμοποιώντας επιταχυντές σωματιδίων σε μια προσπάθεια προσδιορισμού της δομής της ύλης, του χώρου και του χρόνου. Για παράδειγμα, ο Μεγάλος Επιταχυντής Αδρονίων, ο μεγαλύτερος επιταχυντής σωματιδίων που δημιουργήθηκε ποτέ, παράγει 15PB (πεντακύτταρα) δεδομένων κάθε χρόνο ως αποτέλεσμα συγκρούσεων σωματιδίων.
• Η γονιδιωματική: Η ταξινόμηση ενός μοναδικού DNA κλώνου, που σημαίνει ότι προσδιορίζεται η ακριβής σειρά των πολλών συνδυασμών των τεσσάρων βάσεων - αδενίνη, γουανίνη, κυτοσίνη και θυμίνη - που αποτελούν τη δομή του μορίου απαιτεί αρκετά δεδομένων.Για παράδειγμα, ένα απλό χρωμόσωμα, μια δομή που περιέχει το DNA στο κύτταρο, μπορεί να απαιτεί από 50MB έως 300MB. Ένας άνθρωπος έχει 46 χρωμοσώματα και τα δεδομένα DNA για ένα μόνο άτομο καταναλώνουν ολόκληρο το DVD. Απλώς φανταστείτε την τεράστια αποθήκευση που απαιτείται για να τεκμηριώσετε τα δεδομένα DNA μεγάλου αριθμού ανθρώπων ή να ακολουθήσετε άλλες μορφές ζωής στη γη.
• Η ωκεανογραφία: Λόγω των πολλών αισθητήρων που τοποθετούνται στους ωκεανούς για τη μέτρηση της θερμοκρασίας, των ρευμάτων και των υδρόφωνα, ακούγονται ακουστικά για επιστημονικούς σκοπούς (ανακαλύπτοντας τα ψάρια, τις φάλαινες και το πλαγκτόν) (βρίσκοντας ύπουλα υποβρύχια από άλλες χώρες). Μπορείτε να παρακολουθήσετε αυτό το παλιό πρόβλημα επιτήρησης, το οποίο γίνεται πιο περίπλοκο και ψηφιακό.
• Δορυφόροι: Η καταγραφή εικόνων από ολόκληρη τη σφαίρα και η αποστολή τους πίσω στη γη για την παρακολούθηση της γήινης επιφάνειας και η ατμόσφαιρά της δεν είναι νέα επιχείρηση (TIROS 1, ο πρώτος δορυφόρος για την αποστολή εικόνων και δεδομένων, χρονολογείται από το 1960). Με την πάροδο των ετών, όμως, ο κόσμος έχει ξεκινήσει περισσότερους από 1, 400 ενεργούς δορυφόρους που παρέχουν παρατήρηση της γης. Η ποσότητα των δεδομένων που φτάνουν στη γη είναι εκπληκτική και εξυπηρετεί στρατιωτικούς (επιτήρησης) και πολιτικούς σκοπούς, όπως η παρακολούθηση της οικονομικής ανάπτυξης, η παρακολούθηση της γεωργίας και η παρακολούθηση των αλλαγών και των κινδύνων. Ένας δορυφόρος ενιαίου ευρωπαϊκού οργανισμού διαστήματος, Sentinel 1A, παράγει 5PB δεδομένων κατά τη διάρκεια δύο ετών λειτουργίας.

Με αυτές τις παλαιότερες τάσεις δεδομένων, δημιουργούνται ή μεταφέρονται νέα ποσά δεδομένων από το Διαδίκτυο, δημιουργώντας νέα ζητήματα και απαιτώντας λύσεις από άποψη αποθήκευσης δεδομένων και αλγορίθμων επεξεργασίας:

• Όπως σύμφωνα με στοιχεία της Εθνικής Υπηρεσίας Ασφαλείας (NSA), το ποσό των πληροφοριών που διακινούνται μέσω του Διαδικτύου κάθε μέρα από όλο τον κόσμο ανήλθε σε 1, 826PB δεδομένων το 2013 και 1,6% αποτελούσαν e-mail και τηλεφωνήματα. Για να διασφαλιστεί η εθνική ασφάλεια, ο NSA πρέπει να επαληθεύσει το περιεχόμενο τουλάχιστον 0. 025 τοις εκατό όλων των μηνυμάτων ηλεκτρονικού ταχυδρομείου και των τηλεφωνικών κλήσεων (αναζητώντας λέξεις-κλειδιά που θα μπορούσαν να σημαίνουν κάτι σαν τρομοκρατική πλοκή). Αυτό εξακολουθεί να ανέρχεται σε 25PB ετησίως, που ισοδυναμεί με 37, 500 CD-ROM κάθε χρόνο δεδομένων που έχουν αποθηκευτεί και αναλυθεί (και αυτό αυξάνεται). Μπορείτε να διαβάσετε την πλήρη ιστορία.
• Το Διαδίκτυο των πραγμάτων (IoT) γίνεται πραγματικότητα. Μπορεί να έχετε ακούσει τον όρο πολλές φορές τα τελευταία 15 χρόνια, αλλά τώρα η ανάπτυξη των υλικών που συνδέονται με το Διαδίκτυο πρόκειται να εκραγεί. Η ιδέα είναι να βάλουμε αισθητήρες και πομπούς σε όλα και να χρησιμοποιήσουμε τα δεδομένα για να ελέγξουμε καλύτερα τι συμβαίνει στον κόσμο και να κάνουμε τα αντικείμενα πιο έξυπνα. Οι συσκευές εκπομπής γίνονται πιο δυνατές, φθηνότερες και λιγότερο απαιτητικές. ορισμένοι είναι ήδη τόσο μικροί που μπορούν να τοποθετηθούν παντού. (Απλά κοιτάξτε το ραδιόφωνο μεγέθους που αναπτύχθηκε από τους μηχανικούς του Στάνφορντ.) Οι ειδικοί εκτιμούν ότι μέχρι το 2020 θα υπάρχουν έξι φορές περισσότερα πράγματα στη γη που θα συνδέονται με ανθρώπους, αλλά πολλές ερευνητικές εταιρείες και ομάδες προβληματισμού επανεξετάζουν ήδη αυτά τα στοιχεία.