Πώς να διασφαλιστεί η εγκυρότητα, η ακρίβεια και η μεταβλητότητα των μεγάλων δεδομένων

Μεγάλος όγκος, μεγάλη ποικιλία και υψηλή ταχύτητα είναι τα βασικά χαρακτηριστικά μεγάλα δεδομένα. Αλλά άλλα χαρακτηριστικά των μεγάλων δεδομένων είναι εξίσου σημαντικά, ειδικά όταν εφαρμόζετε μεγάλα δεδομένα σε λειτουργικές διαδικασίες. Αυτό το δεύτερο σύνολο χαρακτηριστικών "V" που είναι το κλειδί για τη λειτουργικότητα των μεγάλων δεδομένων περιλαμβάνει

• Ισχύς: Είναι τα δεδομένα σωστά και ακριβή για την προβλεπόμενη χρήση;

• Veracity: Τα αποτελέσματα είναι σημαντικά για το συγκεκριμένο χώρο προβλημάτων;

• Μεταβλητότητα: Για πόσο χρονικό διάστημα χρειάζεται να αποθηκεύσετε αυτά τα δεδομένα;

Μεγάλη ισχύς δεδομένων

Θέλετε ακριβή αποτελέσματα. Αλλά στα αρχικά στάδια της ανάλυσης των πετασικών δεδομένων, είναι πιθανό να μην ανησυχείτε για το πόσο έγκυρο είναι κάθε στοιχείο δεδομένων. Αυτή η αρχική ροή μεγάλων δεδομένων μπορεί να είναι αρκετά βρώμικη. Στα αρχικά στάδια, είναι πιο σημαντικό να δούμε αν υπάρχουν σχέσεις μεταξύ των στοιχείων εντός αυτής της τεράστιας πηγής δεδομένων παρά να διασφαλιστεί ότι όλα τα στοιχεία είναι έγκυρα.

Τα έγκυρα δεδομένα εισόδου που ακολουθούνται από σωστή επεξεργασία των δεδομένων πρέπει να αποδίδουν ακριβή αποτελέσματα. Με τα μεγάλα δεδομένα, πρέπει να είστε ιδιαίτερα προσεκτικοί όσον αφορά την εγκυρότητα. Για παράδειγμα, στην υγειονομική περίθαλψη, μπορεί να έχετε δεδομένα από μια κλινική δοκιμή που μπορεί να σχετίζεται με συμπτώματα ασθενείας ασθενούς. Αλλά ένας γιατρός που θεραπεύει αυτό το άτομο δεν μπορεί απλά να πάρει τα αποτελέσματα της κλινικής δοκιμής χωρίς να τα επικυρώσει.

Φανταστείτε ότι ο δορυφόρος καιρού δείχνει ότι ξεκινά μια καταιγίδα σε ένα μέρος του κόσμου. Πώς είναι αυτή η καταιγίδα που επηρεάζει τα άτομα; Με περίπου μισό δισεκατομμύριο χρήστες, είναι δυνατόν να αναλυθούν τα ρεύματα Twitter για να προσδιοριστεί ο αντίκτυπος μιας καταιγίδας στους τοπικούς πληθυσμούς. Επομένως, η χρήση του Twitter σε συνδυασμό με δεδομένα από έναν δορυφόρο καιρού θα μπορούσε να βοηθήσει τους ερευνητές να κατανοήσουν την ακρίβεια μιας πρόβλεψης του καιρού.

Μεγάλη μεταβλητότητα δεδομένων

Εάν έχετε έγκυρα δεδομένα και μπορείτε να αποδείξετε την ακρίβεια των αποτελεσμάτων, πόσο καιρό χρειάζονται τα δεδομένα για να "ζήσουν" για να ικανοποιήσουν τις ανάγκες σας; Σε μια τυπική ρύθμιση δεδομένων, μπορείτε να κρατήσετε τα δεδομένα για δεκαετίες, επειδή με την πάροδο του χρόνου έχετε κατανοήσει ποια δεδομένα είναι σημαντικά για αυτό που κάνετε με αυτό.Έχετε θεσπίσει κανόνες για το νόμισμα και τη διαθεσιμότητα δεδομένων που αντιστοιχούν στις διαδικασίες εργασίας σας.

Για παράδειγμα, ορισμένοι οργανισμοί μπορούν να διατηρούν μόνο το πιο πρόσφατο έτος των δεδομένων πελατών τους και των συναλλαγών τους στα επιχειρηματικά τους συστήματα. Αυτό θα διασφαλίσει την ταχεία ανάκτηση αυτών των πληροφοριών όταν απαιτείται. Εάν πρέπει να εξετάσουν ένα προηγούμενο έτος, η ομάδα IT μπορεί να χρειαστεί να επαναφέρει τα δεδομένα από το αποθηκευτικό χώρο εκτός σύνδεσης για να ικανοποιήσει το αίτημα. Με μεγάλα δεδομένα, το πρόβλημα αυτό μεγεθύνεται.

Εάν η αποθήκευση είναι περιορισμένη, δείτε τις μεγάλες πηγές δεδομένων για να καθορίσετε τι πρέπει να συγκεντρώσετε και πόσο καιρό θα πρέπει να τη διατηρήσετε. Με ορισμένες μεγάλες πηγές δεδομένων, ίσως χρειαστεί να συλλέξετε δεδομένα για μια γρήγορη ανάλυση.

Θα μπορούσατε τότε να αποθηκεύσετε τις πληροφορίες τοπικά για περαιτέρω επεξεργασία. Αν δεν έχετε αρκετό χώρο αποθήκευσης για όλα αυτά τα δεδομένα, θα μπορούσατε να επεξεργαστείτε τα δεδομένα "εν πτήσει" και να κρατήσετε μόνο τα σχετικά στοιχεία τοπικά. Πόσο καιρό κρατάτε τα μεγάλα διαθέσιμα δεδομένα εξαρτάται από λίγους παράγοντες:

Πόσα δεδομένα διατηρούνται στην πηγή;

• Χρειάζεται να επεξεργάζεστε τα δεδομένα επανειλημμένα;

• Χρειάζεται να επεξεργαστείτε τα δεδομένα, να συλλέξετε πρόσθετα δεδομένα και να κάνετε περισσότερη επεξεργασία;

• Έχετε κανόνες ή κανονισμούς που απαιτούν αποθήκευση δεδομένων;

• Οι πελάτες σας εξαρτώνται από τα δεδομένα σας για την εργασία τους;

• Τα δεδομένα εξακολουθούν να έχουν αξία ή δεν είναι πλέον χρήσιμα;

• Λόγω του όγκου, της ποικιλίας και της ταχύτητας των μεγάλων δεδομένων, πρέπει να κατανοήσετε την μεταβλητότητα. Για ορισμένες πηγές, τα δεδομένα θα είναι πάντα εκεί. για άλλους, αυτό δεν συμβαίνει. Η κατανόηση των δεδομένων που υπάρχουν εκεί και για πόσο καιρό μπορεί να σας βοηθήσει να καθορίσετε τις απαιτήσεις διατήρησης και τις πολιτικές για τα μεγάλα δεδομένα.

Ως καταναλωτής, τα μεγάλα δεδομένα θα σας βοηθήσουν να ορίσετε ένα καλύτερο προφίλ για το πώς και πότε αγοράζετε αγαθά και υπηρεσίες. Ως ασθενής, τα μεγάλα δεδομένα θα βοηθήσουν στον καθορισμό μιας πιο προσαρμοσμένης προσέγγισης στις θεραπείες και στη συντήρηση της υγείας. Ως επαγγελματίας, τα μεγάλα δεδομένα θα σας βοηθήσουν να εντοπίσετε καλύτερους τρόπους για να σχεδιάσετε και να παραδώσετε τα προϊόντα και τις υπηρεσίες σας.

Αυτό θα συμβεί μόνο όταν ενσωματωθούν μεγάλα δεδομένα στις λειτουργικές διαδικασίες των εταιρειών και των οργανισμών.