Διαχείριση δεδομένων για μεγάλα δεδομένα - ανδρείκελα

Είναι μεγάλα δεδομένα πραγματικά νέα ή είναι μια εξέλιξη στο ταξίδι διαχείρισης δεδομένων; Είναι στην πραγματικότητα και οι δύο. Όπως και με άλλα κύματα στη διαχείριση δεδομένων, τα μεγάλα δεδομένα βασίζονται στην εξέλιξη των πρακτικών διαχείρισης δεδομένων τις τελευταίες πέντε δεκαετίες. Αυτό που είναι νέο είναι ότι για πρώτη φορά το κόστος των υπολογιστικών κύκλων και της αποθήκευσης έχει φτάσει σε σημείο ανατροπής. Γιατί είναι σημαντικό?

Μόνο πριν από μερικά χρόνια, οι οργανώσεις συνήθως θα συμβιβαστούσαν αποθηκεύοντας στιγμιότυπα ή υποσύνολα σημαντικών πληροφοριών επειδή το κόστος αποθήκευσης και επεξεργασίας τους εμπόδισε να αποθηκεύσουν όλα όσα ήθελαν να αναλύσουν.

Σε πολλές περιπτώσεις, ο συμβιβασμός αυτός ήταν καλός. Για παράδειγμα, μια εταιρεία παραγωγής μπορεί να έχει συλλέξει δεδομένα μηχανής κάθε δύο λεπτά για να καθορίσει την υγεία των συστημάτων. Ωστόσο, θα μπορούσαν να υπάρξουν περιπτώσεις όπου το στιγμιότυπο δεν θα περιέχει πληροφορίες σχετικά με ένα νέο τύπο ελαττώματος και αυτό θα μπορούσε να παραβλεφθεί για μήνες.

Με τα μεγάλα δεδομένα, είναι πλέον δυνατή η εικονικοποίηση των δεδομένων έτσι ώστε να μπορούν να αποθηκευτούν αποτελεσματικά και, χρησιμοποιώντας την αποθήκευση που βασίζεται σε σύννεφο, να είναι οικονομικά αποδοτικότερες. Επιπλέον, οι βελτιώσεις στην ταχύτητα και την αξιοπιστία του δικτύου έχουν καταργήσει και άλλους φυσικούς περιορισμούς για τη δυνατότητα διαχείρισης μεγάλων ποσοτήτων δεδομένων με αποδεκτό ρυθμό.

Προσθέστε σε αυτό τον αντίκτυπο των αλλαγών στην τιμή και την πολυπλοκότητα της μνήμης του υπολογιστή. Με όλες αυτές τις τεχνολογικές μεταβάσεις, είναι πλέον δυνατόν να φανταστούμε τρόπους με τους οποίους οι εταιρείες μπορούν να εκμεταλλευτούν δεδομένα που θα ήταν αδιανόητα μόνο πριν από πέντε χρόνια.

Αλλά δεν υπάρχει μεταβατική περίοδος τεχνολογίας μεμονωμένα. συμβαίνει όταν υπάρχει μια σημαντική ανάγκη που μπορεί να καλυφθεί από τη διαθεσιμότητα και την ωρίμανση της τεχνολογίας. Πολλές από τις τεχνολογίες που βρίσκονται στην καρδιά των μεγάλων δεδομένων, όπως η εικονικοποίηση, η παράλληλη επεξεργασία, τα κατανεμημένα συστήματα αρχείων και οι βάσεις δεδομένων εντός μνήμης, υπήρξαν εδώ και δεκαετίες.

Τα προηγμένα αναλυτικά στοιχεία ήταν επίσης εδώ και δεκαετίες, αν και δεν ήταν πάντα πρακτικά. Άλλες τεχνολογίες όπως το Hadoop και το MapReduce βρίσκονται στη σκηνή για λίγα μόνο χρόνια. Αυτός ο συνδυασμός τεχνολογικών εξελίξεων μπορεί τώρα να αντιμετωπίσει σημαντικά επιχειρηματικά προβλήματα. Οι επιχειρήσεις θέλουν να είναι σε θέση να αποκτήσουν γνώσεις και αποτελέσματα με δυνατότητα δράσης από πολλά διαφορετικά είδη δεδομένων με τη σωστή ταχύτητα.

Εάν οι εταιρείες μπορούν να αναλύσουν πεντακύτταρα δεδομένων (ισοδύναμα με 20 εκατομμύρια καταψύκτες αρχείων τεσσάρων συρταριών γεμισμένα με αρχεία κειμένου ή 13. 3 έτη περιεχομένου HDTV) με αποδεκτή απόδοση για να διακρίνουν πρότυπα και ανωμαλίες, οι επιχειρήσεις μπορούν να αρχίσουν να έχουν νόημα δεδομένων με νέους τρόπους.Η μετάβαση σε μεγάλα δεδομένα δεν αφορά μόνο τις επιχειρήσεις.

Οι δραστηριότητες της επιστήμης, της έρευνας και της κυβέρνησης συνέβαλαν επίσης στην προώθηση της. Απλά σκεφτείτε να αναλύσετε το ανθρώπινο γονιδίωμα ή να ασχοληθείτε με όλα τα αστρονομικά δεδομένα που συλλέγονται στα παρατηρητήρια για να προωθήσετε την κατανόησή μας για τον κόσμο γύρω μας. Εξετάστε το ποσό των δεδομένων που συλλέγει η κυβέρνηση στις αντιτρομοκρατικές δραστηριότητές της, και έχετε την ιδέα ότι τα μεγάλα δεδομένα δεν αφορούν μόνο τις επιχειρήσεις.

Υπάρχουν διαφορετικές προσεγγίσεις για το χειρισμό δεδομένων. Τα δεδομένα σε κίνηση θα χρησιμοποιηθούν εάν μια εταιρεία είναι σε θέση να αναλύσει την ποιότητα των προϊόντων της κατά τη διαδικασία κατασκευής, ώστε να αποφευχθούν δαπανηρά σφάλματα. Τα δεδομένα σε ηρεμία θα χρησιμοποιηθούν από έναν επιχειρηματικό αναλυτή για να κατανοήσουν καλύτερα τα τρέχοντα πρότυπα αγορών των πελατών με βάση όλες τις πτυχές της σχέσης πελατείας, συμπεριλαμβανομένων των πωλήσεων, των δεδομένων των κοινωνικών μέσων και των αλληλεπιδράσεων εξυπηρέτησης πελατών.

Λάβετε υπόψη ότι οι επιχειρήσεις βρίσκονται ακόμη σε πρώιμο στάδιο αξιοποιώντας τεράστιους όγκους δεδομένων για να αποκτήσουν μια εικόνα 360 μοιρών της επιχείρησης και να προβλέψουν μετατοπίσεις και αλλαγές στις προσδοκίες των πελατών. Οι τεχνολογίες που απαιτούνται για να αποκτήσουν τις απαντήσεις οι επιχειρηματικές ανάγκες εξακολουθούν να απομονώνονται το ένα από το άλλο.

Τα μεγάλα δεδομένα δεν αφορούν απλά ένα εργαλείο ή μία τεχνολογία. Πρόκειται για το πώς όλες αυτές οι τεχνολογίες έρχονται μαζί για να δώσουν τις σωστές ιδέες, την κατάλληλη στιγμή, με βάση τα σωστά δεδομένα - είτε προέρχονται από ανθρώπους, μηχανές είτε από το διαδίκτυο.