Πώς να χρησιμοποιήσετε Streaming δεδομένων για μεγάλα δεδομένα - ανδρείκελα

Μερικές φορές, όταν πλησιάζουμε σε μεγάλα δεδομένα, οι εταιρείες αντιμετωπίζουν τεράστια ποσά δεδομένων και ελάχιστη ιδέα για το πού να πάμε στη συνέχεια. Εισαγάγετε ροή δεδομένων. Όταν μια σημαντική ποσότητα δεδομένων χρειάζεται να επεξεργαστεί γρήγορα σε σχεδόν πραγματικό χρόνο για να αποκτήσει γνώσεις, τα δεδομένα σε κίνηση με τη μορφή δεδομένων ροής είναι η καλύτερη απάντηση.

Ποια είναι τα δεδομένα που είναι όχι σε κατάσταση ηρεμίας; Αυτά θα είναι συστήματα που διαχειρίζονται ενεργές συναλλαγές και συνεπώς πρέπει να έχουν εμμονή. Σε αυτές τις περιπτώσεις, τα δεδομένα θα αποθηκευτούν σε ένα λειτουργικό κατάστημα δεδομένων. Ωστόσο, σε άλλες καταστάσεις, αυτές οι συναλλαγές έχουν εκτελεστεί και είναι καιρός να αναλυθούν τα δεδομένα αυτά συνήθως σε μια αποθήκη δεδομένων ή σε δεδομένα δεδομένων.

Αυτό σημαίνει ότι οι πληροφορίες υποβάλλονται σε επεξεργασία σε παρτίδα και όχι σε πραγματικό χρόνο. Όταν οι οργανισμοί σχεδιάζουν για το μέλλον τους, πρέπει να είναι σε θέση να αναλύσουν πολλά δεδομένα, που κυμαίνονται από πληροφορίες για το τι αγοράζουν οι πελάτες και γιατί. Είναι σημαντικό να κατανοήσουμε τους κύριους δείκτες της αλλαγής. Με άλλα λόγια, πώς θα αλλάξουν τα προϊόντα και οι υπηρεσίες που θα προσφέρει ένας οργανισμός στο μέλλον;

Πολλοί ερευνητικοί οργανισμοί χρησιμοποιούν αυτόν τον τύπο μεγάλων αναλυτικών δεδομένων για την ανακάλυψη νέων φαρμάκων. Μια ασφαλιστική εταιρεία μπορεί να θέλει να συγκρίνει τα πρότυπα των τροχαίων ατυχημάτων σε μια ευρεία γεωγραφική περιοχή με τις στατιστικές του καιρού. Σε αυτές τις περιπτώσεις, δεν υπάρχει κανένα όφελος για τη διαχείριση αυτών των πληροφοριών σε ταχύτητα σε πραγματικό χρόνο. Σαφώς, η ανάλυση πρέπει να είναι γρήγορη και πρακτική. Επιπλέον, οι οργανισμοί θα αναλύσουν τα δεδομένα για να δουν αν προκύπτουν νέα πρότυπα.

Τα δεδομένα ροής είναι μια πλατφόρμα αναλυτικής υπολογιστικής που επικεντρώνεται στην ταχύτητα. Αυτό οφείλεται στο γεγονός ότι αυτές οι εφαρμογές απαιτούν μια συνεχή ροή συχνά μη δομημένων δεδομένων προς επεξεργασία. Επομένως, τα δεδομένα αναλύονται συνεχώς και μετατρέπονται στη μνήμη πριν αποθηκευτούν σε δίσκο. Η επεξεργασία των ροών των δεδομένων λειτουργεί με την επεξεργασία "χρονικών παραθύρων" δεδομένων στη μνήμη σε ένα σύμπλεγμα διακομιστών.

Αυτό είναι παρόμοιο με την προσέγγιση κατά τη διαχείριση των δεδομένων σε ηρεμία με μόχλευση Hadoop. Η κύρια διαφορά είναι το θέμα της ταχύτητας. Στο σύμπλεγμα Hadoop, τα δεδομένα συλλέγονται σε κατάσταση παρτίδας και στη συνέχεια επεξεργάζονται. Η ταχύτητα έχει λιγότερη σημασία στο Hadoop από ό, τι συμβαίνει στη ροή δεδομένων. Ορισμένες βασικές αρχές που καθορίζουν κατά τη χρήση των ροών είναι οι πλέον κατάλληλες:

• Όταν είναι απαραίτητο να προσδιοριστεί μια ευκαιρία λιανικής αγοράς στο σημείο της εμπλοκής είτε μέσω κοινωνικών μέσων είτε μέσω μηνυμάτων βάσει αδειών

• Συλλογή πληροφοριών σχετικά με την κίνηση γύρω από ασφαλή τοποθεσία

• Για να μπορείτε να αντιδράτε σε ένα γεγονός που χρειάζεται άμεση ανταπόκριση, όπως διακοπή υπηρεσίας ή αλλαγή στην ιατρική κατάσταση ενός ασθενή

• Υπολογισμός σε πραγματικό χρόνο του κόστους που εξαρτάται από μεταβλητές όπως η χρήση και διαθέσιμοι πόροι

Τα δεδομένα ροής είναι χρήσιμα όταν οι αναλύσεις πρέπει να γίνονται σε πραγματικό χρόνο, ενώ τα δεδομένα βρίσκονται σε κίνηση.Στην πραγματικότητα, η αξία της ανάλυσης (και συχνά τα δεδομένα) μειώνεται με το χρόνο. Για παράδειγμα, εάν δεν μπορείτε να αναλύσετε και να δράσετε άμεσα, μια ευκαιρία πώλησης μπορεί να χαθεί ή μια απειλή μπορεί να μην εντοπιστεί.

Τα παρακάτω είναι μερικά παραδείγματα που μπορούν να σας βοηθήσουν να εξηγήσετε πώς αυτό είναι χρήσιμο.

Μια εγκατάσταση ηλεκτροπαραγωγής πρέπει να είναι ένα εξαιρετικά ασφαλές περιβάλλον, ώστε τα μη εξουσιοδοτημένα άτομα να μην παρεμβαίνουν στην παροχή ενέργειας στους πελάτες. Οι εταιρείες συχνά τοποθετούν αισθητήρες γύρω από την περίμετρο ενός χώρου για να ανιχνεύσουν την κίνηση. Αλλά ένα πρόβλημα θα μπορούσε να υπάρξει. Υπάρχει τεράστια διαφορά μεταξύ ενός κουνελιού που τρέχει γύρω από την περιοχή και ενός αυτοκινήτου που οδηγεί γρήγορα και εσκεμμένα. Ως εκ τούτου, η τεράστια ποσότητα δεδομένων που προέρχονται από αυτούς τους αισθητήρες πρέπει να αναλυθεί σε πραγματικό χρόνο, ώστε να ακούγεται ένας συναγερμός μόνο όταν υπάρχει πραγματική απειλή.

Μια εταιρεία τηλεπικοινωνιών σε μια άκρως ανταγωνιστική αγορά θέλει να διασφαλίσει ότι οι διακοπές λειτουργίας παρακολουθούνται προσεκτικά, έτσι ώστε μια ανιχνευμένη πτώση των επιπέδων υπηρεσιών να μπορεί να κλιμακωθεί στην κατάλληλη ομάδα. Τα συστήματα επικοινωνιών παράγουν τεράστιους όγκους δεδομένων που πρέπει να αναλυθούν σε πραγματικό χρόνο για να λάβουν τα κατάλληλα μέτρα. Μια καθυστέρηση στην ανίχνευση ενός σφάλματος μπορεί να επηρεάσει σοβαρά την ικανοποίηση του πελάτη.

Περιττό να πούμε ότι οι επιχειρήσεις αντιμετωπίζουν πολλά δεδομένα που πρέπει να επεξεργαστούν και να αναλυθούν σε πραγματικό χρόνο. Επομένως, το φυσικό περιβάλλον που υποστηρίζει αυτό το επίπεδο ανταπόκρισης είναι κρίσιμο. Τα περιβάλλοντα δεδομένων ροής δεδομένων απαιτούν τυπικά μια λύση συμπλέγματος υλικού και μερικές φορές απαιτείται μια μαζική προσέγγιση παράλληλης επεξεργασίας για την επεξεργασία της ανάλυσης.

Ένας σημαντικός παράγοντας για την ανάλυση ροής δεδομένων είναι το γεγονός ότι πρόκειται για μια ανάλυση μονοπατιού. Με άλλα λόγια, ο αναλυτής δεν μπορεί να αναλύσει τα δεδομένα μετά τη ροή του. Αυτό είναι συνηθισμένο σε εφαρμογές όπου αναζητάτε την απουσία δεδομένων.

Εάν απαιτούνται περισσότερα περάσματα, τα δεδομένα θα πρέπει να τοποθετηθούν σε κάποιο είδος αποθήκης όπου μπορεί να εκτελεστεί πρόσθετη ανάλυση. Για παράδειγμα, είναι συχνά απαραίτητο να καθοριστεί το πλαίσιο. Πώς συγκρίνονται αυτά τα δεδομένα ροής με ιστορικά δεδομένα; Αυτή η συσχέτιση μπορεί να σας πει πολλά για το τι έχει αλλάξει και τι μπορεί να σημαίνει η αλλαγή για την επιχείρησή σας.