Ροή δεδομένων ροής δεδομένων

ποσά, η αποθήκευση όλων μπορεί να είναι δύσκολη ή ακόμα και αδύνατη. Στην πραγματικότητα, η αποθήκευση όλων δεν μπορεί να είναι χρήσιμη. Εδώ είναι μερικά στοιχεία μόνο μερικά από αυτά που μπορείτε να περιμένετε να συμβεί μέσα σε ένα λεπτό στο Διαδίκτυο:

• 150 εκατομμύρια e-mail αποστέλλονται
• 350, 000 νέα tweets που αποστέλλονται στο Twitter
• 2. 4 εκατομμύρια ερωτήματα που ζητήθηκαν στο Google
• 700, 000 άτομα συνδεθήκατε στο λογαριασμό τους στο Facebook

Δεδομένων αυτών των όγκων, η συγκέντρωση των δεδομένων καθ 'όλη τη διάρκεια της ημέρας για τη βαθμιαία ανάλυση μπορεί να μην φαίνεται αποτελεσματική. Μπορείτε απλά να το αποθηκεύσετε κάπου και να το αναλύσετε στις επόμενες ή αργότερα (που είναι η ευρέως διαδεδομένη στρατηγική αρχειοθέτησης που είναι χαρακτηριστική των βάσεων δεδομένων και των αποθηκών δεδομένων). Ωστόσο, τα χρήσιμα ερωτήματα δεδομένων τείνουν να ρωτούν για τα πιο πρόσφατα δεδομένα στη ροή και τα δεδομένα καθίστανται λιγότερο χρήσιμα όταν μεγαλώνουν (σε ορισμένους τομείς, όπως είναι οι οικονομικές, μια μέρα μπορεί να είναι πολύς χρόνος).

Επειδή οι νέες ροές δεδομένων ενδέχεται να καταστήσουν την προηγούμενη επεξεργασία παλαιών δεδομένων απαρχαιωμένη και η αναβλητικότητα δεν είναι λύση, οι άνθρωποι έχουν επινοήσει πολλαπλές στρατηγικές για την άμεση αντιμετώπιση μαζικών και μεταβλητών ποσών δεδομένων. Οι χρήστες χρησιμοποιούν τρεις τρόπους αντιμετώπισης μεγάλων ποσοτήτων δεδομένων:

Αποθηκευμένο:

Κάποια δεδομένα αποθηκεύονται επειδή μπορεί να σας βοηθήσουν να απαντήσετε σε ασαφείς ερωτήσεις αργότερα. Αυτή η μέθοδος βασίζεται σε τεχνικές για να την αποθηκεύσετε αμέσως και να την αναλύσετε αργότερα πολύ γρήγορα, ανεξάρτητα από το πόσο μαζική είναι.

• Συγκεντρωμένη: Ορισμένα στοιχεία συνοψίζονται επειδή η διατήρηση όλων, καθώς δεν έχει νόημα. διατηρούνται μόνο τα σημαντικά δεδομένα.
• Καταναλωμένο: Τα υπόλοιπα δεδομένα καταναλώνονται επειδή η χρήση τους είναι προκαθορισμένη. Οι αλγόριθμοι μπορούν να διαβάσουν, να αφομοιώσουν και να μετατρέψουν τα δεδομένα σε πληροφορίες. Μετά από αυτό, το σύστημα ξεχνά πάντα τα δεδομένα.
• Όταν μιλάτε για μαζικά δεδομένα που φτάνουν σε ένα σύστημα υπολογιστή, θα τα ακούτε συχνά σε σύγκριση με το νερό: δεδομένα ροής, ρεύματα δεδομένων, εύκαμπτοι σωλήνες δεδομένων. Ανακαλύπτετε πώς οι ροές δεδομένων είναι σαν να καταναλώνετε νερό της βρύσης: Το άνοιγμα της βρύσης σας επιτρέπει να αποθηκεύετε το νερό σε φλιτζάνια ή ποτά ή μπορείτε να το χρησιμοποιήσετε για το μαγείρεμα, το πλύσιμο των τροφίμων, τις πλάκες καθαρισμού ή το πλύσιμο των χεριών. Σε κάθε περίπτωση, το μεγαλύτερο μέρος ή το σύνολο του νερού έχει φύγει, ωστόσο αποδεικνύεται πολύ χρήσιμο και πραγματικά ζωτικό.