Πώς να χρησιμοποιήσετε την εξομάλυνση δεδομένων στο Predictive Analytics - ανίχνευση

Η εξομάλυνση δεδομένων στην πρόβλεψη της ανάλυσης ουσιαστικά προσπαθεί να βρει το "σήμα" απορρίπτοντας σημεία δεδομένων που θεωρούνται "θορυβώδη". Η ιδέα είναι να ακονίσετε τα μοτίβα στα δεδομένα και να επισημάνετε τις τάσεις που δείχνουν τα δεδομένα.

Οι επιπτώσεις πίσω από την εξομάλυνση δεδομένων είναι ότι τα δεδομένα αποτελούνται από δύο μέρη: ένα μέρος (που αποτελείται από τα σημεία δεδομένων πυρήνα ) που υποδηλώνει γενικές τάσεις ή πραγματικές τάσεις και ένα άλλο μέρος που αποτελείται κυρίως από αποκλίσεις θόρυβος ) - κάποιες διακυμάνσεις που προκύπτουν από κάποια αστάθεια στα δεδομένα. Η εξομάλυνση των δεδομένων αποσκοπεί στην εξάλειψη αυτού του δεύτερου μέρους.

Πώς να μειώσετε τον θόρυβο

Η εξομάλυνση δεδομένων λειτουργεί με αρκετές υποθέσεις:

Αυτή η διακύμανση δεδομένων είναι πιθανότερο να είναι θόρυβος.
Ότι το θορυβώδες μέρος των δεδομένων είναι σύντομης διάρκειας.
Ότι οι διακυμάνσεις των δεδομένων, ανεξάρτητα από το πόσο διαφορετικές είναι, δεν θα επηρεάσουν τις υποκείμενες τάσεις που αντιπροσωπεύουν τα βασικά σημεία δεδομένων.

Ο θόρυβος των δεδομένων τείνει να είναι τυχαίος. οι διακυμάνσεις της δεν πρέπει να επηρεάζουν τις γενικές τάσεις που προκύπτουν από την εξέταση των υπόλοιπων δεδομένων. Έτσι, η μείωση ή η εξάλειψη θορυβώδους σημείων δεδομένων μπορεί να αποσαφηνίσει τις πραγματικές τάσεις και τα πρότυπα στα δεδομένα - στην πραγματικότητα, βελτιώνοντας τον λόγο "σήματος προς θόρυβο" των δεδομένων. "

Υπό την προϋπόθεση ότι έχετε εντοπίσει σωστά τον θόρυβο και στη συνέχεια τον μειώσετε, η εξομάλυνση δεδομένων μπορεί να σας βοηθήσει να προβλέψετε το επόμενο σημείο δεδομένων που παρατηρείτε απλά ακολουθώντας τις κύριες τάσεις που έχετε εντοπίσει μέσα στα δεδομένα.

Η εξομάλυνση των δεδομένων αφορά την πλειονότητα των σημείων δεδομένων, τις θέσεις τους σε ένα γράφημα και τις προεκτάσεις που προκύπτουν από τη γενική τάση (για παράδειγμα) της τιμής των μετοχών, είτε η γενική κατεύθυνση είναι πάνω, κάτω είτε πλάγια.

Μια πρόβλεψη που βασίζεται σε μια γενική τάση που προκύπτει από τα εξομαλυνθέντα δεδομένα υποθέτει ότι οποιαδήποτε κατεύθυνση τα δεδομένα έχουν ακολουθήσει μέχρι τώρα θα συνεχιστεί στο μέλλον με τρόπο συμβατό με την τάση. Στη χρηματιστηριακή αγορά, για παράδειγμα, οι προηγούμενες επιδόσεις δεν αποτελούν σαφή ένδειξη μελλοντικών επιδόσεων, αλλά σίγουρα μπορεί να αποτελέσουν γενικό οδηγό για τη μελλοντική κίνηση της τιμής των μετοχών.

Μέθοδοι, πλεονεκτήματα και μειονεκτήματα της εξομάλυνσης δεδομένων

Η εξομάλυνση δεδομένων δεν πρέπει να συγχέεται με την

τοποθέτηση ενός μοντέλου που αποτελεί μέρος της ανάλυσης δεδομένων που αποτελείται από δύο βήματα: μοντέλο που αντιπροσωπεύει τα δεδομένα.

Βεβαιωθείτε ότι το μοντέλο ταιριάζει αποτελεσματικά με τα δεδομένα.
Η εξομάλυνση των δεδομένων επικεντρώνεται στην καθιέρωση μιας θεμελιώδους κατεύθυνσης για τα βασικά σημεία δεδομένων με (1) την παραβίαση οποιωνδήποτε θορυβώδους σημείων δεδομένων και (2) την ομαλότερη καμπύλη μέσω των σημείων δεδομένων που παραλείπει τους συρμούς και τονίζει τα πρωτογενή πρότυπα τα δεδομένα, ανεξάρτητα από το πόσο αργή είναι η εμφάνισή τους. Συνεπώς, σε μια αριθμητική χρονολογική σειρά, η εξομάλυνση δεδομένων χρησιμεύει ως μορφή φιλτραρίσματος.

Η εξομάλυνση δεδομένων μπορεί να χρησιμοποιήσει οποιαδήποτε από τις ακόλουθες μεθόδους:

Το τυχαίο βήμα

βασίζεται στην ιδέα ότι το επόμενο αποτέλεσμα ή το μελλοντικό σημείο δεδομένων είναι τυχαία απόκλιση από το τελευταίο γνωστό ή παρόν σημείο δεδομένων. Ο κινητός μέσος όρος
είναι ένας μέσος όρος διαδοχικών, ισαπέραστων περιόδων. Ένα παράδειγμα θα ήταν ο υπολογισμός ενός κινούμενου μέσου τιμής 200 ημερών μιας τιμής μετοχής. Η εκθετική εξομάλυνση
αποδίδει εκθετικά μεγαλύτερο βάρος, ή σημασία, στα πρόσφατα σημεία δεδομένων παρά σε παλαιότερα σημεία δεδομένων. Απλή:
- Αυτή η μέθοδος θα πρέπει να χρησιμοποιείται όταν τα δεδομένα χρονοσειρών δεν έχουν τάση και εποχικότητα. Γραμμική:
- Αυτή η μέθοδος θα πρέπει να χρησιμοποιείται όταν τα δεδομένα χρονοσειρών έχουν γραμμή τάσης. Εποχιακά:
- Αυτή η μέθοδος θα πρέπει να χρησιμοποιείται όταν τα δεδομένα χρονοσειρών δεν έχουν τάση αλλά εποχικότητα. Αυτό που όλες αυτές οι μέθοδοι εξομάλυνσης έχουν κοινό είναι ότι διεξάγουν κάποιου είδους διαδικασία διαμεσολάβησης σε διάφορα σημεία δεδομένων. Αυτός ο μέσος όρος των παρακείμενων σημείων δεδομένων είναι ο ουσιαστικός τρόπος μηδενισμού στις υποκείμενες τάσεις ή πρότυπα.

Τα πλεονεκτήματα της εξομάλυνσης των δεδομένων είναι

Είναι εύκολο να εφαρμοστούν.

Βοηθάει στον προσδιορισμό των τάσεων.
Βοηθάει στην έκθεση των σχεδίων στα δεδομένα.
Εξαλείφει τα σημεία δεδομένων που έχετε αποφασίσει ότι δεν ενδιαφέρουν.
Βοηθά στην πρόβλεψη της γενικής κατεύθυνσης των επόμενων παρατηρημένων σημείων δεδομένων.
Δημιουργεί ωραία λείες γραφικές παραστάσεις.
Αλλά όλα έχουν ένα μειονέκτημα. Τα μειονεκτήματα της εξομάλυνσης δεδομένων είναι

Μπορεί να εξαλείψει τα έγκυρα σημεία δεδομένων που προκύπτουν από ακραία γεγονότα.

Μπορεί να οδηγήσει σε ανακριβείς προβλέψεις εάν τα δεδομένα των δοκιμών είναι μόνο εποχιακά και δεν είναι πλήρως αντιπροσωπευτικά της πραγματικότητας που δημιούργησε τα σημεία δεδομένων.
Μπορεί να μετατοπίσει ή να παρακάμψει τα δεδομένα, ειδικά τις κορυφές, με αποτέλεσμα μια παραμορφωμένη εικόνα του τι συμβαίνει.
Μπορεί να είναι ευάλωτο σε σημαντικές διαταραχές από τα υπερβολικά μεγέθη εντός των δεδομένων.
Μπορεί να προκαλέσει σημαντική απόκλιση από τα αρχικά δεδομένα.
Εάν η εξομάλυνση των δεδομένων απλώς δίδει τα δεδομένα σε ένα απλό facelift, μπορεί να τραβήξει ένα λανθασμένο λάθος με τους ακόλουθους τρόπους:

Μπορεί να εισαγάγει σφάλματα μέσω στρεβλώσεων που αντιμετωπίζουν τα εξομαλυσμένα δεδομένα σαν να ήταν πανομοιότυπα με το πρωτότυπο δεδομένα.

Μπορεί να παραμορφώσει την ερμηνεία αγνοώντας - και κρύβοντας - τους κινδύνους που είναι ενσωματωμένοι στα δεδομένα.
Μπορεί να οδηγήσει σε απώλεια λεπτομέρειας στα δεδομένα σας - πράγμα που είναι ένας τρόπος με τον οποίο μια ομαλοποιημένη καμπύλη μπορεί να αποκλίνει πολύ από αυτή των αρχικών δεδομένων.
Πόσο σοβαρή είναι η εξομάλυνση δεδομένων που μπορεί να επηρεάσει τα δεδομένα σας εξαρτάται από τη φύση των δεδομένων και ποια τεχνική εξομάλυνσης εφαρμόστηκε σε αυτά τα δεδομένα.Για παράδειγμα, αν τα αρχικά δεδομένα έχουν περισσότερες κορυφές σε αυτό, τότε η εξομάλυνση δεδομένων θα οδηγήσει σε σημαντική μετατόπιση αυτών των κορυφών στα λειανθέντα γραφήματα - πιθανότατα μια παραμόρφωση.

Ακολουθούν ορισμένα σημεία προσοχής που πρέπει να θυμάστε καθώς πλησιάζετε την εξομάλυνση δεδομένων:

Είναι καλή ιδέα να συγκρίνετε τα λειανθέντα γραφήματα με τα παρθέντα γραφήματα που σχεδιάζουν τα αρχικά δεδομένα.

Τα σημεία δεδομένων που αφαιρέθηκαν κατά την εξομάλυνση δεδομένων ενδέχεται να μην είναι θόρυβος. θα μπορούσαν να είναι έγκυρα, πραγματικά σημεία δεδομένων που προκύπτουν από σπάνια αλλά πραγματικά γεγονότα.
Η εξομάλυνση δεδομένων μπορεί να είναι χρήσιμη με μετριοπάθεια, αλλά η υπερβολική χρήση μπορεί να οδηγήσει σε εσφαλμένη παρουσίαση των δεδομένων σας.
Χρησιμοποιώντας την επαγγελματική κρίση και την τεχνογνωσία της επιχείρησής σας, μπορείτε να χρησιμοποιήσετε αποτελεσματικά την εξομάλυνση των δεδομένων. Η αφαίρεση του θορύβου από τα δεδομένα σας - χωρίς να επηρεάζεται αρνητικά η ακρίβεια και η χρησιμότητα των αρχικών δεδομένων - είναι τουλάχιστον εξίσου μια τέχνη με την επιστήμη.