Αποφυγή παγίδων δειγμάτων και παγίδων διαρροής στη μηχανική μάθηση - ανδρείκελα

Η προσέγγιση επικύρωσης στη μηχανική μάθηση είναι μια εξέταση μιας πιθανής αντιμετώπισης της μεροληπτικής δειγματοληψίας. Η προκαταρκτική δειγματοληψία μπορεί να συμβεί στα δεδομένα σας πριν τεθεί σε λειτουργία η μηχανική μάθηση και προκαλεί μεγάλη διακύμανση των παρακάτω εκτιμήσεων. Επιπλέον, θα πρέπει να γνωρίζετε τις παγίδες διαρροών που μπορεί να εμφανιστούν όταν κάποιες πληροφορίες από το δείγμα που πέρασαν από το δείγμα περνούν σε δεδομένα δείγματος. Αυτό το ζήτημα μπορεί να προκύψει κατά την προετοιμασία των δεδομένων ή αφού το μοντέλο εκμάθησης μηχανής είναι έτοιμο και λειτουργεί.

Για να καταλάβετε πώς η συναρμολόγηση λειτουργεί τόσο αποτελεσματικά, απεικονίστε την εικόνα ενός ματιού ταύρου. Αν το δείγμα σας επηρεάζει τις προβλέψεις, ορισμένες προβλέψεις θα είναι ακριβείς και άλλες θα είναι λάθος με τυχαίο τρόπο. Αν αλλάξετε το δείγμα σας, οι σωστές προβλέψεις θα συνεχίσουν να είναι σωστές, αλλά οι λάθος θα αρχίσουν να είναι παραλλαγές μεταξύ διαφορετικών τιμών. Ορισμένες αξίες θα είναι η ακριβής πρόβλεψη που ψάχνετε. άλλοι απλά θα ταλαντεύονται γύρω από το σωστό.

Συγκρίνοντας τα αποτελέσματα, μπορείτε να υποθέσετε ότι αυτό που είναι επαναλαμβανόμενο είναι η σωστή απάντηση. Μπορείτε επίσης να πάρετε έναν μέσο όρο των απαντήσεων και να υποθέσετε ότι η σωστή απάντηση θα πρέπει να βρίσκεται στη μέση των τιμών. Με το παιχνίδι των ταύρων, μπορείτε να απεικονίσετε τις φωτογραφίες των διαφορετικών παιχνιδιών: Εάν το πρόβλημα είναι διακύμανση, τελικά θα υποθέσετε ότι ο στόχος βρίσκεται στην περιοχή που έχει πληγεί περισσότερο ή τουλάχιστον στο κέντρο όλων των πυροβολισμών.

Στις περισσότερες περιπτώσεις, μια τέτοια προσέγγιση αποδεικνύεται σωστή και βελτιώνει πολύ καλά τις προβλέψεις σας για την εκμάθηση μηχανών. Όταν το πρόβλημά σας είναι προκατάληψη και όχι διακύμανση, η χρήση συναρμολόγησης πραγματικά δεν προκαλεί βλάβη, εκτός και αν υποδείξετε πολύ λίγα δείγματα. Ένας καλός κανόνας για την υποδειγματοληψία είναι να ληφθεί ένα δείγμα από 70 έως 90 τοις εκατό σε σύγκριση με τα αρχικά δεδομένα σε δείγμα. Αν θέλετε να κάνετε συναρμολόγηση, πρέπει να κάνετε τα εξής:

Επεξεργαστείτε πολλές φορές τα δεδομένα και τα μοντέλα σας (από ελάχιστες τρεις επαναλήψεις σε ιδανικά εκατοντάδες φορές).

• Κάθε φορά που επαναλαμβάνετε, υποδειγματοληψία (ή αλλιώς bootstrap) τα δεδομένα σας στο δείγμα.
• Χρησιμοποιήστε την εκμάθηση μηχανών για το μοντέλο στα δεδομένα που έχουν δειγματοληψία και προβλέψτε τα αποτελέσματα εκτός δείγματος. Αποθηκεύστε αυτά τα αποτελέσματα για μεταγενέστερη χρήση.
• Στο τέλος των επαναλήψεων, για κάθε περίπτωση εκτός δείγματος που θέλετε να προβλέψετε, πάρτε όλες τις προβλέψεις της και μετρήστε τους εάν κάνετε μια παλινδρόμηση. Πάρτε την πιο συχνή κατηγορία αν κάνετε μια ταξινόμηση.
• Οι παγίδες διαρροών μπορούν να σας εκπλήξουν επειδή μπορούν να αποδειχθούν άγνωστες και μη ανιχνευμένες πηγές προβλημάτων με τις διαδικασίες εκμάθησης μηχανών σας. Το πρόβλημα είναι να σπρώχνεις ή να παρατηρείς πάρα πολύ τα δεδομένα εκτός δείγματος και να τα προσαρμόζεις πολύ συχνά. Εν ολίγοις, το snooping είναι ένα είδος υπερφόρτωσης - και όχι μόνο στα δεδομένα εκπαίδευσης, αλλά και στα δεδομένα των δοκιμών, καθιστώντας το πρόβλημα υπερθέρμανσης το ίδιο πιο δύσκολο να ανιχνευθεί έως ότου αποκτήσετε νέα δεδομένα.

Συνειδητά συνειδητοποιείτε ότι το πρόβλημα είναι να υποπτευθείτε όταν έχετε ήδη εφαρμόσει τον αλγόριθμο μηχανικής μάθησης στην επιχείρησή σας ή σε μια υπηρεσία για το κοινό, κάνοντας το πρόβλημα ένα ζήτημα που μπορεί να δει ο καθένας.

Μπορείτε να αποφύγετε το snooping με δύο τρόπους. Πρώτον, όταν χρησιμοποιείτε τα δεδομένα, φροντίζετε να διαχωρίζετε με προσοχή την κατάρτιση, την επικύρωση και τα δεδομένα δοκιμών. Επίσης, όταν επεξεργάζεστε, ποτέ δεν λαμβάνετε πληροφορίες από την επικύρωση ή τη δοκιμή, ακόμα και τα πιο απλά και αθώα δείγματα. Ακόμα χειρότερο είναι να εφαρμόσουμε ένα πολύπλοκο μετασχηματισμό χρησιμοποιώντας όλα τα δεδομένα.

Για παράδειγμα, είναι πολύ γνωστό ότι ο υπολογισμός της μέσης και της τυπικής απόκλισης (που μπορεί να σας πει πολλά για τις συνθήκες της αγοράς και τον κίνδυνο) από όλα τα δεδομένα κατάρτισης και δοκιμών μπορεί να διαρρεύσει πολύτιμες πληροφορίες για τα μοντέλα σας. Όταν συμβαίνει διαρροή, οι αλγόριθμοι μηχανικής μάθησης πραγματοποιούν προβλέψεις σχετικά με το σετ δοκιμών και όχι τα δεδομένα που δεν προέρχονται από δείγματα από τις αγορές, πράγμα που σημαίνει ότι δεν λειτουργούσαν καθόλου, προκαλώντας έτσι απώλεια χρημάτων.

Ελέγξτε την απόδοση των παραδειγμάτων εκτός του δείγματος. Στην πραγματικότητα, μπορείτε να επαναφέρετε κάποιες πληροφορίες από το snooping σας σχετικά με τα αποτελέσματα των δοκιμών για να σας βοηθήσουμε να διαπιστώσετε ότι ορισμένες παράμετροι είναι καλύτερες από άλλες, ή να σας οδηγήσει να επιλέξετε έναν αλγόριθμο εκμάθησης μηχανών αντί άλλου. Για κάθε μοντέλο ή παράμετρο, εφαρμόστε την επιλογή σας με βάση τα αποτελέσματα πολλαπλής επικύρωσης ή από το δείγμα επικύρωσης. Ποτέ μην πέσετε για να πάρει τα ωάρια από τα δεδομένα σας από το δείγμα ή θα το μετανιώσετε αργότερα.