Βελτιστοποίηση των επιλογών διασταυρούμενης επικύρωσης στη μηχανική μάθηση - ανίχνευση

Η δυνατότητα έγκρισης μιας υπόθεσης εκμάθησης μηχανής επιτρέπει την περαιτέρω βελτιστοποίηση του αλγορίθμου που επιλέξατε. Ο αλγόριθμος παρέχει το μεγαλύτερο μέρος της προγνωστικής απόδοσης στα δεδομένα σας, δεδομένης της ικανότητάς του να ανιχνεύει σήματα από δεδομένα και να ταιριάζει με την πραγματική λειτουργική μορφή της προγνωστικής λειτουργίας χωρίς υπερφόρτωση και δημιουργώντας μεγάλη διακύμανση των εκτιμήσεων. Όχι κάθε αλγόριθμος εκμάθησης μηχανών είναι ο καλύτερος τρόπος για τα δεδομένα σας και κανένας απλός αλγόριθμος δεν μπορεί να ταιριάζει σε κάθε πρόβλημα. Εναπόκειται σε εσάς να βρείτε το σωστό για ένα συγκεκριμένο πρόβλημα.

Μια δεύτερη πηγή προγνωστικών επιδόσεων είναι τα ίδια τα δεδομένα όταν μετασχηματιστούν και επιλεγούν κατάλληλα για να ενισχύσουν τις ικανότητες μάθησης του επιλεγμένου αλγορίθμου.

Η τελική πηγή απόδοσης προέρχεται από την ακριβή ρύθμιση των υπερ-παραμέτρων του αλγορίθμου, οι οποίες είναι οι παράμετροι που αποφασίζετε πριν από την εκμάθηση συμβαίνει και που δεν αντλήθηκαν από τα δεδομένα. Ο ρόλος τους είναι να καθορίσουν μια υπόθεση a priori, ενώ άλλες παράμετροι το καθορίζουν a posteriori, αφού ο αλγόριθμος αλληλεπιδρά με τα δεδομένα και χρησιμοποιώντας μια διαδικασία βελτιστοποίησης διαπιστώνει ότι ορισμένες τιμές παραμέτρων να εργάζονται καλύτερα για την απόκτηση καλών προβλέψεων.

Οι πολύπλοκοι αλγόριθμοι μηχανικής μάθησης, οι οποίοι είναι πιο εκτεθειμένοι στη διακύμανση των εκτιμήσεων, παρουσιάζουν πολλές επιλογές που εκφράζονται σε μεγάλο αριθμό παραμέτρων. Η συσσώρευση μαζί τους τους κάνει να προσαρμόζονται περισσότερο ή λιγότερο στα δεδομένα από τα οποία μαθαίνουν. Μερικές φορές πάρα πολύ υπερ-παράμετρος twiddling μπορεί ακόμη και να κάνει ο αλγόριθμος ανιχνεύσει ψευδή σήματα από τα δεδομένα. Αυτό καθιστά τις υπερπαραμετρικές παραμέτρους μια ανιχνευμένη πηγή διακύμανσης αν ξεκινήσετε να τις χειρίζεστε πάρα πολύ με βάση κάποια σταθερή αναφορά, όπως ένα σετ δοκιμών ή ένα επαναλαμβανόμενο σχήμα εγκάρσιας επικύρωσης.

Τόσο το R όσο και το Python προσφέρουν λειτουργίες φετών που κόβουν τον πίνακα εισόδου σας σε τμήματα τρένων, δοκιμών και επικύρωσης. Συγκεκριμένα, για πιο πολύπλοκες διαδικασίες δοκιμής, όπως η εγκάρσια επικύρωση ή η εκκίνηση, το πακέτο Scikit-learn προσφέρει μια ολόκληρη ενότητα και το R διαθέτει ένα εξειδικευμένο πακέτο που προσφέρει λειτουργίες για τη διάσπαση δεδομένων, την προεπεξεργασία και τη δοκιμή.Αυτό το πακέτο ονομάζεται καρέ.

Οι πιθανοί συνδυασμοί αξιών που μπορούν να διαμορφώσουν οι υπερ-παραμέτρους, αποφασίζουν να αποφασίσουν πού να βρουν σκληρά τις βελτιστοποιήσεις. Όπως περιγράφεται κατά τη συζήτηση της κλίσης κλίσης, ένας χώρος βελτιστοποίησης μπορεί να περιέχει συνδυασμούς αξίας που επιτελούν καλύτερα ή χειρότερα. Ακόμα και όταν βρείτε έναν καλό συνδυασμό, δεν είστε βέβαιοι ότι είναι η καλύτερη επιλογή. (Αυτό είναι το πρόβλημα της προσκόλλησης στα τοπικά ελάχιστα όταν ελαχιστοποιείται το σφάλμα.)

Ως πρακτικός τρόπος επίλυσης αυτού του προβλήματος, ο καλύτερος τρόπος επαλήθευσης των υπερπαραμέτρων για έναν αλγόριθμο που εφαρμόζεται σε συγκεκριμένα δεδομένα είναι η δοκιμή όλων την εγκυρότητα και την επιλογή του καλύτερου συνδυασμού. Αυτή η απλή προσέγγιση, που ονομάζεται δικτυακή αναζήτηση, προσφέρει αναμφισβήτητα πλεονεκτήματα επιτρέποντάς σας να δοκιμάσετε το εύρος των πιθανών τιμών για να εισαγάγετε συστηματικά στον αλγόριθμο και να εντοπίσετε πότε συμβαίνει το γενικό ελάχιστο.

Από την άλλη πλευρά, η αναζήτηση δικτύου έχει και σοβαρά μειονεκτήματα επειδή είναι υπολογιστικά εντατική (μπορείτε να εκτελέσετε εύκολα αυτό το έργο παράλληλα σε σύγχρονους υπολογιστές πολλαπλών υπολογιστών) και αρκετά χρονοβόρες. Επιπλέον, οι συστηματικές και εντατικές δοκιμές ενισχύουν τη δυνατότητα εμφάνισης σφαλμάτων, διότι ορισμένα καλά αλλά ψεύτικα αποτελέσματα επικύρωσης μπορούν να προκληθούν από το θόρυβο που υπάρχει στο σύνολο δεδομένων.

Υπάρχουν διαθέσιμες ορισμένες εναλλακτικές λύσεις για την αναζήτηση δικτύου. Αντί να δοκιμάσετε τα πάντα, μπορείτε να δοκιμάσετε να διερευνήσετε το χώρο των πιθανών υπερπαραμετρικών τιμών που καθοδηγούνται από υπολογιστικές, βαριές και μαθηματικά πολύπλοκες μη γραμμικές τεχνικές βελτιστοποίησης (όπως η μέθοδος Nelder-Mead), χρησιμοποιώντας Bayesian προσέγγιση (όπου ο αριθμός των δοκιμών ελαχιστοποιείται λαμβάνοντας πλεονέκτημα προηγούμενων αποτελεσμάτων) ή χρησιμοποιώντας τυχαία αναζήτηση.

Εκπληκτικά, η τυχαία αναζήτηση λειτουργεί απίστευτα καλά, είναι απλή στην κατανόησή της και δεν βασίζεται μόνο στην τυφλή τύχη, αν και μπορεί αρχικά να φαίνεται. Στην πραγματικότητα, το κύριο σημείο της τεχνικής είναι ότι αν επιλέξετε αρκετές τυχαίες δοκιμές, έχετε στην πραγματικότητα αρκετές δυνατότητες να εντοπίσετε τις σωστές παραμέτρους χωρίς να σπαταλάτε ενέργεια όταν δοκιμάζετε ελαφρώς διαφορετικούς συνδυασμούς παρομοίων συνδυασμών.

Η παρακάτω γραφική παράσταση εξηγεί γιατί η τυχαία αναζήτηση λειτουργεί καλά. Μια συστηματική εξερεύνηση, αν και χρήσιμη, τείνει να δοκιμάζει κάθε συνδυασμό, που μετατρέπεται σε σπατάλη ενέργειας εάν κάποιες παράμετροι δεν επηρεάζουν το αποτέλεσμα. Μια τυχαία αναζήτηση δοκιμάζει πραγματικά λιγότερους συνδυασμούς αλλά περισσότερο στην περιοχή κάθε υπερπαραμέτρου, μια στρατηγική που αποδεικνύει τη νίκη αν, όπως συμβαίνει συχνά, ορισμένες παράμετροι είναι πιο σημαντικές από άλλες.

Συγκρίνοντας την αναζήτηση δικτύου με τυχαία αναζήτηση.

Για τυχαία αναζήτηση για καλή απόδοση, θα πρέπει να κάνετε από 15 έως 60 δοκιμές κατ 'ανώτατο όριο. Έχει νόημα να καταφεύγουμε σε τυχαία αναζήτηση εάν μια αναζήτηση δικτύου απαιτεί μεγαλύτερο αριθμό πειραμάτων.