Εικόνα Η ταξινόμηση με Hadoop - dummies

ένα σημαντικό μέρος των πόρων επεξεργασίας δεδομένων, ωστόσο, που έχει περιορίσει την κλίμακα των αναπτύξεων. Η ταξινόμηση των εικόνων είναι ένα καυτό θέμα στον κόσμο του Hadoop, διότι δεν υπήρχε καμία γενική τεχνολογία - μέχρι να φτάσει ο Hadoop - να ανοίξει πόρτες για αυτό το είδος δαπανηρής επεξεργασίας σε μια τέτοια τεράστια και αποδοτική κλίμακα.

Η ταξινόμηση των εικόνων ξεκινάει με την ιδέα ότι δημιουργείτε ένα σετ εκπαίδευσης και ότι οι υπολογιστές μαθαίνουν να προσδιορίζουν και να ταξινομούν τι ψάχνουν. Με τον ίδιο τρόπο που η παροχή περισσότερων δεδομένων συμβάλλει στη δημιουργία καλύτερων μοντέλων ανίχνευσης και κινδύνων απάτης, βοηθά επίσης τα συστήματα να ταξινομήσουν καλύτερα τις εικόνες.

Σε αυτή τη περίπτωση χρήσης, τα δεδομένα αναφέρονται ως σύνολο εκπαίδευσης καθώς και τα μοντέλα είναι ταξινομητές. Οι ταξινομητές αναγνωρίζουν χαρακτηριστικά ή μοτίβα μέσα στον ήχο, την εικόνα ή το βίντεο και τα ταξινομούν κατάλληλα. Οι ταξινομητές είναι κατασκευασμένοι και επαναδιευθετημένοι από εκπαιδευτικά σετ έτσι ώστε οι βαθμολογίες ακρίβειας τους (μέτρηση ακρίβειας) και οι βαθμολογίες ανάκλησης (ένα μέτρο κάλυψης) να είναι υψηλές.

Η Hadoop είναι κατάλληλη για την ταξινόμηση εικόνων, επειδή παρέχει ένα περιβάλλον μαζικής παράλληλης επεξεργασίας όχι μόνο για τη δημιουργία μοντέλων ταξινομητή (iterating over sets training) αλλά και για σχεδόν απεριόριστη δυνατότητα κλιμάκωσης για να επεξεργαστεί και να εκτελέσει αυτούς τους ταξινομητές σε μαζικές ομάδες μη δομημένων όγκων δεδομένων.

Εξετάστε πηγές πολυμέσων όπως το YouTube, το Facebook, το Instagram και το Flickr - όλες είναι πηγές μη δομημένων δυαδικών δεδομένων. Το σχήμα δείχνει έναν τρόπο με τον οποίο μπορείτε να χρησιμοποιήσετε τον Hadoop για να κλιμακώσετε την επεξεργασία μεγάλων όγκων αποθηκευμένων εικόνων και βίντεο για τη σημασιολογική ταξινόμηση των πολυμέσων.

Μπορείτε να δείτε πώς όλες οι έννοιες που σχετίζονται με το πλαίσιο επεξεργασίας Hadoop εφαρμόζονται σε αυτά τα δεδομένα. Παρατηρήστε πώς οι εικόνες φορτώνονται σε HDFS. Τα μοντέλα ταξινομητών, που χτίστηκαν με την πάροδο του χρόνου, εφαρμόζονται τώρα στα πρόσθετα στοιχεία χαρακτηριστικών εικόνας στη φάση Χάρτης αυτής της λύσης. Όπως μπορείτε να δείτε στην κάτω δεξιά γωνία, η έξοδος αυτής της επεξεργασίας αποτελείται από ταξινομήσεις εικόνων που κυμαίνονται από κινούμενα σχέδια μέχρι αθλήματα και τοποθεσίες, μεταξύ άλλων.

Hadoop μπορεί να χρησιμοποιηθεί και για ηχητικές ή φωνητικές αναλύσεις. Ένας πελάτης της βιομηχανίας ασφάλειας με τον οποίο εργαζόμαστε δημιουργεί ένα σύστημα ηχητικής ταξινόμησης για να ταξινομεί τους ήχους που ακούγονται μέσω καλωδίων οπτικών ινών εμπλουτισμένων με ακουστική που βρίσκονται γύρω από την περίμετρο των πυρηνικών αντιδραστήρων.

Για παράδειγμα, αυτό το σύστημα ξέρει να ταξινομεί σχεδόν ακαριαία τον ψίθυρο του ανέμου σε σύγκριση με τον ψίθυρο μιας ανθρώπινης φωνής ή να διακρίνει τον ήχο των ανθρώπινων βημάτων που τρέχουν στα περίχωρα πάρκων από αυτά της άγριας πανίδας.

Αυτή η περιγραφή μπορεί να έχει κάποιο είδος Star Trek , αλλά τώρα μπορείτε να δείτε ζωντανά παραδείγματα. Στην πραγματικότητα, η IBM δημοσιεύει ένα από τα μεγαλύτερα συστήματα ταξινόμησης εικόνων στον κόσμο μέσω του IBM Multimedia Analysis and Retrieval System (IMARS).

Εδώ είναι το αποτέλεσμα αναζήτησης IMARS για τον όρο αλπικό σκι. Στην κορυφή του σχήματος, μπορείτε να δείτε τα αποτελέσματα των ταξινομητών που έχουν αντιστοιχιστεί στο σύνολο εικόνων που επεξεργάστηκε ο Hadoop, μαζί με ένα σχετικό σύννεφο ετικετών.

Σημειώστε τον πιο κλασσικό γονικό ταξινομητή, σε αντίθεση με τον πιο κοκκώδη. Στην πραγματικότητα, παρατηρήστε τις πολλαπλές βαθμίδες ταξινόμησης: κυλίνδρων σε, οι οποίες κυλούν σε - όλες δημιουργούνται αυτόματα από το μοντέλο ταξινομητή, χτίστηκε και βαθμολογήθηκε χρησιμοποιώντας Hadoop.

Καμία από αυτές τις εικόνες δεν έχει μεταδεδομένα. Κανείς δεν έχει ανοίξει το iPhoto και έχει επισημάνει μια εικόνα ως χειμερινό άθλημα για να εμφανιστεί σε αυτήν την ταξινόμηση. Είναι ο ταξινομητής του χειμερινού αθλήματος που δημιουργήθηκε για να αναγνωρίζει τα χαρακτηριστικά εικόνας και τα χαρακτηριστικά των αθλημάτων που παίζονται σε χειμερινό περιβάλλον.

Η ταξινόμηση εικόνων έχει πολλές εφαρμογές και είναι σε θέση να εκτελέσει αυτή την ταξινόμηση σε τεράστια κλίμακα χρησιμοποιώντας το Hadoop ανοίγει περισσότερες δυνατότητες ανάλυσης καθώς άλλες εφαρμογές μπορούν να χρησιμοποιήσουν τις πληροφορίες ταξινόμησης που δημιουργούνται για τις εικόνες.

Δείτε αυτό το παράδειγμα από τον κλάδο της υγείας. Ένα μεγάλο πρακτορείο υγείας στην Ασία επικεντρώθηκε στην παροχή υγειονομικής περίθαλψης μέσω κινητών κλινικών σε αγροτικό πληθυσμό κατανεμημένο σε μεγάλη μάζα γης. Ένα σημαντικό πρόβλημα που αντιμετώπιζε ο οργανισμός ήταν η υλικοτεχνική πρόκληση της ανάλυσης των δεδομένων ιατρικής απεικόνισης που δημιουργήθηκαν στις κινητές του κλινικές.

Ένας ακτινολόγος είναι ένας σπάνιος πόρος σε αυτό το μέρος του κόσμου, οπότε έχει νόημα να μεταδίδει ηλεκτρονικά τις ιατρικές εικόνες σε ένα κεντρικό σημείο και να τους εξετάζει ένας στρατός ιατρών. Ωστόσο, οι γιατροί που εξετάζουν τις εικόνες γρήγορα επιβαρύνθηκαν.

Ο οργανισμός επεξεργάζεται τώρα ένα σύστημα ταξινόμησης που βοηθά στον εντοπισμό πιθανών συνθηκών για την αποτελεσματική παροχή προτάσεων στους γιατρούς για επαλήθευση. Οι πρώιμοι έλεγχοι έδειξαν ότι η στρατηγική αυτή συμβάλλει στη μείωση του αριθμού των χαμένων ή ανακριβών διαγνώσεων, εξοικονομώντας χρόνο, χρήμα και - πάνω απ 'όλα - ζωές.