Ανάλυση κοινωνικού συναίσθηματος με Hadoop - ανδρείκελα

Η ανάλυση κοινωνικού συναίσθηματος είναι εύκολα η πιο υπερβολική η χρήση του Hadoop, η οποία δεν πρέπει να αποτελεί έκπληξη, δεδομένου ότι ο κόσμος συνδέεται συνεχώς και ο σημερινός εκφραστικός πληθυσμός. Αυτή η περίπτωση χρήσης αξιοποιεί περιεχόμενο από φόρουμ, ιστολόγια και άλλους πόρους των κοινωνικών μέσων ενημέρωσης για να αναπτύξει μια αίσθηση του τι κάνουν οι άνθρωποι (για παράδειγμα, γεγονότα ζωής) και πώς αντιδρούν στον κόσμο γύρω τους (συναίσθημα).

Επειδή τα δεδομένα που βασίζονται σε κείμενο δεν ταιριάζουν φυσικά σε μια σχεσιακή βάση δεδομένων, το Hadoop είναι ένα πρακτικό μέρος για να εξερευνήσετε και να εκτελέσετε αναλυτικά δεδομένα.

Η γλώσσα είναι δύσκολο να ερμηνευτεί, ακόμη και για τα ανθρώπινα όντα κατά καιρούς - ειδικά αν διαβάζετε κείμενο γραμμένο από ανθρώπους σε μια κοινωνική ομάδα που είναι διαφορετική από τη δική σας. Αυτή η ομάδα ανθρώπων ίσως μιλάει τη γλώσσα σας, αλλά οι εκφράσεις και το στυλ τους είναι εντελώς ξένες, επομένως δεν έχετε ιδέα αν μιλάνε για μια καλή εμπειρία ή για μια κακή.

βόμβα σε σχέση με μια ταινία, μπορεί να σημαίνει ότι η ταινία ήταν κακή (ή καλή, εάν είστε μέρος της νεολαίας κίνημα που ερμηνεύει "Είναι η βόμβα da" ως φιλοφρόνηση)? φυσικά, αν βρίσκεστε στην επιχείρηση ασφάλειας αερομεταφορών, η λέξη βόμβα έχει πολύ διαφορετική σημασία. Το θέμα είναι ότι η γλώσσα χρησιμοποιείται με πολλούς μεταβλητούς τρόπους και συνεχώς εξελίσσεται. Όταν αναλύετε το συναίσθημα στα κοινωνικά μέσα, μπορείτε να επιλέξετε από πολλές προσεγγίσεις. Η βασική μέθοδος αναλύει προγραμματικά το κείμενο, εξάγει συμβολοσειρές και εφαρμόζει κανόνες. Σε απλές καταστάσεις, αυτή η προσέγγιση είναι εύλογη. Αλλά καθώς οι απαιτήσεις εξελίσσονται και οι κανόνες γίνονται πιο περίπλοκοι, η χειροκίνητη κωδικοποίηση των εξερχόμενων κειμένων γρήγορα δεν γίνεται πλέον εφικτή από την άποψη της συντήρησης κώδικα, ειδικά για τη βελτιστοποίηση της απόδοσης.

Οι προσεγγίσεις γραμματικής και κανόνων που βασίζονται στην επεξεργασία κειμένων είναι υπολογιστικά ακριβές, γεγονός που αποτελεί σημαντικό παράγοντα για την εξαγωγή μεγάλης κλίμακας στο Hadoop. Όσο περισσότερο εμπλέκονται οι κανόνες (κάτι που είναι αναπόφευκτο για σύνθετους σκοπούς, όπως η εξαγωγή συναισθημάτων), τόσο περισσότερη επεξεργασία χρειάζεται.

Εναλλακτικά, μια προσέγγιση βασισμένη στα στατιστικά στοιχεία γίνεται όλο και συχνότερη για την ανάλυση του συναισθήματος. Αντί να γράφετε με πολλούς πολλούς περίπλοκους κανόνες, μπορείτε να χρησιμοποιήσετε τα μοντέλα μηχανικής μάθησης με βάση την ταξινόμηση στο Apache Mahout. Το αλίευμα εδώ είναι ότι θα χρειαστεί να εκπαιδεύσετε τα μοντέλα σας με παραδείγματα θετικού και αρνητικού αισθήματος. Τα περισσότερα στοιχεία εκπαίδευσης που παρέχετε (για παράδειγμα, κείμενο από τα tweets και την ταξινόμησή σας), τόσο ακριβέστερα τα αποτελέσματά σας.

Η περίπτωση χρήσης για την ανάλυση του κοινωνικού συναίσθηματος μπορεί να εφαρμοστεί σε ένα ευρύ φάσμα βιομηχανιών. Για παράδειγμα, εξετάστε την ασφάλεια των τροφίμων: Προσπαθείτε να προβλέψετε ή να εντοπίσετε το ξέσπασμα τροφιμογενών ασθενειών το συντομότερο δυνατόν είναι εξαιρετικά σημαντική για τους υπαλλήλους της υγειονομικής περίθαλψης.

Το παρακάτω σχήμα δείχνει μια εφαρμογή Hadoop-anchored που καταναλώνει tweets χρησιμοποιώντας απορροφητήρες που βασίζονται στην πιθανή ασθένεια: FLU ή FOOD TEISING.

Βλέπετε τον παραγόμενο χάρτη θερμότητας που δείχνει τη γεωγραφική θέση των tweets; Ένα χαρακτηριστικό των δεδομένων σε έναν κόσμο μεγάλων δεδομένων είναι ότι το μεγαλύτερο μέρος του είναι

εμπλουτισμένο στο χώρο: Διαθέτει πληροφορίες για την τοποθεσία (και χρονικά χαρακτηριστικά). Σε αυτήν την περίπτωση, το προφίλ Twitter δημιουργήθηκε με αντίστροφη μηχανική ανεύρεση της δημοσιευμένης θέσης. Όπως αποδεικνύεται, πολλοί λογαριασμοί Twitter έχουν γεωγραφικές τοποθεσίες ως μέρος των δημόσιων προφίλ τους (καθώς και αποποιήσεις ευθύνης που δηλώνουν σαφώς ότι οι σκέψεις τους είναι δικές τους σε αντίθεση με την ομιλία για τους εργοδότες τους).

Πόσο καλός μηχανισμός πρόβλεψης μπορεί να είναι τα κοινωνικά μέσα για το ξέσπασμα της γρίπης ή για ένα περιστατικό τροφικής δηλητηρίασης; Εξετάστε τα δείγματα ανώνυμων δειγμάτων που εμφανίζονται. Μπορείτε να δείτε ότι τα μηνύματα των κοινωνικών μέσων μαζεύτηκαν όλους τους άλλους δείκτες για την πρόβλεψη μιας επιδημίας γρίπης σε μια συγκεκριμένη περιφέρεια του U. S. κατά τη διάρκεια του τέλους του καλοκαιριού και στις αρχές του φθινοπώρου.

Αυτό το παράδειγμα παρουσιάζει ένα άλλο πλεονέκτημα που προκύπτει από την ανάλυση των κοινωνικών μέσων: Σας δίνει μια άνευ προηγουμένου ευκαιρία να εξετάσουμε πληροφορίες χαρακτηριστικών στα προφίλ των αφισών. Χάρη, οι άνθρωποι που λένε για τον εαυτό τους στα προφίλ τους στο Twitter είναι συχνά ελλιπείς (για παράδειγμα, ο κωδικός τοποθεσίας δεν συμπληρώνεται) ή δεν έχει νόημα (ο κωδικός τοποθεσίας μπορεί να λέει

νέφος νέος ). Αλλά μπορείτε να μάθετε πολλά για τους ανθρώπους με την πάροδο του χρόνου, με βάση αυτό που λένε. Για παράδειγμα, ένας πελάτης μπορεί να έχει

tweeted (δημοσιεύτηκε στο Twitter) την ανακοίνωση της γέννησης του μωρού της, μια εικόνα Instagram της τελευταίας ζωγραφικής ή μια ανάρτηση στο Facebook δηλώνοντας ότι δεν μπορεί να πιστέψει τη συμπεριφορά του Walter White στο τελευταίο βράδυ Breaking Bad τελικό. Σε αυτό το πανταχού παρόν παράδειγμα, η επιχείρησή σας μπορεί να εξάγει ένα συμβάν ζωής που φιλοξενεί ένα οικογενειακό γράφημα (ένα νέο παιδί είναι μια πολύτιμη ενημέρωση για ένα προφίλ Master Data Management με βάση το άτομο), ένα χόμπι (ζωγραφική) (αγαπάς την εκπομπή

Breaking Bad ). Με την ανάλυση των κοινωνικών δεδομένων με αυτόν τον τρόπο, έχετε την ευκαιρία να επεξεργαστείτε προσωπικές ιδιότητες με πληροφορίες όπως χόμπι, γενέθλια, γεγονότα ζωής, γεωγραφικές τοποθεσίες (π.χ. χώρα, πολιτεία και πόλη), εργοδότη, φύλο, την κατάσταση και πολλά άλλα.

Υποθέστε για ένα λεπτό ότι είστε ο CIO μιας αεροπορικής εταιρείας. Μπορείτε να χρησιμοποιήσετε τις αναρτήσεις ευχαριστημένων ή θυμωμένων συχνών ταξιδιωτών όχι μόνο για να διαπιστώσετε το συναίσθημα αλλά και για να ολοκληρώσετε τα προφίλ πελατών για το πρόγραμμα αφοσίωσής σας χρησιμοποιώντας πληροφορίες κοινωνικών μέσων ενημέρωσης.

Φανταστείτε πόσο καλύτερα θα μπορούσατε να στοχεύσετε πιθανούς πελάτες με τις πληροφορίες που μόλις μοιράστηκαν - για παράδειγμα, ένα μήνυμα ηλεκτρονικού ταχυδρομείου που λέει στον πελάτη ότι η Season 5 του

Breaking Bad είναι πλέον διαθέσιμη στο σύστημα μέσων ενημέρωσης του αεροσκάφους ή ανακοινώνοντας ότι τα παιδιά ηλικίας κάτω των δύο ετών πετούν δωρεάν. Είναι επίσης ένα καλό παράδειγμα του τρόπου με τον οποίο τα συστήματα εγγραφής (π.χ. πωλήσεις ή βάσεις δεδομένων συνδρομών) μπορούν να ανταποκριθούν στα συστήματα εμπλοκής (πχ. Κανάλια υποστήριξης). Αν και η αποπληρωμή των μελών της πίστης και το ιστορικό ταξιδιών είναι σε μια σχεσιακή βάση δεδομένων, το σύστημα εμπλοκής μπορεί να ενημερώνει τα αρχεία (για παράδειγμα, μια στήλη).