Ανάλυση και Τεχνικές Εξόρυξης για Μεγάλα Δεδομένα

Γενικά, οι λύσεις αναλυτικής γραφής για μεγάλα δεδομένα χρησιμοποιούν συνδυασμό τεχνικών στατιστικής και NLP για την εξαγωγή πληροφοριών από μη δομημένα δεδομένα. Το NLP είναι ένα ευρύ και σύνθετο πεδίο που έχει αναπτυχθεί τα τελευταία 20 χρόνια.

Ένας πρωταρχικός στόχος του NLP είναι να αποκτήσει νόημα από το κείμενο. Η επεξεργασία φυσικής γλώσσας χρησιμοποιεί γενικά γλωσσικές έννοιες όπως γραμματικές δομές και τμήματα λόγου. Συχνά, η ιδέα πίσω από αυτό το είδος αναλυτικών στοιχείων είναι να προσδιοριστεί ποιος έκανε τι σε ποιον, πότε, πού, πώς και γιατί.

Η NLP εκτελεί ανάλυση σε κείμενο σε διαφορετικά επίπεδα:

• Η λεκτική / μορφολογική ανάλυση εξετάζει τα χαρακτηριστικά μιας μεμονωμένης λέξης- συμπεριλαμβανομένων προθημάτων, επιθημάτων, ριζών και τμημάτων ομιλίας ρήμα, επίθετο και ούτω καθεξής) - πληροφορίες που θα συμβάλλουν στην κατανόηση του όρου της λέξης στο πλαίσιο του παρεχόμενου κειμένου. Η λεκτική ανάλυση εξαρτάται από ένα λεξικό, τον θησαυρό ή οποιαδήποτε λίστα λέξεων που παρέχει πληροφορίες για αυτές τις λέξεις.

• Η σύντακτη ανάλυση χρησιμοποιεί γραμματική δομή για να αναλύσει το κείμενο και να βάλει τις λέξεις στο πλαίσιο. Εδώ διευρύνετε το βλέμμα σας από μια μόνο λέξη στη φράση ή στην πλήρη πρόταση. Αυτό το βήμα μπορεί να διαγράφει τη σχέση μεταξύ των λέξεων (γραμματική) ή να αναζητά ακολουθίες λέξεων που σχηματίζουν σωστές προτάσεις ή για ακολουθίες αριθμών που αντιπροσωπεύουν ημερομηνίες ή νομισματικές αξίες.

• Η σημασιολογική ανάλυση καθορίζει τις πιθανές έννοιες μιας φράσης. Αυτό μπορεί να περιλαμβάνει την εξέταση της λέξης και της διάρθρωσης της φράσης και την αποσαφήνιση των λέξεων με τη συσχέτιση της σύνταξης που βρίσκεται στις φράσεις, τις προτάσεις και τις παραγράφους.

• Η ανάλυση του επιπέδου του λόγου επιχειρεί να προσδιορίσει την έννοια του κειμένου πέρα ​​από το επίπεδο προτάσεων.

Ορισμένες τεχνικές, σε συνδυασμό με άλλες στατιστικές ή γλωσσικές τεχνικές για την αυτοματοποίηση της σήμανσης και της σήμανσης εγγράφων κειμένου, μπορούν να εξάγουν τα παρακάτω είδη πληροφοριών:

Όροι:

• Άλλο όνομα για λέξεις-κλειδιά. Οντότητες:

• Συχνά ονομάζονται ονομαζόμενες οντότητες , είναι συγκεκριμένα παραδείγματα αφαίρεσης. Παραδείγματα είναι ονόματα ατόμων, ονόματα εταιρειών, γεωγραφικές τοποθεσίες, πληροφορίες επικοινωνίας, ημερομηνίες, ώρες, νομίσματα, τίτλοι και θέσεις κ.ο.κ. Για παράδειγμα, το αναλυτικό λογισμικό κειμένου μπορεί να εξαγάγει την οντότητα Jane Doe ως άτομο που αναφέρεται στο κείμενο που αναλύεται. Η οντότητα 3 Μαρτίου 2007 μπορεί να εξαχθεί ως ημερομηνία και ούτω καθεξής. Στοιχεία:

• Επίσης ονομάζονται σχέσεις , τα γεγονότα υποδεικνύουν το ποιος / τι / τι σχέση μεταξύ δύο οντοτήτων. John Smith είναι ο διευθύνων σύμβουλος της εταιρείας Y και η ασπιρίνη μειώνει τον πυρετό είναι παραδείγματα γεγονότων. Εκδηλώσεις:

• Ενώ μερικοί εμπειρογνώμονες χρησιμοποιούν τους όρους γεγονός και δηλώνοντας ότι τα γεγονότα συνήθως περιέχουν μια χρονική διάσταση και συχνά προκαλούν αλλαγές στα γεγονότα. Παραδείγματα περιλαμβάνουν μια αλλαγή στη διοίκηση μιας εταιρείας ή την κατάσταση της διαδικασίας πώλησης. Έννοιες: Αυτά είναι σύνολα λέξεων και φράσεων που υποδεικνύουν μια συγκεκριμένη ιδέα ή θέμα με το οποίο ενδιαφέρεται ο χρήστης. Για παράδειγμα, η έννοια

• δυστυχισμένος πελάτης μπορεί να περιλαμβάνει τις λέξεις θυμωμένος, απογοητευμένος, και σύγχυση και οι φράσεις και σπατάλη χρημάτων - μεταξύ πολλών άλλων. Έτσι, η έννοια δυσαρεστημένος πελάτης μπορεί να εξαχθεί χωρίς τις λέξεις δυστυχισμένοι ή πελάτης που εμφανίζονται στο κείμενο. Συναισθήματα: Η ανάλυση αισθήσεων χρησιμοποιείται για τον εντοπισμό ορών ή συναισθημάτων στο υποκείμενο κείμενο. Ορισμένες τεχνικές το κάνουν αυτό με την ταξινόμηση του κειμένου ως, για παράδειγμα, υποκειμενική (άποψη) ή αντικειμενική (πραγματικότητα), χρησιμοποιώντας μηχανικές μάθησης ή τεχνικές NLP. Η ανάλυση των αισθήσεων έχει γίνει πολύ δημοφιλής στις εφαρμογές φωνής του πελάτη.

• Μεγάλη ταξινόμηση δεδομένων Οι ταξινομίες είναι συχνά κρίσιμες για την ανάλυση των κειμένων. Μια ταξινόμηση

είναι μια μέθοδος για την οργάνωση πληροφοριών σε ιεραρχικές σχέσεις. Μερικές φορές αναφέρεται ως τρόπος οργάνωσης κατηγοριών. Επειδή μια ταξινομία ορίζει τις σχέσεις μεταξύ των όρων που χρησιμοποιεί μια επιχείρηση, καθιστά ευκολότερη την εύρεση και μετά την ανάλυση του κειμένου. Για παράδειγμα, ένας πάροχος τηλεπικοινωνιακών υπηρεσιών προσφέρει τόσο ενσύρματη όσο και ασύρματη υπηρεσία. Μέσα στην ασύρματη υπηρεσία, η εταιρεία μπορεί να υποστηρίξει κινητά τηλέφωνα και πρόσβαση στο Internet. Η εταιρεία μπορεί στη συνέχεια να έχει δύο ή περισσότερους τρόπους κατηγοριοποίησης υπηρεσιών κινητής τηλεφωνίας, όπως σχέδια και τύπους τηλεφώνου. Η ταξινόμηση θα μπορούσε να φτάσει μέχρι τα μέρη του ίδιου του τηλεφώνου. Οι ταξινομίες μπορούν επίσης να χρησιμοποιούν συνώνυμα και εναλλακτικές εκφράσεις, αναγνωρίζοντας ότι το κινητό τηλέφωνο, το κινητό τηλέφωνο και το κινητό τηλέφωνο είναι το ίδιο. Αυτές οι ταξινομίες μπορούν να είναι αρκετά περίπλοκες και μπορεί να διαρκέσουν πολύ για να αναπτυχθούν.