Προσωπικά Οικονομικά

Ανίχνευση απάτης με Hadoop - ανδρείκελα

Ο όγκος των συναλλαγών καθιστά πιο δύσκολο να εντοπιστεί η απάτη λόγω του όγκου των δεδομένων, ειρωνικά, αυτή η ίδια πρόκληση μπορεί να βοηθήσει στη δημιουργία καλύτερων προγνωστικών μοντέλων απάτης - μιας περιοχής στην οποία λάμπει ο Hadoop. Στον σημερινό διασυνδεδεμένο κόσμο, ο τεράστιος όγκος και η πολυπλοκότητα των συναλλαγών δυσκολεύει περισσότερο από ποτέ να βρει απάτη. Τι χρησιμοποιείται ...

Επεξεργασία < < Η επεξεργασία σε Hadoop - dummies

Μία από τις πιο συναρπαστικές τεχνολογίες NoSQL που αφορούν την αποθήκευση και επεξεργασία δεδομένων γραφημάτων. Ίσως να πιστεύετε ότι αυτή η δήλωση είναι παλιά νέα επειδή οι επιστήμονες υπολογιστών έχουν αναπτύξει τεχνικές ανάλυσης γραφημάτων εδώ και δεκαετίες. Αυτό που λέτε μπορεί να είναι αληθινό, αλλά αυτό που είναι νέο είναι ότι χρησιμοποιώντας το Hadoop, μπορείτε να κάνετε γράφημα ...

Ομοσπονδία < < Hadoop Ομοσπονδία κατακερματισμένων συστημάτων αρχείων (HDFS)

Hadoop Κατανεμημένο σύστημα αρχείων (HDFS) Υψηλή διαθεσιμότητα

Hadoop ως Μηχανή Προεπεξεργασίας Δεδομένων - dummies

Μία από τις πρώτες περιπτώσεις χρήσης για την Hadoop στην επιχείρηση ήταν προγραμματική μηχανή μετασχηματισμού που χρησιμοποιείται για την προεπεξεργασία των δεδομένων που προορίζονται για μια αποθήκη δεδομένων. Ουσιαστικά, αυτή η περίπτωση χρήσης εκμεταλλεύεται τη δύναμη του οικοσυστήματος Hadoop να χειρίζεται και να εφαρμόζει μετασχηματισμούς σε δεδομένα προτού φορτωθεί σε μια αποθήκη δεδομένων. Αν και ο πραγματικός μετασχηματισμός ...

Αρχειοθετημένο Αρχείο Cold Warehouse Data - dummies

Πολλές μελέτες δείχνουν ότι τα περισσότερα δεδομένα σε μια αποθήκη δεδομένων των επιχειρήσεων σπάνια διερωτάται. Οι προμηθευτές βάσης δεδομένων έχουν ανταποκριθεί σε τέτοιες παρατηρήσεις εφαρμόζοντας τις δικές τους μεθόδους για να διαχωρίσουν ποια δεδομένα τοποθετούνται εκεί. Μερικές μέθοδοι παραγγέλλουν το σύμπαν δεδομένων σε ονομασίες ζεστού, ζεστού ή ψυχρού, όπου τα ζεστά δεδομένα (μερικές φορές αποκαλούνται ενεργά ...

Ηχοπερατότητα ως προορισμός δεδομένων αρχειοθέτησης - ανδρείκελα

Το φθηνό κόστος αποθήκευσης για το Hadoop συν τη δυνατότητα αναζήτησης δεδομένων Hadoop με την SQL καθιστά τον Hadoop τον πρωταρχικό προορισμό για αρχειακά δεδομένα. Αυτή η περίπτωση χρήσης έχει μικρή επίδραση στον οργανισμό σας, επειδή μπορείτε να αρχίσετε να δημιουργείτε τις ικανότητές σας Hadoop σε δεδομένα που δεν είναι αποθηκευμένα σε συστήματα κρίσιμης απόδοσης. Επιπλέον, δεν έχετε ...

Εντολές διαχείρισης Hadoop - dummies

Κάθε διαχειριστής του Hadoop που αξίζει το αλάτι του πρέπει να κατέχει ένα πλήρες σύνολο εντολών για τη διοίκηση συμπλεγμάτων. Η παρακάτω λίστα συνοψίζει τις πιο σημαντικές εντολές, υποδεικνύοντας τι κάνει η εντολή καθώς και σύνταξη και παραδείγματα. Γνωρίστε τους, και θα προχωρήσετε πολύ μακριά κατά μήκος της διαδρομής προς Hadoop σοφία. balancer: Εκτελεί το βοηθητικό πρόγραμμα εξισορρόπησης συμπλέγματος. ...

Hadoop Κατανεμημένο Σύστημα Αρχείων (HDFS) για Μεγάλα Έργα Δεδομένων

Hadoop MapReduce για μεγάλα δεδομένα - dummies

Για να κατανοήσουμε πλήρως τις δυνατότητες του Hadoop MapReduce, είναι σημαντικό να διαφοροποιήσετε το MapReduce ο αλγόριθμος) και μια εφαρμογή του MapReduce. Hadoop MapReduce είναι μια εφαρμογή του αλγορίθμου που αναπτύχθηκε και συντηρείται από το έργο Apache Hadoop. Είναι χρήσιμο να σκεφτούμε την εφαρμογή ως μηχανισμό MapReduce, γιατί ακριβώς έτσι ...

Hadoop Ενσωμάτωση με R-dummies

Προγραμματισμός <[SET:titleel]Hadoop Ενσωμάτωση με R-dummies

Πώς να πάρετε Apache Oozie Ρύθμιση σε Hadoop - dummies

Apache Oozie περιλαμβάνεται σε κάθε μεγάλη Hadoop συμπεριλαμβανομένης της Apache Bigtop. Στο σύμπλεγμα Hadoop, εγκαταστήστε το διακομιστή Oozie σε έναν κόμβο ακμής, όπου θα εκτελέσετε και άλλες εφαρμογές πελάτη ενάντια στα δεδομένα του συμπλέγματος, όπως φαίνεται. Οι κόμβοι των άκρων είναι σχεδιασμένοι να αποτελούν πύλη για το εξωτερικό δίκτυο στο σύμπλεγμα Hadoop. Αυτό το ...

Εισαγωγής δεδομένων με Sqoop - ανδρείκελα

Έτοιμο να βουτήξει στην εισαγωγή δεδομένων με το Sqoop; Ξεκινήστε ρίχνοντας μια ματιά στο σχήμα, το οποίο απεικονίζει τα βήματα σε μια τυπική διαδικασία εισαγωγής Sqoop από ένα RDBMS ή ένα σύστημα αποθήκης δεδομένων. Τίποτα δεν είναι πολύ περίπλοκο εδώ - απλά ένας τυπικός πίνακας στοιχείων προϊόντων από μια (τυπική) φανταστική εταιρεία που εισάγεται σε μια τυπική ...

Εικόνα Η ταξινόμηση με Hadoop - dummies

Ταξινόμηση εικόνων απαιτεί σημαντική ποσότητα πόρων επεξεργασίας δεδομένων, των εφαρμογών. Η ταξινόμηση των εικόνων είναι ένα καυτό θέμα στον κόσμο του Hadoop, επειδή δεν υπήρχε καμία βασική τεχνολογία - μέχρι να φτάσει ο Hadoop - να ανοίξουν πόρτες για τέτοιου είδους δαπανηρή επεξεργασία σε τόσο μαζική και αποδοτική ...

Εισαγωγή Αποκλεισμός σε Mapredduce του Hadoop - dummies

Ο HDFS έχει ρυθμιστεί, (για παράδειγμα, μέτρηση 128MB) και αποθηκεύει τρία αντίγραφα αυτών των μπλοκ σε διαφορετικούς κόμβους του συμπλέγματος. Το HDFS δεν έχει επίγνωση του περιεχομένου αυτών των αρχείων. Στο YARN, όταν ξεκινήσει μια εργασία MapReduce, ο Διαχειριστής Πόρων (...

Που συνδυάζετε τους πίνακες με το Hive-dummies

Πιθανόν να γνωρίζετε ήδη ότι οι ειδικοί σε μοντέλα σχεδίασης σχεσιακών βάσεων δεδομένων σχεδιασμό κανονικοποιημένων βάσεων δεδομένων ή σχημάτων. Η εξομάλυνση της βάσης δεδομένων είναι μια τεχνική που προστατεύει από την απώλεια δεδομένων, την απόλυση και άλλες ανωμαλίες καθώς τα δεδομένα ενημερώνονται και ανακτώνται. Οι εμπειρογνώμονες ακολουθούν ορισμένους κανόνες για να φτάσουν σε μια ...

Δικτύωση και Clusters Hadoop - ανδρείκελα

Όπως με οποιοδήποτε διανεμημένο σύστημα. "Πάει φτηνό. "Υπάρχει μεγάλη συζήτηση μεταξύ των κύριων κόμβων και των κόμβων σκλάβων σε ένα σύμπλεγμα Hadoop που είναι απαραίτητο για τη διατήρηση της λειτουργίας του cluster, επομένως συνιστώνται σίγουρα οι διακόπτες της εταιρικής κλάσης. Για κάθε ράφι στο σύμπλεγμα σας, ...

Log Ανάλυση δεδομένων με ανάλυση Hadoop - ανδρείκελα

Είναι μια κοινή περίπτωση χρήσης για ένα εναρκτήριο έργο Hadoop. Πράγματι, οι πρώτες χρήσεις του Hadoop αφορούσαν την ανάλυση μεγάλης κλίμακας των αρχείων καταγραφής clickstream - αρχεία καταγραφής που καταγράφουν δεδομένα σχετικά με τις ιστοσελίδες που επισκέπτονται οι άνθρωποι και με ποια σειρά τους επισκέπτονται. Όλα τα αρχεία καταγραφής των δεδομένων που παράγονται από την υποδομή πληροφορικής σας ...

Δεδομένα καταγραφής με Flume σε HDFS - dummies

Μερικά από τα δεδομένα που καταλήγουν στο Distributed File System Hadoop HDFS) μπορεί να προσγειωθεί μέσω λειτουργιών φόρτωσης βάσης δεδομένων ή άλλων τύπων διεργασιών παρτίδας, αλλά τι γίνεται αν θέλετε να καταγράψετε τα δεδομένα που ρέουν σε ροές δεδομένων υψηλής απόδοσης, όπως δεδομένα καταγραφής εφαρμογών; Το Apache Flume είναι ο τρέχων συνήθης τρόπος να ...

Παρακολουθήστε Blocks δεδομένων με όνομαNode σε HDFS - dummies

Το όνομαNode ενεργεί ως βιβλίο διευθύνσεων για Hadoop Distributed File System (HDFS) επειδή γνωρίζει όχι μόνο τα μπλοκ που απαρτίζουν τα μεμονωμένα αρχεία, αλλά και όπου αποθηκεύονται καθένα από αυτά τα μπλοκ και τα αντίγραφα τους. Όταν ένας χρήστης αποθηκεύει ένα αρχείο σε HDFS, το αρχείο χωρίζεται σε μπλοκ δεδομένων και τρία αντίγραφα του ...

Χοίροι Λατινικά σε Χοιροειδή Προγράμματα Hadoop - dummies

Χοίροι Λατινική είναι η γλώσσα για τα προγράμματα Pig. Το Pig μεταφράζει τη δέσμη λατινικών Pig σε εργασίες MapReduce που μπορούν να εκτελεστούν μέσα στο σύμπλεγμα Hadoop. Όταν έρχεται με το Pig Latin, η ομάδα ανάπτυξης ακολούθησε τρεις βασικές αρχές σχεδιασμού: Κρατήστε το απλό. Το Pig Latin παρέχει μια βελτιωμένη μέθοδο αλληλεπίδρασης με το Java MapReduce. Είναι ένα ...

NoSQL Data Stores versus Hadoop - ανδρείκελα

Καταστήματα δεδομένων NoSQL αρχικά προσυπογράφηκαν στην έννοια "Just Say No to SQL" να παραφράσουν από μια διαφημιστική καμπάνια κατά των ναρκωτικών στη δεκαετία του 1980) και ήταν μια αντίδραση στους περιορισμούς των σχεσιακών βάσεων δεδομένων (βασισμένων σε SQL). Δεν είναι ότι αυτοί οι άνθρωποι μισούσαν την SQL, αλλά ήταν κουρασμένοι να αναγκάζουν τετράγωνους γόμφους σε στρογγυλές τρύπες από ...

Αναπαραγωγή μπλοκ δεδομένων στο διανεμημένο σύστημα αρχείων Hadoop - dummies

Hadoop Distributed File System (HDFS) σχεδιασμένο για την αποθήκευση δεδομένων σε φθηνό και πιο αναξιόπιστο υλικό. Το κόστος του είναι φθηνό, αλλά δημιουργεί ανησυχίες για την αξιοπιστία του συστήματος στο σύνολό του, ιδίως για την εξασφάλιση της υψηλής διαθεσιμότητας των δεδομένων. Σχεδιάζοντας μπροστά για καταστροφή, οι εγκέφαλοι πίσω από το HDFS έγιναν ...

Διαχείριση αρχείων με τις εντολές συστήματος αρχείων Hadoop - dummies

HDFS είναι ένα από τα δύο κύρια συστατικά του Πλαίσιο Hadoop. το άλλο είναι το υποδειγματικό υπολογιστικό σύστημα που είναι γνωστό ως MapReduce. Ένα κατανεμημένο σύστημα αρχείων είναι ένα σύστημα αρχείων που διαχειρίζεται την αποθήκευση σε ένα δικτυακό σύμπλεγμα μηχανών. Το HDFS αποθηκεύει δεδομένα σε μπλοκ, μονάδες των οποίων το προεπιλεγμένο μέγεθος είναι 64MB. Τα αρχεία που θέλετε να αποθηκευτούν σε ...

R στο Hadoop και το R γλώσσα - dummies

Η πειθαρχία της μηχανής μάθησης διαθέτει έναν πλούσιο και εκτεταμένο κατάλογο τεχνικών . Ο Mahout φέρνει στον πίνακα ένα εύρος στατιστικών εργαλείων και αλγορίθμων, αλλά καταγράφει μόνο ένα κλάσμα αυτών των τεχνικών και αλγορίθμων, καθώς το έργο της μετατροπής αυτών των μοντέλων σε ένα πλαίσιο MapReduce είναι ένα προκλητικό. Με την πάροδο του χρόνου, ο Mahout είναι σίγουρος ...

Πλήκτρα σειράς στο μοντέλο δεδομένων HBase - dummies

Οι αποθηκευμένες αποθήκες HBase αποτελούνται από έναν ή περισσότερους πίνακες αναπροσαρμόζονται με τα πλήκτρα γραμμής. Τα δεδομένα αποθηκεύονται σε σειρές με στήλες και οι σειρές μπορούν να έχουν πολλαπλές εκδόσεις. Από προεπιλογή, η έκδοση εκδόσεων δεδομένων για σειρές υλοποιείται με χρονικές σφραγίδες. Λογική προβολή των στοιχείων επικοινωνίας με τον πελάτη στην οικογένεια γραμμών HBase Row: {Qualifier στήλης: Έκδοση: Value} 00001 Όνομα_υπολογιστή: ...

Περιοχές σε HBase - dummies

RegionServers είναι ένα πράγμα, αλλά πρέπει επίσης να ρίξετε μια ματιά στο πώς λειτουργούν οι μεμονωμένες περιοχές. Στην HBase, ένας πίνακας κατανέμεται σε διάφορα RegionServers και αποτελείται από μεμονωμένες περιοχές. Καθώς οι πίνακες χωρίζονται, οι διαχωρισμοί γίνονται περιοχές. Οι περιφέρειες αποθηκεύουν μια σειρά ζευγών βασικής αξίας και κάθε ...

Μηχανή Μάθηση με Mahout στο Hadoop - ανδρείκελα

Μηχανική μάθηση αναφέρεται σε έναν κλάδο τεχνικών τεχνητής νοημοσύνης υπολογιστές για να βελτιώσουν την ανάλυσή τους με βάση προηγούμενα γεγονότα. Αυτά τα συστήματα υπολογιστών εκμεταλλεύονται ιστορικά δεδομένα από προηγούμενες προσπάθειες επίλυσης ενός έργου προκειμένου να βελτιώσουν την απόδοση μελλοντικών προσπαθειών σε παρόμοια καθήκοντα. Όσον αφορά τα αναμενόμενα αποτελέσματα, η μηχανική μάθηση ...

Που εκτελούνται Εφαρμογές Πριν από Hadoop 2 - dummies

Επειδή πολλές υπάρχουσες αναπτύξεις του Hadoop ακόμα δεν χρησιμοποιούν ακόμη άλλο Διαπραγματευτή Πόρων YARN), ρίξτε μια γρήγορη ματιά στο πώς ο Hadoop κατόρθωσε να επεξεργαστεί τα δεδομένα του πριν από τις ημέρες του Hadoop 2. Επικεντρωθείτε στο ρόλο που διαδραμάτισαν οι κύριοι δαίμονες του JobTracker και οι δαίμονες slave του TaskTracker στο χειρισμό της επεξεργασίας MapReduce. Ολόκληρο το σημείο της χρήσης κατανεμημένων συστημάτων ...

Κίνδυνος μοντελοποίησης με μοντέλα Hadoop - ανδρείκελα

Είναι μια άλλη σημαντική περίπτωση χρήσης που ενεργοποιείται από τον Hadoop. Θα διαπιστώσετε ότι ταιριάζει απόλυτα με τη χρήση της ανίχνευσης απάτης στο ότι είναι μια πειθαρχία που βασίζεται σε μοντέλο. Όσο περισσότερα δεδομένα έχετε και όσο περισσότερο μπορείτε να "συνδέσετε τις τελείες", τόσο πιο συχνά τα αποτελέσματά σας θα αποφέρουν καλύτερα μοντέλα πρόβλεψης κινδύνου. Η περιεκτική λέξη ...

Κύριοι κόμβοι σε Clusters Hadoop - ανδρείκελοι

Που περιγράφονται σε αυτήν τη λίστα, για ολόκληρο το σύμπλεγμα Hadoop. Ο πλεονασμός είναι κρίσιμος για την αποφυγή απλών σημείων αποτυχίας, έτσι βλέπετε δύο διακόπτες και τρεις κύριους κόμβους. NameNode: Διαχειρίζεται την αποθήκευση HDFS. Για να εξασφαλίσετε υψηλή διαθεσιμότητα, έχετε και τα δύο ενεργά ...

Που εκτελούν Στατιστικά Μοντέλα στο Hadoop's MapReduce

Προγραμματισμός και Συντονισμός ροών εργασίας Oozie σε Hadoop - dummies

Αφού δημιουργήσετε ένα σύνολο ροών εργασίας χρησιμοποιήστε μια σειρά εργασιών εργασίας συντονιστή Oozie για να προγραμματίσετε την εκτέλεσή τους. Έχετε δύο επιλογές προγραμματισμού για εκτέλεση: μια συγκεκριμένη ώρα και τη διαθεσιμότητα των δεδομένων σε συνδυασμό με ένα συγκεκριμένο χρονικό διάστημα. Χρονικός προγραμματισμός για θέσεις εργασίας συντονιστή Oozie Οι εργασίες συντονιστή Oozie μπορούν να προγραμματιστούν για ...

Scripting με Pig Latin σε Hadoop - dummies

Εφαρμογών. Αντί να προσπαθήσει να συμβαδίσει με όλες τις απαιτήσεις για νέες δυνατότητες, το Pig έχει σχεδιαστεί για να είναι επεκτάσιμο μέσω λειτουργιών που ορίζονται από το χρήστη, γνωστές και ως UDF. Τα UDF μπορούν να γραφτούν σε διάφορες γλώσσες προγραμματισμού, συμπεριλαμβανομένων των Java, Python και ...

Σφάλμα κόμβων και δίσκων σε HDFS - ανδρείκελα

, ακόμη και αποτυχίες κόμβων ή Rack), είναι αναπόφευκτες στο Hadoop Distributed File System (HDFS). Στο παράδειγμα που παρουσιάζεται, ακόμη και αν αποτύχει η αποτυχία μιας ομάδας, το σύμπλεγμα θα μπορούσε να συνεχίσει να λειτουργεί. Η απόδοση θα υποφέρει επειδή χάσατε το ήμισυ των πόρων επεξεργασίας, αλλά το σύστημα είναι ακόμα συνδεδεμένο ...

Ο σχεδιασμός

Ρυθμίστε το περιβάλλον Hadoop με Apache Bigtop - ανδρείκελα

Εάν είστε άνετοι με VM και Linux , μπορείτε να εγκαταστήσετε το Bigtop σε διαφορετικό VM από αυτό που συνιστάται. Αν είστε πραγματικά τολμηροί και έχετε το υλικό, προχωρήστε και προσπαθήστε να εγκαταστήσετε το Bigtop σε ένα σύμπλεγμα μηχανών σε πλήρως κατανεμημένη λειτουργία! Βήμα 1: Η λήψη ενός VM Hadoop τρέχει σε όλα τα δημοφιλή Linux ...

Υποτελείς κόμβοι σε ομάδες Hadoop - dummies

Επεξεργασία. Οι ακόλουθες υπηρεσίες επιτρέπουν στους υποτελείς κόμβους να αποθηκεύουν και να επεξεργάζονται δεδομένα: NodeManager: Συντονίζει τους πόρους για έναν μεμονωμένο κόμβο υποτελούς και αναφέρει πίσω στον Διαχειριστή πόρων. ApplicationMaster: Παρακολουθεί την πρόοδο όλων των εργασιών που εκτελούνται σε ...

Κόμβοι στο διανεμημένο σύστημα αρχείων Hadoop (dummy

, κάθε κόμβος δεδομένων (γνωστός επίσης ως κόμβος υποτελούς) εκτελεί μια διαδικασία φόντου που ονομάζεται DataNode. Αυτή η διαδικασία υποβάθρου (επίσης γνωστή ως δαίμονας) παρακολουθεί τις φέτες δεδομένων που αποθηκεύει το σύστημα στον υπολογιστή του. Συχνά μιλάει στον κύριο εξυπηρετητή για το HDFS (γνωστό ως NameNode) σε ...

Σημασία SQL για το Hadoop - dummies

Υπάρχουν ισχυροί λόγοι για τους οποίους η SQL αποδείχθηκε ανθεκτική. Η βιομηχανία πληροφορικής είχε 40 χρόνια εμπειρίας με την SQL, δεδομένου ότι αναπτύχθηκε για πρώτη φορά από την IBM στις αρχές της δεκαετίας του 1970. Με την αύξηση της υιοθέτησης σχεσιακών βάσεων δεδομένων στη δεκαετία του 1980, η SQL έχει γίνει μια τυπική ικανότητα για τα περισσότερα IT ...