Ρυθμίστε το περιβάλλον Hadoop με Apache Bigtop - ανδρείκελα

Εάν είστε άνετοι να εργάζεστε με VMs και Linux, μπορείτε να εγκαταστήσετε το Bigtop σε διαφορετικό VM από αυτό που συνιστάται. Αν είστε πραγματικά τολμηροί και έχετε το υλικό, προχωρήστε και προσπαθήστε να εγκαταστήσετε το Bigtop σε ένα σύμπλεγμα μηχανών σε πλήρως κατανεμημένη λειτουργία!

Βήμα 1: Η λήψη ενός VM

Hadoop τρέχει σε όλες τις δημοφιλείς διανομές Linux, έτσι χρειάζεστε ένα Linux VM. Υπάρχει διαθέσιμη ελεύθερη (και νόμιμη!) Εικόνα CentOS 6.

Θα χρειαστείτε ένα λειτουργικό σύστημα 64 bit στο φορητό σας υπολογιστή για να τρέξετε αυτό το VM. Ο Hadoop χρειάζεται περιβάλλον 64-bit.

Αφού κατεβάσετε το VM, εξαγάγετε το από το ληφθέν αρχείο Zip στον κατάλογο προορισμού. Βεβαιωθείτε ότι διαθέτετε περίπου 50GB χώρο ως Hadoop και τα δείγματα δεδομένων σας θα χρειαστούν.

Εάν δεν διαθέτετε ήδη μια συσκευή αναπαραγωγής VM, μπορείτε να την λάβετε δωρεάν.

Αφού εγκαταστήσετε τη συσκευή αναπαραγωγής VM, ανοίξτε τη συσκευή αναπαραγωγής, μεταβείτε στο Αρχείο → Άνοιγμα και, στη συνέχεια, μεταβείτε στον κατάλογο όπου εξάγατε το Linux VM. Αναζητήστε ένα αρχείο που καλείται και επιλέξτε το. Θα δείτε πληροφορίες σχετικά με τον αριθμό των επεξεργαστών και τη μνήμη που θα χρησιμοποιήσει. Μάθετε πόση μνήμη έχει ο υπολογιστής σας και διαθέστε τα μισά του για να χρησιμοποιήσει το VM. Ο Hadoop χρειάζεται πολλή μνήμη.

Μόλις είστε έτοιμοι, κάντε κλικ στο κουμπί Αναπαραγωγή και θα ξεκινήσει η παρουσία σας στο Linux. Θα δείτε πολλά μηνύματα να πετούν, καθώς το Linux εκκινεί και θα έρθετε σε μια οθόνη σύνδεσης. Το όνομα χρήστη έχει ήδη οριστεί σε "Tom. "Καθορίστε τον κωδικό πρόσβασης ως" tomtom "και συνδεθείτε.

Βήμα 2: Κατέβασμα Bigtop

Από μέσα στο Linux VM, κάντε δεξί κλικ στην οθόνη και επιλέξτε Open in Terminal από το μενού contextual που εμφανίζεται. Αυτό ανοίγει ένα τερματικό Linux, όπου μπορείτε να εκτελέσετε εντολές. Κάντε κλικ στο εσωτερικό του τερματικού για να δείτε τον δείκτη που αναβοσβήνει και πληκτρολογήστε την ακόλουθη εντολή: su -

Θα σας ζητηθεί ο κωδικός σας, οπότε πληκτρολογήστε "tomtom" όπως προηγουμένως. Αυτή η εντολή μετατρέπει τον χρήστη σε root, ο οποίος είναι ο κύριος λογαριασμός για έναν υπολογιστή Linux - θα το χρειαστείτε για να εγκαταστήσετε τον Hadoop.

Με την πρόσβαση root (μην αφήνετε την ενέργεια να φτάσει στο κεφάλι σας), εκτελέστε την ακόλουθη εντολή:

wget -O / etc / yum. repos. d / bigtop. repo 

// www. απάχης. org / dist / bigtop / bigtop- 
0. 7. 0 / repos / centos6 / bigtop. repo

Η εντολή είναι ουσιαστικά ένα αίτημα ιστού, το οποίο ζητά ένα συγκεκριμένο αρχείο στη διεύθυνση URL που μπορείτε να δείτε και το γράφει σε μια συγκεκριμένη διαδρομή - στην περίπτωση αυτή, αυτό είναι /.

Βήμα 3: Εγκατάσταση του Bigtop

Οι ιδιοφυίες πίσω από το Linux έχουν κάνει τη ζωή αρκετά εύκολη για τους ανθρώπους που πρέπει να εγκαταστήσουν μεγάλα πακέτα λογισμικού όπως ο Hadoop.Αυτό που κατεβάσατε στο τελευταίο βήμα δεν ήταν ολόκληρο το πακέτο Bigtop και όλες οι εξαρτήσεις του. Ήταν απλώς ένα αρχείο αποθετηρίου (με την επέκταση), το οποίο λέει σε ένα πρόγραμμα εγκαταστάτη ποια πακέτα λογισμικού χρειάζονται για την εγκατάσταση του Bigtop.

Όπως και κάθε μεγάλο προϊόν λογισμικού, ο Hadoop έχει πολλά προαπαιτούμενα, αλλά δεν χρειάζεται να ανησυχείς. Ένα καλά σχεδιασμένο αρχείο θα δείχνει σε τυχόν εξαρτήσεις και ο εγκαταστάτης είναι αρκετά έξυπνος για να δει αν λείπουν στον υπολογιστή σας και στη συνέχεια να τα κατεβάσετε και να τα εγκαταστήσετε.

Το πρόγραμμα εγκατάστασης που χρησιμοποιείτε εδώ ονομάζεται yum, το οποίο μπορείτε να δείτε στην πράξη τώρα:

yum install hadoop * mahout * oozie * hbase * hive * hue * pig * zookeeper *

επιλέγοντας και επιλέγοντας τα εξαρτήματα Hadoop για εγκατάσταση. Υπάρχουν πολλά άλλα στοιχεία διαθέσιμα στο Bigtop, αλλά αυτά είναι τα μόνα που θα χρησιμοποιήσετε εδώ. Δεδομένου ότι το VM είναι μια νέα εγκατάσταση Linux, θα χρειαστείτε πολλές εξαρτήσεις, οπότε θα πρέπει να περιμένετε λίγο.

Το πρόγραμμα εγκατάστασης yum είναι αρκετά λεπτομερές, ώστε να μπορείτε να παρακολουθήσετε ακριβώς τι γίνεται λήψη και εγκατάσταση για να περάσει η ώρα. Όταν ολοκληρωθεί η διαδικασία εγκατάστασης, θα πρέπει να δείτε ένα μήνυμα που λέει "Ολοκληρώστε! "

Βήμα 4: Εκκίνηση του Hadoop

Προτού ξεκινήσετε να εκτελείτε εφαρμογές στο Hadoop, υπάρχουν μερικά βασικά στοιχεία ρύθμισης και ρύθμισης που πρέπει να κάνετε. Εδώ είναι εντάξει:

1. Λήψη και εγκατάσταση της Java:

   yum install java-1. 7. 0-openjdk-devel. x86_64
   

2. Διαμορφώστε το ΌνομαNode:

   sudo / etc / init. d / hadoop-hdfs-namenode init
   

3. Ξεκινήστε τις υπηρεσίες Hadoop για το ψευδοδιανομημένο σύμπλεγμα:

   για το i στο hadoop-hdfs-namenode hadoop-hdfs-datanode; κάνουμε υπηρεσία sudo $ sudo; done
   

4. Δημιουργία δομής υποδιαιρέτου σε HDFS:

   sudo / usr / lib / hadoop / libexec / init-hdfs. sh
   

5. Ξεκινήστε τους δαίμονες YARN:

sudo service hadoop-yarn-resourcemanager startudo υπηρεσία hadoop-yarn-nodemanager έναρξη

Και με αυτό, τελειώσατε. Συγχαρητήρια! Έχετε εγκαταστήσει μια λειτουργική ανάπτυξη Hadoop!

Βήμα 5: Λήψη του δείγματος δεδομένων

Για να κάνετε λήψη του δείγματος δεδομένων, ανοίξτε το πρόγραμμα περιήγησης Firefox μέσα από το VM και μεταβείτε στη σελίδα dataexpo.

Δεν θα χρειαστείτε ολόκληρο το σύνολο δεδομένων, οπότε ξεκινήστε με ένα μόνο έτος, το 1987. Όταν πρόκειται να κάνετε λήψη, επιλέξτε την επιλογή Open with Archive Manager.

Μετά την λήψη του αρχείου σας, εξαγάγετε το αρχείο στον οικείο κατάλογό σας όπου θα μπορείτε εύκολα να το βρείτε. Κάντε κλικ στο κουμπί Εξαγωγή και, στη συνέχεια, επιλέξτε τον κατάλογο Desktop.

Βήμα 6: Αντιγραφή του δείγματος δεδομένων σε HDFS

Να θυμάστε ότι τα προγράμματα Hadoop μπορούν να λειτουργούν μόνο με τα δεδομένα αφού αποθηκευτούν σε HDFS. Λοιπόν αυτό που πρόκειται να κάνετε τώρα είναι να αντιγράψετε το αρχείο δεδομένων πτήσης για το 1987 σε HDFS. Καταχωρίστε την ακόλουθη εντολή:

hdfs dfs -copyFromLocal 1987. csv / user / root