Εντολές διαχείρισης Hadoop - dummies

Μέρος του Hadoop Για Dummies Cheat Sheet

Οποιοσδήποτε διαχειριστής του Hadoop που αξίζει το αλάτι του πρέπει να κατέχει ένα πλήρες σύνολο εντολών για τη διοίκηση συμπλέγματος. Η παρακάτω λίστα συνοψίζει τις πιο σημαντικές εντολές, υποδεικνύοντας τι κάνει η εντολή καθώς και σύνταξη και παραδείγματα. Γνωρίστε τους, και θα προχωρήσετε πολύ μακριά κατά μήκος της διαδρομής προς Hadoop σοφία.

• balancer : Εκτελεί το βοηθητικό πρόγραμμα εξισορρόπησης συμπλέγματος. Η καθορισμένη τιμή κατωφλίου, η οποία αντιπροσωπεύει ένα ποσοστό της χωρητικότητας του δίσκου, χρησιμοποιείται για την αντικατάσταση της προεπιλεγμένης τιμής κατωφλίου (10 τοις εκατό). Για να σταματήσετε τη διαδικασία επανεξισορρόπησης, πατήστε Ctrl + C.

  hasoop balancer - όριο 20 daemonlog

  : Ορίστε ή ρυθμίστε το επίπεδο καταγραφής για κάθε δαίμονα (επίσης γνωστό ως υπηρεσία). Συνδέεται στο // host: port / logLevel; log = όνομα και εκτυπώνει ή ρυθμίζει το επίπεδο καταγραφής του δαίμονα που εκτελείται στη θύρα: host. Οι δαίμονες του Hadoop παράγουν αρχεία καταγραφής που σας βοηθούν να καθορίσετε τι συμβαίνει στο σύστημα και μπορείτε να χρησιμοποιήσετε την εντολή daemonlog για να αλλάξετε προσωρινά το επίπεδο καταγραφής ενός στοιχείου Hadoop όταν κάνετε σφάλμα στο σύστημα. Η αλλαγή αρχίζει να ισχύει όταν επανεκκινείται ο δαίμονας.

• Σύνταξη: hadoop daemonlog -getlevel; hadoop daemonlog -setlevel
  Παράδειγμα:

  hadoop daemonlog -getlevel 10. 250. 1. 15: 50030 org. απάχης. hadoop. χαρτογραφημένο. JobTracker; hadoop daemonlog -setlevel 10. 250. 1. 15: 50030 org. απάχης. hadoop. χαρτογραφημένο. JobTracker DEBUG datanode

  : Εκτελεί την υπηρεσία DataNode HDFS, η οποία συντονίζει την αποθήκευση σε κάθε κόμβο υποτελούς λειτουργίας. Αν καθορίσετε την επιστροφή, το DataNode επαναφέρεται στην προηγούμενη έκδοση. Σταματήστε το DataNode και διανείμετε την προηγούμενη έκδοση Hadoop προτού χρησιμοποιήσετε αυτήν την επιλογή.

• dfsadmin

  : Εκτελεί έναν αριθμό κατανεμημένων αρχείων Hadoop

  Σύνταξη: hadoop datanode [-rollback] Διαχειριστικές λειτουργίες συστήματος (HDFS). Χρησιμοποιήστε την επιλογή -help για να δείτε μια λίστα όλων των υποστηριζόμενων επιλογών. Οι γενικές επιλογές είναι ένα κοινό σύνολο επιλογών που υποστηρίζονται από πολλές εντολές.

• Σύνταξη: hadoop dfsadmin [GENERIC_OPTIONS] [-report] [-safemode enter | αφήστε | πάρτε | αναμονή] [-refreshNodes] [-finalizeUpgrade] [-upgradeProgress status | λεπτομέρειες | [-help [cmd]] mradmin

  : Εκτελεί μια σειρά από διοικητικές εντολές του MapReduce [-setQuota …] [-clrQuota …] [-restoreFailedStorage true | λειτουργίες. Χρησιμοποιήστε την επιλογή -help για να δείτε μια λίστα όλων των υποστηριζόμενων επιλογών.Και πάλι, οι γενικές επιλογές είναι ένα κοινό σύνολο επιλογών που υποστηρίζονται από πολλές εντολές. Αν ορίσετε -refreshServiceAcl, επαναφορτίζεται το αρχείο πολιτικής εξουσιοδότησης επιπέδου υπηρεσίας (το JobTracker επαναφορτίζει το αρχείο πολιτικής εξουσιοδότησης). -refreshQueues επαναφέρει τις λίστες ελέγχου πρόσβασης στην ουρά (ACLs) και την κατάσταση (το JobTracker επαναφορτίζει τις χαρτογραφημένες ουρές.xml αρχείο). -refreshNodes ανανεώνει τις πληροφορίες των κεντρικών υπολογιστών στο JobTracker. -refreshUserToGroupsMappings ανανεώνει τις αντιστοιχίσεις χρήστη προς ομάδες. -refreshSuperUserGroupsConfiguration ανανεώνει τις αντιστοιχίσεις ομάδων υπέρ-χρηστών του διακομιστή μεσολάβησης. και -help [cmd] εμφανίζει βοήθεια για τη δεδομένη εντολή ή για όλες τις εντολές αν δεν έχει οριστεί καμία.

• Σύνταξη: hadoop mradmin [GENERIC_OPTIONS] [-refreshServiceAcl] [-refreshQueues] [-refreshNodes] [-refreshUserToGroupsMappings] [-refreshSuperUserGroupsConfiguration] [-help [cmd]:

  hadoop mradmin -help -refreshNodes

  jobtracker :

  Εκτελεί τον κόμβο JobRrauce JobTracker, ο οποίος συντονίζει το σύστημα επεξεργασίας δεδομένων για τον Hadoop. Αν καθορίσετε την επιλογή -dumpConfiguration, οι ρυθμίσεις που χρησιμοποιούνται από το JobTracker και η διαμόρφωση της ουράς σε μορφή JSON γράφονται στην τυπική έξοδο.

• Η εντολή nameNode, η οποία συντονίζει την εντολή

  έχει την εξής ιδιότητα:

  αποθήκευση για ολόκληρο το σύμπλεγμα Hadoop. Αν ορίσετε -format, το όνομαNode ξεκινά, διαμορφώνεται και στη συνέχεια διακόπτεται. με -upgrade, το ΌνομαNode ξεκινά με την επιλογή αναβάθμισης μετά τη διανομή μιας νέας έκδοσης Hadoop. με το -rollback, το NameNode επαναφέρεται στην προηγούμενη έκδοση (θυμηθείτε να σταματήσετε το σύμπλεγμα και να διανείμετε την προηγούμενη έκδοση Hadoop πριν χρησιμοποιήσετε αυτήν την επιλογή). με -finalize, η προηγούμενη κατάσταση του συστήματος αρχείων καταργείται, η πιο πρόσφατη αναβάθμιση γίνεται μόνιμη, η rollback δεν είναι πλέον διαθέσιμη και το ΌνομαNode τερματίζεται. Τέλος, με το -importCheckpoint, μια εικόνα φορτώνεται από τον κατάλογο σημείων ελέγχου (όπως ορίζεται από το fs.point checkpoint dir) και αποθηκεύεται στον τρέχοντα κατάλογο.

  Σύνταξη: όνομα_κανονισμού [-format] | [-αναβάθμιση] | [-rollback] | [-finalize] | [-importCheckpoint]

• Παράδειγμα: hadoop namenode -finalize Δευτερεύον όνομα

  :

  Εκτελεί το δευτερεύον όνομαNode. Εάν καθορίσετε το -checkpoint, ένα σημείο ελέγχου στο δευτερεύον ΌνομαNode εκτελείται αν το μέγεθος του EditLog (ένα αρχείο καταγραφής συναλλαγών που καταγράφει κάθε αλλαγή που συμβαίνει στα μεταδεδομένα του συστήματος αρχείων) είναι μεγαλύτερο ή ίσο με το fs. σημείο ελέγχου. Μέγεθος; ορίστε -force και ένα σημείο ελέγχου εκτελείται ανεξάρτητα από το μέγεθος του EditLog. ορίστε το -geteditsize και εκτυπώνεται το μέγεθος EditLog. Σύνταξη:

  hadoop secondarynamenode [-checkpoint [force]] | [-geteditsize] Παράδειγμα:

• hadoop secondarynamenode -geteditsize tasktracker :

  Εκτελεί έναν κόμβο MapReduce TaskTracker. Σύνταξη:

  hadoop tasktracker Παράδειγμα:

• hadoop tasktracker