Απόκρυψη, συλλογή και χειρισμός εργαλείων επιστήμης δεδομένων - ανδρείκελα

Είτε χρειάζεστε δεδομένα για να υποστηρίξετε μια επιχειρηματική ανάλυση είτε μια επερχόμενη κομμάτι δημοσιογραφίας, η απομάκρυνση ιστού μπορεί να σας βοηθήσει να εντοπίσετε ενδιαφέρουσες και μοναδικές πηγές δεδομένων. Στο web-scraping ρυθμίζετε αυτοματοποιημένα προγράμματα και στη συνέχεια αφήστε τα να καθαρίσουν τον ιστό για τα δεδομένα που χρειάζεστε. Εδώ είναι δωρεάν εργαλεία szome που μπορείτε να χρησιμοποιήσετε για να ξύσετε δεδομένα ή εικόνες, συμπεριλαμβανομένης της εισαγωγής. io, ImageQuilts και DataWrangler.

Απομάκρυνση δεδομένων με εισαγωγή. io

Προσπαθήσατε ποτέ να αντιγράψετε και να επικολλήσετε έναν πίνακα από τον ιστό σε ένα έγγραφο του Microsoft Office και, στη συνέχεια, να μην μπορέσετε να τοποθετήσετε σωστά τις στήλες; Απογοητευτικό, σωστά; Αυτό είναι ακριβώς το σημείο πόνου που εισάγει. io είχε σχεδιαστεί για να αντιμετωπίσει.

εισαγωγή. io - προφέρεται "import-eye-oh" - είναι μια δωρεάν εφαρμογή επιφάνειας εργασίας που μπορείτε να χρησιμοποιήσετε για να αντιγράψετε, να επικολλήσετε, να καθαρίσετε και να μορφοποιήσετε οποιοδήποτε τμήμα μιας ιστοσελίδας με μερικά μόνο κλικ του ποντικιού. Μπορείτε ακόμη να χρησιμοποιήσετε την εισαγωγή. io για την αυτόματη ανίχνευση και εξαγωγή δεδομένων από λίστες πολλαπλών σελίδων.

Χρήση εισαγωγής. Μπορείτε να ρίξετε δεδομένα από μια απλή ή περίπλοκη σειρά ιστοσελίδων:

• Απλή: Αποκτήστε πρόσβαση στις ιστοσελίδες μέσω απλών υπερσυνδέσμων που εμφανίζονται στη Σελίδα 1, Σελίδα 2, Σελίδα 3.

• Συμπληρωμένο: > Συμπληρώστε μια φόρμα ή επιλέξτε από μια αναπτυσσόμενη λίστα και στη συνέχεια υποβάλετε το αίτημά σας απόσπασης στο εργαλείο. εισαγωγή. Το πιο εντυπωσιακό χαρακτηριστικό του io είναι η ικανότητά του να παρακολουθεί τα κλικ του ποντικιού για να μάθει τι θέλετε και στη συνέχεια να σας προσφέρει τρόπους ώστε αυτόματα να ολοκληρώσει τις εργασίες σας για εσάς. Αν και εισαγωγή. io μαθαίνει και προτείνει εργασίες, δεν αναλαμβάνει δράση για αυτές τις εργασίες μέχρι να επισημάνετε την πρόταση ως σωστή. Κατά συνέπεια, αυτές οι αλληλεπιδράσεις με επαύξηση του ανθρώπου μειώνουν τον κίνδυνο ότι το μηχάνημα θα καταλήξει σε λανθασμένο συμπέρασμα εξαιτίας της υπερβολικής εικασίας.

Η εργασία ImageQuilts εκτελεί απλοϊκά να περιγράψει αλλά είναι πολύ περίπλοκη στην υλοποίησή της. Το ImageQuilts δημιουργεί κολάζ δεκάδων εικόνων και τα κομμάτια όλα μαζί σε ένα "πάπλωμα" που αποτελείται από πολλαπλές σειρές ίσου ύψους. Αυτή η εργασία μπορεί να είναι περίπλοκη επειδή οι εικόνες πηγής δεν έχουν σχεδόν ποτέ το ίδιο ύψος. Το ImageQuilts εξουδετερώνει και αλλάζει το μέγεθος των εικόνων πριν από τη συρραφή τους σε μία εικόνα εξόδου.

Το πάπλωμα εικόνας που παρουσιάστηκε προέκυψε από την αναζήτηση

δεδομένων

της επιστήμης

από την ετικέτα "Ετικέτα για επαναχρησιμοποίηση" Google Images. Το ImageQuilts σας επιτρέπει ακόμη να επιλέξετε τη σειρά των εικόνων ή να τις κάνετε τυχαία. Μπορείτε να χρησιμοποιήσετε το εργαλείο για να σύρετε και να αποθέσετε οποιαδήποτε εικόνα σε οποιοδήποτε σημείο, να αφαιρέσετε μια εικόνα, να μεγεθύνετε όλες τις εικόνες ταυτόχρονα ή να κάνετε μεγέθυνση κάθε εικόνας ξεχωριστά. Μπορείτε ακόμη και να χρησιμοποιήσετε το εργαλείο για να αποκρύψετε τα χρώματα των εικόνων - από το χρώμα σε κλίμακα του γκρι ή το ανεστραμμένο χρώμα (το οποίο είναι πρακτικό για τη δημιουργία φύλλων επαφής αρνητικών, αν είστε ένας από εκείνους τους σπάνιους ανθρώπους που εξακολουθούν να επεξεργάζονται αναλογική φωτογραφική μηχανή). Data Wrangler

Το DataWrangler είναι ένα ηλεκτρονικό εργαλείο που υποστηρίζεται από το εργαστήριο Interactive Data του Πανεπιστημίου της Ουάσιγκτον (την εποχή που αναπτύχθηκε το DataWrangler, αυτή η ομάδα ονομάστηκε Ομάδα Οπτικοποίησης Stanford). Αυτή η ίδια ομάδα ανέπτυξε Lyra, ένα διαδραστικό περιβάλλον απεικόνισης δεδομένων που μπορείτε να χρησιμοποιήσετε για να δημιουργήσετε σύνθετες απεικονίσεις χωρίς εμπειρία προγραμματισμού.

Εάν ο στόχος σας είναι να

sculpt

το σύνολο δεδομένων σας - ή να καθαρίσετε τα πράγματα, μετακινώντας τα πράγματα γύρω σαν ένας γλύπτης, (χωρίστε αυτό το μέρος σε δύο, κόψτε το κομμάτι αυτό και το μετακινήστε εκεί, έτσι ώστε τα πάντα κάτω από αυτό να μετατοπίζονται προς τα δεξιά και ούτω καθεξής) - Το DataWrangler είναι το εργαλείο για εσάς.

Μπορείτε να κάνετε χειρισμούς με το DataWrangler παρόμοιο με αυτό που μπορείτε να κάνετε στο Excel χρησιμοποιώντας τη Visual Basic. Για παράδειγμα, μπορείτε να χρησιμοποιήσετε το DataWrangler ή το Excel με τη Visual Basic για να αντιγράψετε, επικολλήσετε και να διαμορφώσετε πληροφορίες από λίστες στο Internet. Το DataWrangler προτείνει ενέργειες βάσει του συνόλου δεδομένων σας και μπορεί να επαναλάβει πολύπλοκες ενέργειες σε ολόκληρα σύνολα δεδομένων - ενέργειες όπως η εξάλειψη παραλειπόμενων γραμμών, ο διαχωρισμός δεδομένων από μία στήλη σε δύο ή η μετατροπή κεφαλίδας σε δεδομένα στηλών. Το DataWrangler μπορεί επίσης να σας δείξει πού τα δεδομένα σας λείπουν από το σύνολο δεδομένων σας. Τα δεδομένα που λείπουν ενδέχεται να υποδηλώνουν σφάλμα μορφοποίησης που πρέπει να καθαριστεί.