|
|
4 weeks ago | |
|---|---|---|
| .. | ||
| README.md | 4 weeks ago | |
| assignment.md | 7 months ago | |
README.md
Ορισμός Δεδομένων
![]() |
|---|
| Ορισμός Δεδομένων - Σχεδιάγραμμα από @nitya |
Δεδομένα είναι γεγονότα, πληροφορίες, παρατηρήσεις και μετρήσεις που χρησιμοποιούνται για την πραγματοποίηση ανακαλύψεων και την υποστήριξη ενημερωμένων αποφάσεων. Ένα σημείο δεδομένων είναι μια μονάδα δεδομένων μέσα σε ένα σύνολο δεδομένων, το οποίο είναι μια συλλογή σημείων δεδομένων. Τα σύνολα δεδομένων μπορεί να έχουν διαφορετικές μορφές και δομές, και συνήθως βασίζονται στην πηγή τους, ή από πού προήλθαν τα δεδομένα. Για παράδειγμα, τα μηνιαία κέρδη μιας εταιρείας μπορεί να είναι σε υπολογιστικό φύλλο αλλά τα δεδομένα καρδιακού ρυθμού ανά ώρα από ένα smartwatch μπορεί να είναι σε μορφή JSON. Είναι κοινό οι επιστήμονες δεδομένων να εργάζονται με διαφορετικούς τύπους δεδομένων μέσα σε ένα σύνολο δεδομένων.
Αυτό το μάθημα εστιάζει στην αναγνώριση και ταξινόμηση των δεδομένων βάσει των χαρακτηριστικών και των πηγών τους.
Προ-διάλεξη Quiz
Πώς Περιγράφονται τα Δεδομένα
Ακατέργαστα Δεδομένα
Τα ακατέργαστα δεδομένα είναι δεδομένα που προέρχονται από την πηγή τους στην αρχική τους κατάσταση και δεν έχουν αναλυθεί ή οργανωθεί. Για να κατανοήσουμε τι συμβαίνει με ένα σύνολο δεδομένων, πρέπει να οργανωθεί σε μια μορφή που μπορεί να γίνει κατανοητή τόσο από ανθρώπους όσο και από την τεχνολογία που μπορεί να χρησιμοποιηθεί για περαιτέρω ανάλυση. Η δομή ενός συνόλου δεδομένων περιγράφει πώς είναι οργανωμένο και μπορεί να ταξινομηθεί σε δομημένα, αδόμητα και ημιδομημένα. Αυτοί οι τύποι δομής ποικίλλουν ανάλογα με την πηγή αλλά εντάσσονται σε αυτές τις τρεις κατηγορίες.
Ποσοτικά Δεδομένα
Τα ποσοτικά δεδομένα είναι αριθμητικές παρατηρήσεις μέσα σε ένα σύνολο δεδομένων και συνήθως μπορούν να αναλυθούν, να μετρηθούν και να χρησιμοποιηθούν μαθηματικά. Μερικά παραδείγματα ποσοτικών δεδομένων είναι: ο πληθυσμός μιας χώρας, το ύψος ενός ατόμου ή τα τριμηνιαία κέρδη μιας εταιρείας. Με περαιτέρω ανάλυση, τα ποσοτικά δεδομένα μπορούν να χρησιμοποιηθούν για την ανακάλυψη εποχιακών τάσεων του Δείκτη Ποιότητας Αέρα (AQI) ή για την εκτίμηση της πιθανότητας κίνησης αιχμής σε μια τυπική εργάσιμη ημέρα.
Ποιοτικά Δεδομένα
Τα ποιοτικά δεδομένα, γνωστά και ως κατηγορικά δεδομένα, είναι δεδομένα που δεν μπορούν να μετρηθούν αντικειμενικά όπως οι παρατηρήσεις ποσοτικών δεδομένων. Είναι γενικά διάφορες μορφές υποκειμενικών δεδομένων που αποτυπώνουν την ποιότητα κάτι, όπως ενός προϊόντος ή μιας διαδικασίας. Μερικές φορές, τα ποιοτικά δεδομένα είναι αριθμητικά αλλά συνήθως δεν χρησιμοποιούνται μαθηματικά, όπως αριθμοί τηλεφώνου ή χρονικές σημάνσεις. Παραδείγματα ποιοτικών δεδομένων είναι: σχόλια βίντεο, η μάρκα και το μοντέλο ενός αυτοκινήτου ή το αγαπημένο χρώμα των πιο στενών φίλων σου. Τα ποιοτικά δεδομένα μπορούν να βοηθήσουν στην κατανόηση των προτιμήσεων των καταναλωτών ή στον εντοπισμό δημοφιλών λέξεων-κλειδιών σε βιογραφικά αιτήσεων εργασίας.
Δομημένα Δεδομένα
Τα δομημένα δεδομένα είναι δεδομένα οργανωμένα σε σειρές και στήλες, όπου κάθε σειρά έχει το ίδιο σύνολο στηλών. Οι στήλες αντιπροσωπεύουν μια τιμή συγκεκριμένου τύπου και ταυτοποιούνται με ένα όνομα που περιγράφει τα δεδομένα, ενώ οι σειρές περιέχουν τις πραγματικές τιμές. Οι στήλες συχνά έχουν συγκεκριμένους κανόνες ή περιορισμούς στις τιμές, για να διασφαλιστεί ότι οι τιμές αντιπροσωπεύουν σωστά τη στήλη. Για παράδειγμα, φαντάσου ένα υπολογιστικό φύλλο πελατών όπου κάθε σειρά πρέπει να έχει έναν αριθμό τηλεφώνου και οι αριθμοί τηλεφώνου δεν περιλαμβάνουν ποτέ αλφαβητικούς χαρακτήρες. Μπορεί να υπάρχουν κανόνες για τη στήλη του τηλεφώνου που να διασφαλίζουν ότι δεν είναι ποτέ κενή και περιέχει μόνο αριθμούς.
Ένα πλεονέκτημα των δομημένων δεδομένων είναι ότι μπορούν να οργανωθούν με τέτοιο τρόπο ώστε να σχετίζονται με άλλα δομημένα δεδομένα. Ωστόσο, επειδή τα δεδομένα είναι σχεδιασμένα να οργανώνονται με συγκεκριμένο τρόπο, οι αλλαγές στη συνολική τους δομή μπορεί να απαιτούν σημαντική προσπάθεια. Για παράδειγμα, η προσθήκη μίας στήλης email στο υπολογιστικό φύλλο πελατών που δεν μπορεί να είναι κενή σημαίνει ότι πρέπει να βρεις πώς θα προσθέσεις αυτές τις τιμές στις υπάρχουσες σειρές πελατών στο σύνολο δεδομένων.
Παραδείγματα δομημένων δεδομένων: υπολογιστικά φύλλα, σχεσιακές βάσεις δεδομένων, αριθμοί τηλεφώνου, τραπεζικές καταστάσεις
Αδόμητα Δεδομένα
Τα αδόμητα δεδομένα συνήθως δεν μπορούν να κατηγοριοποιηθούν σε σειρές ή στήλες και δεν έχουν μορφή ή σύνολο κανόνων προς ακολούθηση. Επειδή τα αδόμητα δεδομένα έχουν λιγότερους περιορισμούς στη δομή τους, είναι πιο εύκολο να προστεθούν νέες πληροφορίες σε σύγκριση με ένα δομημένο σύνολο δεδομένων. Αν ένας αισθητήρας που καταγράφει δεδομένα βαρομετρικής πίεσης κάθε 2 λεπτά λάβει μια ενημέρωση που του επιτρέπει να μετρά και να καταγράφει τη θερμοκρασία, δεν απαιτείται αλλαγή στα υπάρχοντα δεδομένα αν είναι αδόμητα. Ωστόσο, αυτό μπορεί να κάνει την ανάλυση ή την έρευνα αυτού του τύπου δεδομένων να διαρκέσει περισσότερο. Για παράδειγμα, ένας επιστήμονας που θέλει να βρει τη μέση θερμοκρασία του προηγούμενου μήνα από τα δεδομένα των αισθητήρων αλλά διαπιστώνει ότι ο αισθητήρας κατέγραψε ένα "e" σε μερικά δεδομένα για να σημειώσει ότι ήταν χαλασμένος αντί για έναν τυπικό αριθμό, που σημαίνει ότι τα δεδομένα είναι ελλιπή.
Παραδείγματα αδόμητων δεδομένων: αρχεία κειμένου, μηνύματα κειμένου, αρχεία βίντεο
Ημιδομημένα Δεδομένα
Τα ημιδομημένα δεδομένα έχουν χαρακτηριστικά που τα καθιστούν συνδυασμό δομημένων και αδόμητων δεδομένων. Συνήθως δεν ακολουθούν τη μορφή σειρών και στηλών αλλά είναι οργανωμένα με τρόπο που θεωρείται δομημένος και μπορεί να ακολουθούν μια σταθερή μορφή ή σύνολο κανόνων. Η δομή διαφέρει μεταξύ πηγών, από μια καλά ορισμένη ιεραρχία έως κάτι πιο ευέλικτο που επιτρέπει την εύκολη ενσωμάτωση νέων πληροφοριών. Τα μεταδεδομένα είναι δείκτες που βοηθούν στην απόφαση του πώς οργανώνονται και αποθηκεύονται τα δεδομένα και έχουν διάφορα ονόματα, ανάλογα με τον τύπο των δεδομένων. Μερικά κοινά ονόματα των μεταδεδομένων είναι ετικέτες, στοιχεία, οντότητες και χαρακτηριστικά. Για παράδειγμα, ένα τυπικό email έχει θέμα, σώμα και σύνολο παραληπτών και μπορεί να οργανωθεί με βάση τον αποστολέα ή τον χρόνο αποστολής.
Παραδείγματα ημιδομημένων δεδομένων: HTML, αρχεία CSV, JavaScript Object Notation (JSON)
Πηγές Δεδομένων
Μια πηγή δεδομένων είναι η αρχική τοποθεσία όπου δημιουργήθηκαν τα δεδομένα ή όπου "φιλοξενούνται" και διαφέρει ανάλογα με τον τρόπο και τον χρόνο συλλογής τους. Τα δεδομένα που παράγονται από τους χρήστες τους ονομάζονται πρωτογενή δεδομένα ενώ τα δευτερογενή δεδομένα προέρχονται από πηγές που έχουν συλλέξει δεδομένα για γενική χρήση. Για παράδειγμα, μια ομάδα επιστημόνων που συλλέγει παρατηρήσεις σε τροπικό δάσος θεωρείται πρωτογενής και αν αποφασίσουν να το μοιραστούν με άλλους επιστήμονες, γίνεται δευτερογενές για όσους το χρησιμοποιούν.
Οι βάσεις δεδομένων είναι κοινή πηγή και βασίζονται σε συστήματα διαχείρισης βάσεων δεδομένων για τη φιλοξενία και τη συντήρηση των δεδομένων, όπου οι χρήστες χρησιμοποιούν εντολές που ονομάζονται ερωτήματα για να εξερευνήσουν τα δεδομένα. Τα αρχεία ως πηγές δεδομένων μπορεί να είναι αρχεία ήχου, εικόνας, βίντεο καθώς και υπολογιστικά φύλλα όπως το Excel. Το διαδίκτυο είναι μια συνηθισμένη τοποθεσία φιλοξενίας δεδομένων, όπου βρίσκονται τόσο βάσεις δεδομένων όσο και αρχεία. Τα API (Διεπαφές Προγραμματισμού Εφαρμογών) επιτρέπουν στους προγραμματιστές να δημιουργούν τρόπους για την κοινή χρήση δεδομένων με εξωτερικούς χρήστες μέσω του ίντερνετ, ενώ η διαδικασία web scraping εξάγει δεδομένα από μια ιστοσελίδα. Τα μαθήματα στο Working with Data εστιάζουν στο πώς να χρησιμοποιούν διάφορες πηγές δεδομένων.
Συμπέρασμα
Σε αυτό το μάθημα μάθαμε:
- Τι είναι τα δεδομένα
- Πώς περιγράφονται τα δεδομένα
- Πώς ταξινομούνται και κατηγοριοποιούνται τα δεδομένα
- Πού μπορούν να βρεθούν τα δεδομένα
🚀 Πρόκληση
Το Kaggle είναι μια εξαιρετική πηγή ανοιχτών συνόλων δεδομένων. Χρησιμοποίησε το εργαλείο αναζήτησης συνόλων δεδομένων για να βρεις ενδιαφέροντα σύνολα δεδομένων και ταξινόμησε 3-5 σύνολα με αυτά τα κριτήρια:
- Είναι τα δεδομένα ποσοτικά ή ποιοτικά;
- Είναι τα δεδομένα δομημένα, αδόμητα ή ημιδομημένα;
Μετά-διάλεξη Quiz
Ανασκόπηση & Αυτοεκμάθηση
- Αυτή η ενότητα του Microsoft Learn, με τίτλο Identify data formats έχει λεπτομερή ανάλυση των δομημένων, ημιδομημένων, και αδόμητων δεδομένων.
Άσκηση
Αποποίηση ευθυνών: Αυτό το έγγραφο έχει μεταφραστεί χρησιμοποιώντας την υπηρεσία μετάφρασης με τεχνητή νοημοσύνη Co-op Translator. Ενώ επιδιώκουμε την ακρίβεια, παρακαλούμε να έχετε υπόψη ότι οι αυτοματοποιημένες μεταφράσεις ενδέχεται να περιέχουν λάθη ή ανακρίβειες. Το πρωτότυπο έγγραφο στη μητρική του γλώσσα πρέπει να θεωρείται η αυθεντική πηγή. Για κρίσιμες πληροφορίες, συνιστάται επαγγελματική ανθρώπινη μετάφραση. Δεν φέρουμε ευθύνη για τυχόν παρεξηγήσεις ή λανθασμένες ερμηνείες που προκύπτουν από τη χρήση αυτής της μετάφρασης.
