localizeflow[bot]
594e823aee
|
2 weeks ago | |
|---|---|---|
| .. | ||
| README.md | 2 weeks ago | |
| assignment.md | 5 months ago | |
README.md
Επιστήμη Δεδομένων στον Πραγματικό Κόσμο
 |
|---|
| Επιστήμη Δεδομένων στον Πραγματικό Κόσμο - Σκιαγραφία από @nitya |
Είμαστε σχεδόν στο τέλος αυτού του ταξιδιού μάθησης!
Ξεκινήσαμε με ορισμούς της επιστήμης δεδομένων και ηθικής, εξερευνήσαμε διάφορα εργαλεία & τεχνικές για ανάλυση και οπτικοποίηση δεδομένων, ανασκοπήσαμε τον κύκλο ζωής της επιστήμης δεδομένων, και εξετάσαμε την κλιμάκωση και αυτοματοποίηση ροών εργασίας επιστήμης δεδομένων με υπηρεσίες υπολογιστικού νέφους. Έτσι, πιθανότατα αναρωτιέστε: "Πώς ακριβώς αντιστοιχίζω όλες αυτές τις γνώσεις σε πραγματικά πλαίσια;"
Σε αυτό το μάθημα, θα εξερευνήσουμε πραγματικές εφαρμογές της επιστήμης δεδομένων σε βιομηχανίες και θα εξετάσουμε συγκεκριμένα παραδείγματα στην έρευνα, στις ψηφιακές ανθρωπιστικές επιστήμες και στη βιωσιμότητα. Θα δούμε ευκαιρίες μαθητικών έργων και θα ολοκληρώσουμε με χρήσιμους πόρους για να συνεχίσετε το ταξίδι μάθησής σας!
Quiz Προ Μαθήματος
Quiz Προ Μαθήματος
Επιστήμη Δεδομένων + Βιομηχανία
Χάρη στη δημοκρατοποίηση της Τεχνητής Νοημοσύνης, οι προγραμματιστές βρίσκουν πλέον πιο εύκολο να σχεδιάζουν και να ενσωματώνουν αποφάσεις με ορμή ΤΝ και δεδομενοστραφή συμπεράσματα στις εμπειρίες χρηστών και ροές εργασίας ανάπτυξης. Εδώ είναι μερικά παραδείγματα για το πώς η επιστήμη δεδομένων "εφαρμόζεται" σε πραγματικές εφαρμογές στη βιομηχανία:
-
Google Flu Trends χρησιμοποίησε την επιστήμη δεδομένων για να συσχετίσει όρους αναζήτησης με τάσεις γρίπης. Παρόλο που η προσέγγιση είχε αδυναμίες, ευαισθητοποίησε σχετικά με τις δυνατότητες (και τις προκλήσεις) των προβλέψεων υγείας με βάση δεδομένα.
-
UPS Routing Predictions - εξηγεί πώς η UPS χρησιμοποιεί επιστήμη δεδομένων και μηχανική μάθηση για να προβλέψει βέλτιστες διαδρομές παράδοσης, λαμβάνοντας υπόψη τις καιρικές συνθήκες, τα μοτίβα κυκλοφορίας, τις προθεσμίες παράδοσης και άλλα.
-
Οπτικοποίηση Διαδρομών Taxi στη ΝΥ - δεδομένα που συλλέχθηκαν μέσω Νόμων Ελευθερίας Πληροφόρησης βοήθησαν στην οπτικοποίηση μιας μέρας στη ζωή των ταξί της ΝΥ, βοηθώντας μας να καταλάβουμε πώς κινούνται στην πολυσύχναστη πόλη, τα έσοδά τους, και τη διάρκεια των διαδρομών σε κάθε 24ωρο.
-
Uber Data Science Workbench - χρησιμοποιεί δεδομένα (τόποι παραλαβής και παράδοσης, διάρκεια ταξιδιού, προτιμώμενες διαδρομές κ.ά.) που συλλέγονται από εκατομμύρια ταξίδια Uber ημερησίως για να δημιουργήσει ένα εργαλείο ανάλυσης δεδομένων που βοηθά στην τιμολόγηση, την ασφάλεια, την ανίχνευση απάτης και αποφάσεις πλοήγησης.
-
Αθλητική Ανάλυση - επικεντρώνεται στην προγνωστική ανάλυση (ανάλυση ομάδων και παικτών - σκεφτείτε Moneyball - και διαχείριση οπαδών) και οπτικοποίηση δεδομένων (πίνακες ελέγχου ομάδων & οπαδών, αγώνες κλπ.) με εφαρμογές όπως ανίχνευση ταλέντων, στοιχήματα και διαχείριση αποθεμάτων/χώρων.
-
Επιστήμη Δεδομένων στον Τραπεζικό Τομέα - αναδεικνύει την αξία της επιστήμης δεδομένων στη χρηματοοικονομική βιομηχανία με εφαρμογές από μοντέλα κινδύνου και ανίχνευση απάτης, διαχωρισμό πελατών, προβλέψεις σε πραγματικό χρόνο και συστήματα συστάσεων. Η προγνωστική ανάλυση υποστηρίζει επίσης κρίσιμα μέτρα όπως πιστωτικοί βαθμοί.
-
Επιστήμη Δεδομένων στην Υγεία - αναδεικνύει εφαρμογές όπως η ιατρική απεικόνιση (π.χ., MRI, Ακτίνες Χ, CT-Scan), η γονιδιωματική (αλληλουχία DNA), η ανάπτυξη φαρμάκων (εκτίμηση κινδύνου, πρόβλεψη επιτυχίας), η προγνωστική ανάλυση (φροντίδα ασθενών & εφοδιαστική), η παρακολούθηση & πρόληψη ασθενειών κ.ά.
Πηγή Εικόνας: Data Flair: 6 Amazing Data Science Applications
Το σχήμα παρουσιάζει άλλους τομείς και παραδείγματα για την εφαρμογή τεχνικών επιστήμης δεδομένων. Θέλετε να εξερευνήσετε άλλες εφαρμογές; Δείτε την ενότητα Ανασκόπηση & Αυτο-Μελέτη παρακάτω.
Επιστήμη Δεδομένων + Έρευνα
 |
|---|
| Επιστήμη Δεδομένων & Έρευνα - Σκιαγραφία από @nitya |
Ενώ οι εφαρμογές στον πραγματικό κόσμο συχνά εστιάζουν σε βιομηχανικές χρήσεις σε μεγάλη κλίμακα, οι εφαρμογές και τα έργα έρευνας μπορούν να είναι χρήσιμα από δύο προοπτικές:
- ευκαιρίες καινοτομίας - εξερεύνηση γρήγορης πρωτοτυποποίησης προχωρημένων εννοιών και δοκιμών εμπειριών χρήστη για εφαρμογές επόμενης γενιάς.
- προκλήσεις ανέλιξης - διερεύνηση πιθανών βλαβών ή ανεπιθύμητων συνεπειών των τεχνολογιών επιστήμης δεδομένων σε πραγματικά πλαίσια.
Για τους σπουδαστές, αυτά τα ερευνητικά έργα μπορούν να προσφέρουν ευκαιρίες μάθησης και συνεργασίας που βελτιώνουν την κατανόηση του θέματος, και διευρύνουν την επίγνωσή σας και την αλληλεπίδραση με σχετικούς ανθρώπους ή ομάδες που εργάζονται σε τομείς ενδιαφέροντος. Πώς όμως μοιάζουν τα ερευνητικά έργα και πώς μπορούν να έχουν αντίκτυπο;
Ας δούμε ένα παράδειγμα - τη Μελέτη MIT Gender Shades από την Joy Buolamwini (MIT Media Labs) με υπογεγραμμένο ερευνητικό άρθρο που συνυπογράφηκε με την Timnit Gebru (τότε στη Microsoft Research) και επικεντρώθηκε στο
- Τι: Στόχος του ερευνητικού έργου ήταν να αξιολογήσει προκαταλήψεις που υπάρχουν σε αυτοματοποιημένους αλγόριθμους και σετ δεδομένων ανάλυσης προσώπου βάσει φύλου και τύπου επιδερμίδας.
- Γιατί: Η ανάλυση προσώπου χρησιμοποιείται σε τομείς όπως επιβολή νόμου, ασφάλεια αεροδρομίων, συστήματα πρόσληψης κ.ά. - πλαίσια όπου ανακριβείς ταξινομήσεις (π.χ. λόγω προκατάληψης) μπορούν να προκαλέσουν οικονομικές και κοινωνικές βλάβες σε άτομα ή ομάδες. Η κατανόηση (και η εξάλειψη ή μείωση) αυτών των προκαταλήψεων είναι κρίσιμη για τη δικαιοσύνη στη χρήση.
- Πώς: Οι ερευνητές αναγνώρισαν ότι τα υπάρχοντα πρότυπα βάσεις χρησιμοποιούσαν κυρίως άτομα με πιο ανοιχτόχρωμη επιδερμίδα, και δημιούργησαν ένα νέο σύνολο δεδομένων (πάνω από 1000 εικόνες) που ήταν πιο ισορροπημένο κατά φύλο και τύπο επιδερμίδας. Το σετ χρησιμοποιήθηκε για να αξιολογήσει την ακρίβεια τριών προϊόντων ταξινόμησης φύλου (από Microsoft, IBM & Face++).
Τα αποτελέσματα έδειξαν ότι, αν και η συνολική ακρίβεια ήταν καλή, υπήρχε αξιοσημείωτη διαφορά στα ποσοστά σφάλματος μεταξύ διαφορετικών υπο-ομάδων - με λανθασμένο φύλο να εμφανίζεται πιο συχνά σε γυναίκες ή άτομα με πιο σκούρο τύπο επιδερμίδας, δηλώνοντας προκατάληψη.
Κύρια Αποτελέσματα: Ευαισθητοποίηση ότι η επιστήμη δεδομένων χρειάζεται πιο αντιπροσωπευτικά σύνολα δεδομένων (ισορροπημένες υπο-ομάδες) και πιο συμπεριληπτικές ομάδες (ποικιλόμορφα υπόβαθρα) για να αναγνωρίσει και να εξαλείψει ή μειώσει τέτοιες προκαταλήψεις νωρίτερα στις λύσεις ΤΝ. Οι ερευνητικές προσπάθειες όπως αυτή είναι επίσης καθοριστικές για πολλές οργανώσεις που ορίζουν αρχές και πρακτικές για υπεύθυνη Τεχνητή Νοημοσύνη για να βελτιώσουν τη δικαιοσύνη στα προϊόντα και τις διαδικασίες ΤΝ τους.
Θέλετε να μάθετε για σχετικά ερευνητικά έργα στη Microsoft;
- Δείτε τα Microsoft Research Projects στην Τεχνητή Νοημοσύνη.
- Εξερευνήστε μαθητικά έργα από το Microsoft Research Data Science Summer School.
- Δείτε το έργο Fairlearn και τις πρωτοβουλίες Responsible AI.
Επιστήμη Δεδομένων + Ανθρωπιστικές Επιστήμες
 |
|---|
| Επιστήμη Δεδομένων & Ψηφιακές Ανθρωπιστικές Επιστήμες - Σκιαγραφία από @nitya |
Οι Ψηφιακές Ανθρωπιστικές Επιστήμες έχουν οριστεί ως "μία συλλογή πρακτικών και προσεγγίσεων που συνδυάζουν υπολογιστικές μεθόδους με ανθρωπιστική έρευνα". Τα έργα του Stanford όπως το "rebooting history" και "poetic thinking" καταδεικνύουν τη σύνδεση μεταξύ Ψηφιακών Ανθρωπιστικών και Επιστήμης Δεδομένων - τονίζοντας τεχνικές όπως ανάλυση δικτύων, οπτικοποίηση πληροφοριών, χωρική και κειμενική ανάλυση που μπορούν να μας βοηθήσουν να επανεξετάσουμε ιστορικά και λογοτεχνικά σύνολα δεδομένων για να αποκομίσουμε νέες γνώσεις και οπτικές.
Θέλετε να εξερευνήσετε και να επεκτείνετε ένα έργο σε αυτόν τον τομέα;
Δείτε το "Emily Dickinson and the Meter of Mood" - ένα εξαιρετικό παράδειγμα από τη Jen Looper που ρωτά πώς μπορούμε να χρησιμοποιήσουμε την επιστήμη δεδομένων για να επανεξετάσουμε οικεία ποιήματα και να ξαναεκτιμήσουμε το νόημά τους και τις συνεισφορές του συγγραφέα σε νέα πλαίσια. Για παράδειγμα, μπορούμε να προβλέψουμε την εποχή κατά την οποία γράφτηκε ένα ποίημα αναλύοντας τον τόνο ή το συναίσθημά του - και τι μας λέει αυτό για την ψυχική κατάσταση του συγγραφέα στη σχετική περίοδο;
Για να απαντήσουμε σε αυτήν την ερώτηση, ακολουθούμε τα βήματα του κύκλου ζωής της επιστήμης δεδομένων:
Απόκτηση Δεδομένων- για τη συλλογή ενός σχετικού συνόλου δεδομένων για ανάλυση. Επιλογές περιλαμβάνουν τη χρήση API (π.χ., Poetry DB API) ή την εξαγωγή δεδομένων από ιστοσελίδες (π.χ., Project Gutenberg) χρησιμοποιώντας εργαλεία όπως το Scrapy.Καθαρισμός Δεδομένων- εξηγεί πώς το κείμενο μπορεί να μορφοποιηθεί, να εξυγιανθεί και να απλοποιηθεί χρησιμοποιώντας βασικά εργαλεία όπως το Visual Studio Code και το Microsoft Excel.Ανάλυση Δεδομένων- εξηγεί πώς μπορούμε τώρα να εισάγουμε το σύνολο δεδομένων σε "Σημειωματάρια" για ανάλυση χρησιμοποιώντας πακέτα Python (όπως pandas, numpy και matplotlib) για την οργάνωση και οπτικοποίηση των δεδομένων.Ανάλυση Συναισθήματος- εξηγεί πώς μπορούμε να ενσωματώσουμε υπηρεσίες νέφους όπως Text Analytics, χρησιμοποιώντας εργαλεία χαμηλού κώδικα όπως το Power Automate για αυτοματοποιημένες ροές εργασίας επεξεργασίας δεδομένων.
Χρησιμοποιώντας αυτή τη ροή εργασίας, μπορούμε να εξερευνήσουμε τις εποχιακές επιδράσεις στο συναίσθημα των ποιημάτων και να μας βοηθήσει να διαμορφώσουμε τις δικές μας οπτικές για τον συγγραφέα. Δοκιμάστε το μόνοι σας - στη συνέχεια επεκτείνετε το σημειωματάριο με ερωτήσεις ή οπτικοποιήσεις των δεδομένων με νέους τρόπους!
Μπορείτε να χρησιμοποιήσετε μερικά από τα εργαλεία στο Digital Humanities toolkit για να ακολουθήσετε αυτές τις ερευνητικές κατευθύνσεις
Επιστήμη Δεδομένων + Βιωσιμότητα
 |
|---|
| Επιστήμη Δεδομένων & Βιωσιμότητα - Σκιαγραφία από @nitya |
Η Ατζέντα 2030 για τη Βιώσιμη Ανάπτυξη - υιοθετημένη από όλα τα μέλη των Ηνωμένων Εθνών το 2015 - προσδιορίζει 17 στόχους, συμπεριλαμβανομένων όσων επικεντρώνονται στην Προστασία του Πλανήτη από τη διάβρωση και τις επιπτώσεις της κλιματικής αλλαγής. Η πρωτοβουλία Microsoft Sustainability υποστηρίζει αυτούς τους στόχους εξερευνώντας τρόπους με τους οποίους οι λύσεις τεχνολογίας μπορούν να στηρίξουν και να οικοδομήσουν πιο βιώσιμα μέλλοντα με έμφαση σε 4 στόχους - να είναι αρνητικοί σε εκπομπές άνθρακα, θετικοί σε νερό, μηδενικά απόβλητα και βιοποικιλόμορφοι έως το 2030.
Η αντιμετώπιση αυτών των προκλήσεων με κλίμακα και έγκαιρα απαιτεί σκέψη σε επίπεδο νέφους - και δεδομένα μεγάλης κλίμακας. Η πρωτοβουλία Planetary Computer παρέχει 4 στοιχεία για να βοηθήσει τους επιστήμονες δεδομένων και προγραμματιστές σε αυτή την προσπάθεια:
-
Κατάλογος Δεδομένων - με πεταμπάιτ δεδομένων συστημάτων Γης (δωρεάν & φιλοξενούμενα στο Azure).
-
Planetary API - για να βοηθά τους χρήστες να αναζητούν σχετικά δεδομένα στο χώρο και το χρόνο.
-
Hub - διαχειριζόμενο περιβάλλον για επιστήμονες για την επεξεργασία τεράστιων γεωχωρικών συνόλων δεδομένων.
-
Εφαρμογές - παρουσιάζει περιπτώσεις χρήσης και εργαλεία για αντιλήψεις βιωσιμότητας. Το Project Planetary Computer βρίσκεται αυτή τη στιγμή σε προεπισκόπηση (από Σεπτέμβριο 2021) - εδώ είναι πώς μπορείτε να ξεκινήσετε να συμβάλλετε σε λύσεις βιωσιμότητας χρησιμοποιώντας την επιστήμη δεδομένων.
-
Αιτηθείτε πρόσβαση για να ξεκινήσετε την εξερεύνηση και να συνδεθείτε με συναδέλφους.
-
Εξερευνήστε την τεκμηρίωση για να κατανοήσετε τα υποστηριζόμενα σύνολα δεδομένων και API.
-
Εξερευνήστε εφαρμογές όπως το Ecosystem Monitoring για έμπνευση σχετικά με ιδέες εφαρμογών.
Σκεφτείτε πώς μπορείτε να χρησιμοποιήσετε την οπτικοποίηση δεδομένων για να αποκαλύψετε ή να ενισχύσετε σχετικά ευρήματα σε τομείς όπως η κλιματική αλλαγή και η αποδάσωση. Ή σκεφτείτε πώς τα ευρήματα μπορούν να χρησιμοποιηθούν για να δημιουργήσουν νέες εμπειρίες χρήστη που να παρακινούν σε αλλαγές συμπεριφοράς για μια πιο βιώσιμη ζωή.
Επιστήμη Δεδομένων + Φοιτητές
Έχουμε μιλήσει για πραγματικές εφαρμογές στη βιομηχανία και την έρευνα, και εξερευνήσει παραδείγματα εφαρμογών επιστήμης δεδομένων στις ψηφιακές ανθρωπιστικές επιστήμες και τη βιωσιμότητα. Οπότε πώς μπορείτε να αναπτύξετε τις δεξιότητές σας και να μοιραστείτε την εμπειρογνωμοσύνη σας ως αρχάριοι στην επιστήμη δεδομένων;
Εδώ είναι μερικά παραδείγματα έργων φοιτητών επιστήμης δεδομένων για να σας εμπνεύσουν.
- MSR Data Science Summer School με GitHub έργα που εξερευνούν θέματα όπως:
- Ψηφιοποίηση υλικής κουλτούρας: Εξερεύνηση κοινωνικοοικονομικών κατανομών στο Sirkap - από την Ornella Altunyan και την ομάδα στο Claremont, χρησιμοποιώντας ArcGIS StoryMaps.
🚀 Πρόκληση
Αναζητήστε άρθρα που προτείνουν έργα επιστήμης δεδομένων φιλικά για αρχάριους - όπως αυτές οι 50 θεματικές περιοχές ή αυτές οι 21 ιδέες έργων ή αυτά τα 16 έργα με πηγαίο κώδικα που μπορείτε να αποσυνθέσετε και να ανασυνθέσετε. Και μην ξεχάσετε να γράψετε στο blog σας για τα ταξίδια μάθησής σας και να μοιραστείτε τις γνώσεις σας με όλους μας.
Διαγώνισμα μετά τη διάλεξη
Διαγώνισμα μετά τη διάλεξη
Ανασκόπηση & Αυτόνομη Μελέτη
Θέλετε να εξερευνήσετε περισσότερες περιπτώσεις χρήσης; Εδώ είναι μερικά σχετικά άρθρα:
- 17 Εφαρμογές και Παραδείγματα Επιστήμης Δεδομένων - Ιούλιος 2021
- 11 Αξιοθαύμαστες Εφαρμογές Επιστήμης Δεδομένων στην Πραγματική Ζωή - Μάιος 2021
- Επιστήμη Δεδομένων στον Πραγματικό Κόσμο - Συλλογή Άρθρων
- 12 Εφαρμογές Επιστήμης Δεδομένων στον Πραγματικό Κόσμο με Παραδείγματα - Μάιος 2024
- Επιστήμη Δεδομένων Σε: Εκπαίδευση, Γεωργία, Οικονομικά, Κινηματογράφος, Υγεία & άλλα.
Εργασία
Εξερευνήστε ένα σύνολο δεδομένων Planetary Computer
Αποποίηση ευθυνών: Αυτό το έγγραφο έχει μεταφραστεί χρησιμοποιώντας την υπηρεσία μετάφρασης με τεχνητή νοημοσύνη Co-op Translator. Ενώ επιδιώκουμε την ακρίβεια, παρακαλούμε να έχετε υπόψη ότι οι αυτοματοποιημένες μεταφράσεις ενδέχεται να περιέχουν λάθη ή ανακρίβειες. Το πρωτότυπο έγγραφο στη μητρική του γλώσσα πρέπει να θεωρείται η αυθεντική πηγή. Για κρίσιμες πληροφορίες, συνιστάται επαγγελματική ανθρώπινη μετάφραση. Δεν φέρουμε ευθύνη για τυχόν παρεξηγήσεις ή λανθασμένες ερμηνείες που προκύπτουν από τη χρήση αυτής της μετάφρασης.