22 KiB

Raw Permalink Blame History Unescape Escape

Έλεγχος ποιότητας φρούτων από μια συσκευή IoT

Σκίτσο από τη Nitya Narasimhan. Κάντε κλικ στην εικόνα για μεγαλύτερη έκδοση.

Κουίζ πριν το μάθημα

Εισαγωγή

Στο προηγούμενο μάθημα μάθατε για τους ταξινομητές εικόνων και πώς να τους εκπαιδεύετε για να ανιχνεύουν καλά και κακά φρούτα. Για να χρησιμοποιήσετε αυτόν τον ταξινομητή εικόνων σε μια εφαρμογή IoT, χρειάζεται να μπορείτε να καταγράψετε μια εικόνα χρησιμοποιώντας κάποια κάμερα και να στείλετε αυτή την εικόνα στο cloud για ταξινόμηση.

Σε αυτό το μάθημα θα μάθετε για τους αισθητήρες κάμερας και πώς να τους χρησιμοποιείτε με μια συσκευή IoT για να καταγράφετε εικόνες. Θα μάθετε επίσης πώς να καλείτε τον ταξινομητή εικόνων από τη συσκευή IoT σας.

Σε αυτό το μάθημα θα καλύψουμε:

Αισθητήρες κάμερας

Οι αισθητήρες κάμερας, όπως υποδηλώνει το όνομά τους, είναι κάμερες που μπορείτε να συνδέσετε στη συσκευή IoT σας. Μπορούν να τραβήξουν στατικές εικόνες ή να καταγράψουν ροή βίντεο. Κάποιες επιστρέφουν ακατέργαστα δεδομένα εικόνας, ενώ άλλες συμπιέζουν τα δεδομένα σε αρχεία εικόνας όπως JPEG ή PNG. Συνήθως, οι κάμερες που λειτουργούν με συσκευές IoT είναι πολύ μικρότερες και χαμηλότερης ανάλυσης από αυτές που ίσως έχετε συνηθίσει, αλλά μπορείτε να βρείτε κάμερες υψηλής ανάλυσης που ανταγωνίζονται τα κορυφαία κινητά τηλέφωνα. Υπάρχουν επίσης εναλλάξιμοι φακοί, πολλαπλές ρυθμίσεις καμερών, θερμικές κάμερες υπερύθρων ή κάμερες UV.

Οι περισσότεροι αισθητήρες κάμερας χρησιμοποιούν αισθητήρες εικόνας όπου κάθε pixel είναι μια φωτοδίοδος. Ένας φακός εστιάζει την εικόνα στον αισθητήρα εικόνας, και χιλιάδες ή εκατομμύρια φωτοδιόδοι ανιχνεύουν το φως που πέφτει σε κάθε μία και το καταγράφουν ως δεδομένα pixel.

💁 Οι φακοί αντιστρέφουν τις εικόνες, και ο αισθητήρας κάμερας τις επαναφέρει στη σωστή κατεύθυνση. Το ίδιο συμβαίνει και στα μάτια σας - αυτό που βλέπετε ανιχνεύεται ανάποδα στο πίσω μέρος του ματιού σας και ο εγκέφαλός σας το διορθώνει.

🎓 Ο αισθητήρας εικόνας είναι γνωστός ως Αισθητήρας Ενεργού Pixel (APS), και ο πιο δημοφιλής τύπος APS είναι ένας αισθητήρας συμπληρωματικού ημιαγωγού μεταλλικού οξειδίου, ή CMOS. Ίσως έχετε ακούσει τον όρο αισθητήρας CMOS για τους αισθητήρες κάμερας.

Οι αισθητήρες κάμερας είναι ψηφιακοί αισθητήρες, που στέλνουν δεδομένα εικόνας ως ψηφιακά δεδομένα, συνήθως με τη βοήθεια μιας βιβλιοθήκης που παρέχει την επικοινωνία. Οι κάμερες συνδέονται χρησιμοποιώντας πρωτόκολλα όπως το SPI για να επιτρέπουν τη μεταφορά μεγάλων ποσοτήτων δεδομένων - οι εικόνες είναι σημαντικά μεγαλύτερες από απλούς αριθμούς από έναν αισθητήρα όπως ένας αισθητήρας θερμοκρασίας.

✅ Ποιοι είναι οι περιορισμοί σχετικά με το μέγεθος της εικόνας στις συσκευές IoT; Σκεφτείτε τους περιορισμούς ειδικά στο υλικό των μικροελεγκτών.

Καταγραφή εικόνας με συσκευή IoT

Μπορείτε να χρησιμοποιήσετε τη συσκευή IoT σας για να καταγράψετε μια εικόνα που θα ταξινομηθεί.

Εργασία - καταγραφή εικόνας με συσκευή IoT

Ακολουθήστε τον σχετικό οδηγό για να καταγράψετε μια εικόνα με τη συσκευή IoT σας:

Δημοσίευση του ταξινομητή εικόνων

Εκπαιδεύσατε τον ταξινομητή εικόνων στο προηγούμενο μάθημα. Πριν μπορέσετε να τον χρησιμοποιήσετε από τη συσκευή IoT σας, πρέπει να δημοσιεύσετε το μοντέλο.

Επαναλήψεις μοντέλου

Όταν το μοντέλο σας εκπαιδευόταν στο προηγούμενο μάθημα, ίσως παρατηρήσατε ότι η καρτέλα Απόδοση δείχνει επαναλήψεις στο πλάι. Όταν εκπαιδεύσατε το μοντέλο για πρώτη φορά, θα είδατε την Επανάληψη 1 στην εκπαίδευση. Όταν βελτιώσατε το μοντέλο χρησιμοποιώντας τις εικόνες πρόβλεψης, θα είδατε την Επανάληψη 2 στην εκπαίδευση.

Κάθε φορά που εκπαιδεύετε το μοντέλο, δημιουργείται μια νέα επανάληψη. Αυτός είναι ένας τρόπος να παρακολουθείτε τις διαφορετικές εκδόσεις του μοντέλου σας που έχουν εκπαιδευτεί σε διαφορετικά σύνολα δεδομένων. Όταν κάνετε μια Γρήγορη Δοκιμή, υπάρχει ένα αναπτυσσόμενο μενού που μπορείτε να χρησιμοποιήσετε για να επιλέξετε την επανάληψη, ώστε να συγκρίνετε τα αποτελέσματα μεταξύ πολλαπλών επαναλήψεων.

Όταν είστε ικανοποιημένοι με μια επανάληψη, μπορείτε να τη δημοσιεύσετε για να είναι διαθέσιμη για χρήση από εξωτερικές εφαρμογές. Με αυτόν τον τρόπο, μπορείτε να έχετε μια δημοσιευμένη έκδοση που χρησιμοποιείται από τις συσκευές σας, ενώ εργάζεστε σε μια νέα έκδοση με πολλαπλές επαναλήψεις, και να τη δημοσιεύσετε όταν είστε ικανοποιημένοι με αυτήν.

Εργασία - δημοσίευση μιας επανάληψης

Οι επαναλήψεις δημοσιεύονται από την πύλη Custom Vision.

Ανοίξτε την πύλη Custom Vision στο CustomVision.ai και συνδεθείτε αν δεν την έχετε ήδη ανοιχτή. Στη συνέχεια, ανοίξτε το έργο σας fruit-quality-detector.
Επιλέξτε την καρτέλα Απόδοση από τις επιλογές στο επάνω μέρος.
Επιλέξτε την τελευταία επανάληψη από τη λίστα Επαναλήψεις στο πλάι.
Επιλέξτε το κουμπί Δημοσίευση για την επανάληψη.
Στο παράθυρο διαλόγου Δημοσίευση Μοντέλου, ορίστε τον Πόρο Πρόβλεψης στον πόρο fruit-quality-detector-prediction που δημιουργήσατε στο προηγούμενο μάθημα. Αφήστε το όνομα ως Iteration2 και επιλέξτε το κουμπί Δημοσίευση.
Μόλις δημοσιευτεί, επιλέξτε το κουμπί URL Πρόβλεψης. Αυτό θα εμφανίσει λεπτομέρειες για το API πρόβλεψης, και θα χρειαστείτε αυτές τις πληροφορίες για να καλέσετε το μοντέλο από τη συσκευή IoT σας. Το κάτω μέρος είναι με την ένδειξη Αν έχετε ένα αρχείο εικόνας, και αυτές είναι οι λεπτομέρειες που θέλετε. Αντιγράψτε το URL που εμφανίζεται, το οποίο θα είναι κάτι σαν:
```
https://<location>.api.cognitive.microsoft.com/customvision/v3.0/Prediction/<id>/classify/iterations/Iteration2/image
```
Όπου το <location> θα είναι η τοποθεσία που χρησιμοποιήσατε κατά τη δημιουργία του πόρου Custom Vision, και το <id> θα είναι ένα μεγάλο ID που αποτελείται από γράμματα και αριθμούς.

Επίσης, αντιγράψτε την τιμή του Prediction-Key. Αυτό είναι ένα ασφαλές κλειδί που πρέπει να περάσετε όταν καλείτε το μοντέλο. Μόνο εφαρμογές που περνούν αυτό το κλειδί επιτρέπεται να χρησιμοποιούν το μοντέλο, ενώ οποιεσδήποτε άλλες εφαρμογές απορρίπτονται.

✅ Όταν δημοσιεύεται μια νέα επανάληψη, θα έχει διαφορετικό όνομα. Πώς νομίζετε ότι θα αλλάζατε την επανάληψη που χρησιμοποιεί μια συσκευή IoT;

Ταξινόμηση εικόνων από τη συσκευή IoT

Μπορείτε τώρα να χρησιμοποιήσετε αυτές τις λεπτομέρειες σύνδεσης για να καλέσετε τον ταξινομητή εικόνων από τη συσκευή IoT σας.

Εργασία - ταξινόμηση εικόνων από τη συσκευή IoT

Ακολουθήστε τον σχετικό οδηγό για να ταξινομήσετε εικόνες χρησιμοποιώντας τη συσκευή IoT σας:

Βελτίωση του μοντέλου

Ίσως διαπιστώσετε ότι τα αποτελέσματα που λαμβάνετε όταν χρησιμοποιείτε την κάμερα συνδεδεμένη στη συσκευή IoT σας δεν αντιστοιχούν σε αυτά που θα περιμένατε. Οι προβλέψεις δεν είναι πάντα τόσο ακριβείς όσο όταν χρησιμοποιείτε εικόνες που ανεβάζετε από τον υπολογιστή σας. Αυτό συμβαίνει επειδή το μοντέλο εκπαιδεύτηκε με διαφορετικά δεδομένα από αυτά που χρησιμοποιούνται για τις προβλέψεις.

Για να έχετε τα καλύτερα αποτελέσματα από έναν ταξινομητή εικόνων, θέλετε να εκπαιδεύσετε το μοντέλο με εικόνες που είναι όσο το δυνατόν πιο παρόμοιες με τις εικόνες που χρησιμοποιούνται για τις προβλέψεις. Αν, για παράδειγμα, χρησιμοποιήσατε την κάμερα του τηλεφώνου σας για να καταγράψετε εικόνες για την εκπαίδευση, η ποιότητα της εικόνας, η ευκρίνεια και τα χρώματα θα είναι διαφορετικά από μια κάμερα συνδεδεμένη σε μια συσκευή IoT.

Στην παραπάνω εικόνα, η εικόνα της μπανάνας στα αριστερά τραβήχτηκε χρησιμοποιώντας μια κάμερα Raspberry Pi, ενώ η εικόνα στα δεξιά τραβήχτηκε της ίδιας μπανάνας στον ίδιο χώρο χρησιμοποιώντας ένα iPhone. Υπάρχει εμφανής διαφορά στην ποιότητα - η εικόνα από το iPhone είναι πιο ευκρινής, με πιο φωτεινά χρώματα και μεγαλύτερη αντίθεση.

✅ Τι άλλο μπορεί να προκαλέσει λανθασμένες προβλέψεις στις εικόνες που καταγράφονται από τη συσκευή IoT σας; Σκεφτείτε το περιβάλλον στο οποίο μπορεί να χρησιμοποιηθεί μια συσκευή IoT, ποιοι παράγοντες μπορούν να επηρεάσουν την εικόνα που καταγράφεται;

Για να βελτιώσετε το μοντέλο, μπορείτε να το επανεκπαιδεύσετε χρησιμοποιώντας τις εικόνες που καταγράφηκαν από τη συσκευή IoT.

Εργασία - βελτίωση του μοντέλου

Ταξινομήστε πολλαπλές εικόνες ώριμων και άγουρων φρούτων χρησιμοποιώντας τη συσκευή IoT σας.
Στην πύλη Custom Vision, επανεκπαιδεύστε το μοντέλο χρησιμοποιώντας τις εικόνες στην καρτέλα Προβλέψεις.

⚠️ Μπορείτε να ανατρέξετε στις οδηγίες για την επανεκπαίδευση του ταξινομητή σας στο μάθημα 1 αν χρειαστεί.
Αν οι εικόνες σας φαίνονται πολύ διαφορετικές από τις αρχικές που χρησιμοποιήθηκαν για την εκπαίδευση, μπορείτε να διαγράψετε όλες τις αρχικές εικόνες επιλέγοντάς τες στην καρτέλα Εικόνες Εκπαίδευσης και επιλέγοντας το κουμπί Διαγραφή. Για να επιλέξετε μια εικόνα, μετακινήστε τον κέρσορα πάνω της και θα εμφανιστεί ένα τικ, επιλέξτε αυτό το τικ για να επιλέξετε ή να αποεπιλέξετε την εικόνα.
Εκπαιδεύστε μια νέα επανάληψη του μοντέλου και δημοσιεύστε την χρησιμοποιώντας τα παραπάνω βήματα.
Ενημερώστε το URL του endpoint στον κώδικά σας και εκτελέστε ξανά την εφαρμογή.
Επαναλάβετε αυτά τα βήματα μέχρι να είστε ικανοποιημένοι με τα αποτελέσματα των προβλέψεων.

🚀 Πρόκληση

Πόσο επηρεάζει η ανάλυση της εικόνας ή ο φωτισμός την πρόβλεψη;

Δοκιμάστε να αλλάξετε την ανάλυση των εικόνων στον κώδικα της συσκευής σας και δείτε αν κάνει διαφορά στην ποιότητα των εικόνων. Δοκιμάστε επίσης να αλλάξετε τον φωτισμό.

Αν επρόκειτο να δημιουργήσετε μια συσκευή παραγωγής για πώληση σε φάρμες ή εργοστάσια, πώς θα διασφαλίζατε ότι παρέχει συνεπή αποτελέσματα κάθε φορά;

Κουίζ μετά το μάθημα

Ανασκόπηση & Αυτομελέτη

Εκπαιδεύσατε το μοντέλο Custom Vision χρησιμοποιώντας την πύλη. Αυτό βασίζεται στη διαθεσιμότητα εικόνων - και στον πραγματικό κόσμο μπορεί να μην μπορείτε να αποκτήσετε δεδομένα εκπαίδευσης που να ταιριάζουν με αυτά που καταγράφει η κάμερα της συσκευής σας. Μπορείτε να παρακάμψετε αυτό το πρόβλημα εκπαιδεύοντας απευθείας από τη συσκευή σας χρησιμοποιώντας το API εκπαίδευσης, για να εκπαιδεύσετε ένα μοντέλο χρησιμοποιώντας εικόνες που καταγράφηκαν από τη συσκευή IoT σας.

Διαβάστε για το API εκπαίδευσης στον γρήγορο οδηγό χρήσης του Custom Vision SDK

Εργασία

Ανταπόκριση στα αποτελέσματα ταξινόμησης

Αποποίηση ευθύνης:
Αυτό το έγγραφο έχει μεταφραστεί χρησιμοποιώντας την υπηρεσία αυτόματης μετάφρασης AI Co-op Translator. Παρόλο που καταβάλλουμε προσπάθειες για ακρίβεια, παρακαλούμε να έχετε υπόψη ότι οι αυτοματοποιημένες μεταφράσεις ενδέχεται να περιέχουν λάθη ή ανακρίβειες. Το πρωτότυπο έγγραφο στη μητρική του γλώσσα θα πρέπει να θεωρείται η αυθεντική πηγή. Για κρίσιμες πληροφορίες, συνιστάται επαγγελματική ανθρώπινη μετάφραση. Δεν φέρουμε ευθύνη για τυχόν παρεξηγήσεις ή εσφαλμένες ερμηνείες που προκύπτουν από τη χρήση αυτής της μετάφρασης.

22 KiB Raw Permalink Blame History Unescape Escape