20 KiB
לאמן גלאי מלאי
סקיצה מאת ניטיה נאראסימן. לחצו על התמונה לגרסה גדולה יותר.
הווידאו הזה מספק סקירה על זיהוי אובייקטים באמצעות שירות Azure Custom Vision, שירות שיכוסה בשיעור הזה.
🎥 לחצו על התמונה למעלה לצפייה בווידאו
שאלון לפני השיעור
מבוא
בפרויקט הקודם השתמשתם בבינה מלאכותית כדי לאמן מסווג תמונות - מודל שיכול לזהות אם תמונה מכילה משהו, כמו פרי בשל או לא בשל. סוג נוסף של מודל בינה מלאכותית שניתן להשתמש בו עם תמונות הוא זיהוי אובייקטים. מודלים אלו לא מסווגים תמונה לפי תגיות, אלא מאומנים לזהות אובייקטים ויכולים למצוא אותם בתמונות, לא רק לזהות שהאובייקט קיים אלא גם היכן הוא נמצא בתמונה. זה מאפשר לספור אובייקטים בתמונות.
בשיעור הזה תלמדו על זיהוי אובייקטים, כולל איך ניתן להשתמש בו בקמעונאות. בנוסף תלמדו איך לאמן גלאי אובייקטים בענן.
בשיעור הזה נכסה:
- זיהוי אובייקטים
- שימוש בזיהוי אובייקטים בקמעונאות
- אימון גלאי אובייקטים
- בדיקת גלאי האובייקטים שלכם
- אימון מחדש של גלאי האובייקטים שלכם
זיהוי אובייקטים
זיהוי אובייקטים כולל זיהוי אובייקטים בתמונות באמצעות בינה מלאכותית. בניגוד למסווג התמונות שאימנתם בפרויקט הקודם, זיהוי אובייקטים לא עוסק בניבוי התגית הטובה ביותר לתמונה כולה, אלא במציאת אחד או יותר אובייקטים בתמונה.
זיהוי אובייקטים לעומת סיווג תמונות
סיווג תמונות עוסק בסיווג תמונה כולה - מה ההסתברויות שהתמונה כולה תואמת כל תגית. אתם מקבלים חזרה הסתברויות לכל תגית ששימשה לאימון המודל.
בדוגמה למעלה, שתי תמונות סווגו באמצעות מודל שאומן לסווג קופסאות אגוזי קשיו או פחיות רסק עגבניות. התמונה הראשונה היא קופסה של אגוזי קשיו, ויש לה שני תוצאות ממסווג התמונות:
| תגית | הסתברות |
|---|---|
אגוזי קשיו |
98.4% |
רסק עגבניות |
1.6% |
התמונה השנייה היא פחית של רסק עגבניות, והתוצאות הן:
| תגית | הסתברות |
|---|---|
אגוזי קשיו |
0.7% |
רסק עגבניות |
99.3% |
ניתן להשתמש בערכים אלו עם אחוז סף כדי לנבא מה נמצא בתמונה. אבל מה אם תמונה מכילה מספר פחיות של רסק עגבניות, או גם אגוזי קשיו וגם רסק עגבניות? התוצאות כנראה לא יתנו לכם את מה שאתם רוצים. כאן נכנס זיהוי אובייקטים לתמונה.
זיהוי אובייקטים כולל אימון מודל לזהות אובייקטים. במקום לתת לו תמונות שמכילות את האובייקט ולומר לו שכל תמונה היא תגית אחת או אחרת, אתם מסמנים את החלק בתמונה שמכיל את האובייקט הספציפי ומצמידים לו תגית. ניתן לתייג אובייקט יחיד בתמונה או מספר אובייקטים. כך המודל לומד איך נראה האובייקט עצמו, לא רק איך נראות תמונות שמכילות את האובייקט.
כשמשתמשים בו לניבוי תמונות, במקום לקבל רשימת תגיות ואחוזים, מקבלים רשימת אובייקטים מזוהים, עם תיבת גבול וההסתברות שהתיבה מכילה את האובייקט המתויג.
🎓 תיבות גבול הן התיבות סביב אובייקט.
התמונה למעלה מכילה גם קופסה של אגוזי קשיו וגם שלוש פחיות של רסק עגבניות. גלאי האובייקטים זיהה את אגוזי הקשיו, והחזיר את תיבת הגבול שמכילה את אגוזי הקשיו עם אחוז ההסתברות שהתיבה מכילה את האובייקט, במקרה הזה 97.6%. גלאי האובייקטים גם זיהה שלוש פחיות של רסק עגבניות, ומספק שלוש תיבות גבול נפרדות, אחת לכל פחית מזוהה, וכל אחת עם אחוז הסתברות שהתיבה מכילה פחית של רסק עגבניות.
✅ חשבו על כמה תרחישים שונים שבהם תרצו להשתמש במודלים מבוססי תמונה של בינה מלאכותית. אילו מהם ידרשו סיווג, ואילו ידרשו זיהוי אובייקטים?
איך עובד זיהוי אובייקטים
זיהוי אובייקטים משתמש במודלים מורכבים של למידת מכונה. מודלים אלו עובדים על ידי חלוקת התמונה לתאים רבים, ואז בודקים אם מרכז תיבת הגבול הוא מרכז תמונה שתואמת אחת מהתמונות ששימשו לאימון המודל. ניתן לחשוב על זה כמו הרצת מסווג תמונות על חלקים שונים של התמונה כדי לחפש התאמות.
💁 זו פשטנות יתר משמעותית. ישנן טכניקות רבות לזיהוי אובייקטים, וניתן לקרוא עליהן עוד בעמוד זיהוי אובייקטים בויקיפדיה.
ישנם מספר מודלים שונים שיכולים לבצע זיהוי אובייקטים. מודל מפורסם במיוחד הוא YOLO (You only look once), שהוא מהיר מאוד ויכול לזהות 20 סוגים שונים של אובייקטים, כמו אנשים, כלבים, בקבוקים ומכוניות.
✅ קראו על מודל YOLO באתר pjreddie.com/darknet/yolo/
ניתן לאמן מחדש מודלים של זיהוי אובייקטים באמצעות למידה מעבירה כדי לזהות אובייקטים מותאמים אישית.
שימוש בזיהוי אובייקטים בקמעונאות
לזיהוי אובייקטים יש שימושים רבים בקמעונאות. חלקם כוללים:
- בדיקת מלאי וספירה - זיהוי מתי המלאי נמוך על המדפים. אם המלאי נמוך מדי, ניתן לשלוח התראות לצוות או לרובוטים כדי למלא את המדפים מחדש.
- זיהוי מסכות - בחנויות עם מדיניות מסכות במהלך אירועים בריאותיים ציבוריים, זיהוי אובייקטים יכול לזהות אנשים עם מסכות ואלו ללא.
- חיוב אוטומטי - זיהוי פריטים שנלקחו מהמדפים בחנויות אוטומטיות וחיוב לקוחות בהתאם.
- זיהוי מפגעים - זיהוי פריטים שבורים על הרצפה או נוזלים שנשפכו, ושליחת התראות לצוותי ניקיון.
✅ בצעו מחקר: מהם עוד שימושים אפשריים לזיהוי אובייקטים בקמעונאות?
אימון גלאי אובייקטים
ניתן לאמן גלאי אובייקטים באמצעות Custom Vision, באופן דומה לאופן שבו אימנתם מסווג תמונות.
משימה - יצירת גלאי אובייקטים
-
צרו קבוצת משאבים לפרויקט הזה בשם
stock-detector. -
צרו משאב אימון חינמי של Custom Vision ומשאב ניבוי חינמי של Custom Vision בקבוצת המשאבים
stock-detector. קראו להםstock-detector-trainingו-stock-detector-prediction.💁 ניתן ליצור רק משאב אימון וניבוי חינמי אחד, אז ודאו שניקיתם את הפרויקט מהשיעורים הקודמים.
⚠️ ניתן להתייחס להוראות ליצירת משאבי אימון וניבוי מפרויקט 4, שיעור 1 אם יש צורך](../../../4-manufacturing/lessons/1-train-fruit-detector/README.md#task---create-a-cognitive-services-resource).
-
הפעילו את פורטל Custom Vision בכתובת CustomVision.ai, והתחברו עם חשבון Microsoft שבו השתמשתם עבור חשבון Azure שלכם.
-
עקבו אחרי החלק של יצירת פרויקט חדש במדריך המהיר לבניית גלאי אובייקטים בתיעוד של Microsoft כדי ליצור פרויקט חדש של Custom Vision. ממשק המשתמש עשוי להשתנות והתיעוד הזה תמיד יהיה המקור המעודכן ביותר.
קראו לפרויקט שלכם
stock-detector.כשאתם יוצרים את הפרויקט, ודאו שאתם משתמשים במשאב
stock-detector-trainingשיצרתם קודם. השתמשו בסוג הפרויקט Object Detection ובתחום Products on Shelves.
✅ תחום המוצרים על המדפים מותאם במיוחד לזיהוי מלאי על מדפי חנויות. קראו עוד על התחומים השונים בתיעוד בחירת תחום בתיעוד של Microsoft
✅ הקדישו זמן לחקור את ממשק המשתמש של Custom Vision עבור גלאי האובייקטים שלכם.
משימה - אימון גלאי האובייקטים שלכם
כדי לאמן את המודל שלכם תצטרכו סט תמונות שמכילות את האובייקטים שברצונכם לזהות.
-
אספו תמונות שמכילות את האובייקט שברצונכם לזהות. תצטרכו לפחות 15 תמונות שמכילות כל אובייקט שברצונכם לזהות מזוויות שונות ובתנאי תאורה שונים, אבל ככל שיש יותר תמונות, כך טוב יותר. גלאי האובייקטים הזה משתמש בתחום Products on Shelves, אז נסו לסדר את האובייקטים כאילו הם על מדף חנות. תצטרכו גם כמה תמונות כדי לבדוק את המודל. אם אתם מזהים יותר מאובייקט אחד, תרצו כמה תמונות בדיקה שמכילות את כל האובייקטים.
💁 תמונות עם מספר אובייקטים שונים נחשבות למינימום של 15 תמונות עבור כל האובייקטים בתמונה.
התמונות שלכם צריכות להיות בפורמט png או jpeg, קטנות מ-6MB. אם יצרתם אותן עם אייפון למשל, הן עשויות להיות תמונות HEIC ברזולוציה גבוהה, ולכן תצטרכו להמיר אותן ואולי גם להקטין אותן. ככל שיש יותר תמונות, כך טוב יותר, וכדאי שיהיה מספר דומה של פריטים בשלים ולא בשלים.
המודל מיועד למוצרים על מדפים, אז נסו לצלם את התמונות של האובייקטים על מדפים.
תוכלו למצוא כמה תמונות לדוגמה שניתן להשתמש בהן בתיקיית images של אגוזי קשיו ורסק עגבניות.
-
עקבו אחרי החלק של העלאת תמונות ותיוגן במדריך המהיר לבניית גלאי אובייקטים בתיעוד של Microsoft כדי להעלות את תמונות האימון שלכם. צרו תגיות רלוונטיות בהתאם לסוגי האובייקטים שברצונכם לזהות.
כשאתם מציירים תיבות גבול עבור אובייקטים, שמרו אותן צמודות לאובייקט. זה יכול לקחת זמן לסמן את כל התמונות, אבל הכלי יזהה מה הוא חושב כתיבות גבול, מה שיכול להאיץ את התהליך.
💁 אם יש לכם יותר מ-15 תמונות עבור כל אובייקט, תוכלו לאמן אחרי 15 ואז להשתמש בתכונת Suggested tags. זה ישתמש במודל המאומן כדי לזהות את האובייקטים בתמונה הלא מתויגת. תוכלו אז לאשר את האובייקטים המזוהים או לדחות ולצייר מחדש את תיבות הגבול. זה יכול לחסוך הרבה זמן.
-
עקבו אחרי החלק של אימון הגלאי במדריך המהיר לבניית גלאי אובייקטים בתיעוד של Microsoft כדי לאמן את גלאי האובייקטים על התמונות המתויגות שלכם.
תינתן לכם אפשרות לבחור סוג אימון. בחרו Quick Training.
גלאי האובייקטים יתחיל להתאמן. זה ייקח כמה דקות עד שהאימון יושלם.
בדיקת גלאי האובייקטים שלכם
לאחר שגלאי האובייקטים שלכם מאומן, תוכלו לבדוק אותו על ידי מתן תמונות חדשות כדי לזהות אובייקטים בתוכן.
משימה - בדיקת גלאי האובייקטים שלכם
-
השתמשו בכפתור Quick Test כדי להעלות תמונות בדיקה ולאמת שהאובייקטים מזוהים. השתמשו בתמונות הבדיקה שיצרתם קודם, לא באף אחת מהתמונות ששימשו לאימון.
-
נסו את כל תמונות הבדיקה שיש לכם וצפו בהסתברויות.
אימון מחדש של גלאי האובייקטים שלכם
כשאתם בודקים את גלאי האובייקטים שלכם, ייתכן שהוא לא ייתן את התוצאות שציפיתם להן, כמו עם מסווגי תמונות בפרויקט הקודם. תוכלו לשפר את גלאי האובייקטים שלכם על ידי אימון מחדש עם תמונות שהוא טועה בהן.
בכל פעם שאתם מבצעים ניבוי באמצעות אפשרות הבדיקה המהירה, התמונה והתוצאות נשמרות. תוכלו להשתמש בתמונות אלו כדי לאמן מחדש את המודל שלכם.
-
השתמשו בלשונית Predictions כדי לאתר את התמונות שבהן השתמשתם לבדיקה.
-
אשרו כל זיהוי מדויק, מחקו זיהויים שגויים והוסיפו אובייקטים חסרים.
-
אימנו מחדש ובדקו שוב את המודל.
🚀 אתגר
מה יקרה אם תשתמשו בגלאי האובייקטים עם פריטים דומים למראה, כמו פחיות של רסק עגבניות ועגבניות קצוצות מאותו מותג?
אם יש לכם פריטים דומים למראה, נסו להוסיף תמונות שלהם לגלאי האובייקטים שלכם ולבדוק את התוצאות.
שאלון אחרי השיעור
סקירה ולימוד עצמי
- כאשר אימנת את גלאי האובייקטים שלך, ראית ערכים עבור Precision, Recall ו-mAP שמדרגים את המודל שנוצר. קרא על מה הערכים הללו באמצעות החלק "הערכת הגלאי" במדריך המהיר לבניית גלאי אובייקטים בדוקומנטציה של Microsoft
- קרא עוד על זיהוי אובייקטים בעמוד זיהוי אובייקטים בוויקיפדיה
משימה
כתב ויתור:
מסמך זה תורגם באמצעות שירות תרגום מבוסס בינה מלאכותית Co-op Translator. למרות שאנו שואפים לדיוק, יש לקחת בחשבון שתרגומים אוטומטיים עשויים להכיל שגיאות או אי-דיוקים. המסמך המקורי בשפתו המקורית צריך להיחשב כמקור הסמכותי. למידע קריטי, מומלץ להשתמש בתרגום מקצועי על ידי בני אדם. איננו נושאים באחריות לאי-הבנות או לפרשנויות שגויות הנובעות משימוש בתרגום זה.