12 KiB
從物聯網設備檢查庫存
手繪筆記由 Nitya Narasimhan 提供。點擊圖片查看更大版本。
課前測驗
簡介
在上一課中，你學習了物件偵測在零售中的不同應用，也學會了如何訓練物件偵測器來識別庫存。在本課中，你將學習如何從物聯網設備使用你的物件偵測器來計算庫存。
本課內容包括：
🗑 這是本專案的最後一課，因此在完成本課和作業後，別忘了清理你的雲端服務。你需要這些服務來完成作業，所以請確保先完成作業。
如有需要，請參考清理專案指南以獲取相關指導。
庫存計算
物件偵測器可以用於檢查庫存，無論是計算庫存數量還是確保庫存位於正確位置。配備攝像頭的物聯網設備可以部署在商店的各個地方來監控庫存，尤其是那些需要頻繁補貨的熱點區域，例如存放少量高價值商品的區域。
例如，如果一個攝像頭對準一組可以容納8罐番茄醬的貨架，而物件偵測器只偵測到7罐，那麼就缺少了一罐，需要補貨。
在上圖中，物件偵測器偵測到貨架上有7罐番茄醬，而該貨架可以容納8罐。不僅物聯網設備可以發送補貨通知，它甚至可以提供缺失物品的位置資訊，這對於使用機器人補貨的情況尤為重要。
💁 根據商店和商品的受歡迎程度，如果只缺少一罐，可能不會立即補貨。你需要根據產品、顧客和其他標準建立一個決定何時補貨的演算法。
✅ 在哪些其他情境下，你可以結合物件偵測和機器人技術？
有時候，貨架上可能會出現錯誤的庫存。這可能是補貨時的人為錯誤，或者是顧客改變購買決定後將商品放回第一個可用空間。如果是罐裝食品等非易腐商品，這只是個小麻煩；但如果是冷凍或冷藏食品等易腐商品，則可能導致商品無法再出售，因為無法確定該商品離開冷凍區的時間。
物件偵測可以用來偵測意外出現的物品，並通知人員或機器人盡快將其歸位。
在上圖中，一罐玉米罐頭被放在了番茄醬的貨架上。物件偵測器偵測到了這一情況，使物聯網設備能夠通知人員或機器人將罐頭歸位。
從物聯網設備調用物件偵測器
你在上一課中訓練的物件偵測器可以從物聯網設備調用。
任務 - 發佈物件偵測器的迭代版本
迭代版本可以從 Custom Vision 入口網站發佈。
-
打開 CustomVision.ai 並登入，如果尚未開啟，請打開你的
stock-detector專案。 -
從頂部選項中選擇 Performance 標籤。
-
從側邊的 Iterations 列表中選擇最新的迭代版本。
-
點擊該迭代版本的 Publish 按鈕。
-
在 Publish Model 對話框中，將 Prediction resource 設置為你在上一課中創建的
stock-detector-prediction資源。保持名稱為Iteration2，然後選擇 Publish 按鈕。 -
發佈後，選擇 Prediction URL 按鈕。這將顯示預測 API 的詳細資訊，你需要這些資訊來從物聯網設備調用模型。下方標記為 If you have an image file 的部分是你需要的詳細資訊。複製顯示的 URL，該 URL 可能類似於：
https://<location>.api.cognitive.microsoft.com/customvision/v3.0/Prediction/<id>/detect/iterations/Iteration2/image其中
<location>是你創建 Custom Vision 資源時使用的位置，<id>是由字母和數字組成的一個長 ID。同時複製 Prediction-Key 值。這是一個安全密鑰，調用模型時必須傳遞該密鑰。只有傳遞此密鑰的應用程式才能使用模型，其他應用程式將被拒絕。
✅ 當發佈新的迭代版本時，它會有不同的名稱。你認為應該如何更改物聯網設備使用的迭代版本？
任務 - 從物聯網設備調用物件偵測器
按照以下相關指南，從你的物聯網設備使用物件偵測器：
邊界框
使用物件偵測器時，你不僅會獲得被偵測物件的標籤和概率，還會獲得物件的邊界框。這些邊界框定義了物件偵測器以給定概率偵測到物件的位置。
💁 邊界框是一個框，用於定義包含被偵測物件的區域，框的邊界即為物件的範圍。
在 Custom Vision 的 Predictions 標籤中，預測結果會在發送進行預測的圖像上繪製邊界框。
在上圖中，偵測到4罐番茄醬。在結果中，每個被偵測物件的圖像上都疊加了一個紅色方框，表示該物件的邊界框。
✅ 打開 Custom Vision 的預測結果，查看邊界框。
邊界框由4個值定義：上（top）、左（left）、高（height）和寬（width）。這些值的範圍是0到1，表示相對於圖像大小的百分比位置。原點（0,0）是圖像的左上角，因此上值是距離頂部的距離，而邊界框的底部是上值加上高度。
上圖的寬度為600像素，高度為800像素。邊界框從320像素處開始，對應的上值為0.4（800 x 0.4 = 320）。從左側開始，邊界框距離240像素，對應的左值為0.4（600 x 0.4 = 240）。邊界框的高度為240像素，對應的高值為0.3（800 x 0.3 = 240）。邊界框的寬度為120像素，對應的寬值為0.2（600 x 0.2 = 120）。
| 座標 | 值 |
|---|---|
| 上 | 0.4 |
| 左 | 0.4 |
| 高度 | 0.3 |
| 寬度 | 0.2 |
使用0到1的百分比值意味著無論圖像被縮放到什麼大小，邊界框都會從0.4的位置開始，並且高度為0.3，寬度為0.2。
你可以結合邊界框和概率來評估偵測的準確性。例如，物件偵測器可能會偵測到多個重疊的物件，例如一個罐頭在另一個罐頭內部。你的程式碼可以檢查邊界框，判斷這是不可能的，並忽略任何與其他物件有顯著重疊的物件。
在上圖中，一個邊界框表示一罐番茄醬，預測概率為78.3%。另一個邊界框稍小，位於第一個邊界框內部，概率為64.3%。你的程式碼可以檢查邊界框，發現它們完全重疊，並忽略較低概率的邊界框，因為不可能一個罐頭在另一個罐頭內部。
✅ 你能想到哪些情境下，偵測到一個物件在另一個物件內部是合理的？
重新訓練模型
與圖像分類器類似，你可以使用物聯網設備捕獲的數據重新訓練模型。使用這些真實世界的數據可以確保模型在物聯網設備上運行良好。
與圖像分類器不同的是，你不能僅僅標記一張圖像。相反，你需要檢查模型偵測到的每個邊界框。如果邊界框圍繞錯誤的物件，則需要刪除；如果位置不正確，則需要調整。
任務 - 重新訓練模型
-
確保你已使用物聯網設備捕獲了一系列圖像。
-
在 Predictions 標籤中，選擇一張圖像。你會看到紅色框，表示偵測到的物件的邊界框。
-
檢查每個邊界框。首先選擇它，你會看到一個彈出視窗顯示標籤。如果需要，使用邊界框角上的控制點調整大小。如果標籤錯誤，使用 X 按鈕刪除並添加正確的標籤。如果邊界框不包含物件，使用垃圾桶按鈕刪除它。
-
完成後關閉編輯器，圖像將從 Predictions 標籤移至 Training Images 標籤。對所有預測重複此過程。
-
使用 Train 按鈕重新訓練模型。訓練完成後，發佈新的迭代版本，並更新物聯網設備以使用新迭代版本的 URL。
-
重新部署程式碼並測試你的物聯網設備。
計算庫存
結合偵測到的物件數量和邊界框，你可以計算貨架上的庫存。
任務 - 計算庫存
按照以下相關指南，使用物件偵測器的結果從你的物聯網設備計算庫存：
🚀 挑戰
你能偵測到錯誤的庫存嗎？訓練你的模型以識別多種物件，然後更新你的應用程式，在偵測到錯誤的庫存時發出警報。
甚至可以進一步嘗試，偵測同一貨架上的並排庫存，並通過定義邊界框的限制來檢查是否有物品被放錯位置。
課後測驗
回顧與自學
- 了解更多關於如何設計端到端庫存偵測系統，請參考 Microsoft Docs 上的邊緣缺貨偵測模式指南。
- 觀看 Behind the scenes of a retail solution - Hands On! 的 YouTube 視頻，了解如何結合多種物聯網和雲端服務構建端到端零售解決方案。
作業
免責聲明：
本文件已使用 AI 翻譯服務 Co-op Translator 進行翻譯。儘管我們努力確保翻譯的準確性，但請注意，自動翻譯可能包含錯誤或不準確之處。原始文件的母語版本應被視為權威來源。對於關鍵信息，建議尋求專業人工翻譯。我們對因使用此翻譯而引起的任何誤解或錯誤解釋不承擔責任。