11 KiB
從物聯網設備檢查庫存
手繪筆記由 Nitya Narasimhan 提供。點擊圖片查看更大版本。
課前測驗
簡介
在上一課中，你學到了物件偵測在零售中的不同用途，也學會了如何訓練物件偵測器來識別庫存。在本課中，你將學習如何從物聯網設備使用物件偵測器來計算庫存。
本課內容包括：
🗑 這是本專案的最後一課，因此在完成本課和作業後，別忘了清理你的雲端服務。你需要這些服務來完成作業，所以請確保先完成作業。
如有需要，請參考清理專案指南以獲取相關指示。
庫存計算
物件偵測器可以用於庫存檢查，無論是計算庫存數量還是確保庫存位於正確位置。配備攝影機的物聯網設備可以部署在商店各處以監控庫存，首先從需要頻繁補貨的重要區域開始，例如存放少量高價商品的區域。
例如，如果攝影機對準一組可以容納8罐番茄醬的貨架，而物件偵測器只偵測到7罐，那麼就缺少一罐，需要補貨。
在上圖中，物件偵測器偵測到貨架上有7罐番茄醬，而該貨架可以容納8罐。不僅物聯網設備可以發送需要補貨的通知，它甚至可以提供缺少物品的具體位置，這對於使用機器人補貨的情況來說是重要的數據。
💁 根據商店和商品的受歡迎程度，如果只缺少1罐，可能不會立即補貨。你需要建立一個算法，根據商品、顧客和其他標準來決定何時補貨。
✅ 在哪些其他情境中，你可以結合物件偵測和機器人？
有時候，貨架上可能會出現錯誤的庫存。這可能是補貨時的人為錯誤，或者是顧客改變購買決定並將商品放回最方便的位置。如果是非易腐商品，例如罐頭食品，這只是個麻煩。但如果是易腐商品，例如冷凍或冷藏食品，這可能意味著商品無法再出售，因為可能無法確定商品離開冷凍區的時間。
物件偵測可以用來偵測意外的物品，並通知人類或機器人盡快將物品歸位。
在上圖中，一罐嬰兒玉米罐頭被放在番茄醬旁邊。物件偵測器偵測到這一情況，使物聯網設備能夠通知人類或機器人將罐頭歸位。
從物聯網設備呼叫物件偵測器
你在上一課中訓練的物件偵測器可以從你的物聯網設備呼叫。
任務 - 發佈物件偵測器的迭代版本
迭代版本可以從 Custom Vision 平台發佈。
-
打開 CustomVision.ai 並登入，如果尚未開啟，請打開你的
stock-detector專案。 -
從頂部選項中選擇 Performance 標籤。
-
從側邊的 Iterations 列表中選擇最新的迭代版本。
-
為該迭代版本選擇 Publish 按鈕。
-
在 Publish Model 對話框中，將 Prediction resource 設置為你在上一課中創建的
stock-detector-prediction資源。名稱保持為Iteration2，然後選擇 Publish 按鈕。 -
發佈後，選擇 Prediction URL 按鈕。這將顯示預測 API 的詳細信息，你需要這些信息來從物聯網設備呼叫模型。下方標記為 If you have an image file 的部分是你需要的詳細信息。複製顯示的 URL，該 URL 可能類似於：
https://<location>.api.cognitive.microsoft.com/customvision/v3.0/Prediction/<id>/detect/iterations/Iteration2/image其中
<location>是你創建 Custom Vision 資源時使用的位置，<id>是由字母和數字組成的長 ID。同時複製 Prediction-Key 值。這是一個安全密鑰，當你呼叫模型時需要傳遞此密鑰。只有傳遞此密鑰的應用程式才能使用模型，其他應用程式將被拒絕。
✅ 當新的迭代版本被發佈時，它會有不同的名稱。你認為如何更改物聯網設備使用的迭代版本？
任務 - 從物聯網設備呼叫物件偵測器
按照以下相關指南，從你的物聯網設備使用物件偵測器：
邊界框
使用物件偵測器時，你不僅可以獲得偵測到的物件及其標籤和概率，還可以獲得物件的邊界框。邊界框定義了物件偵測器以給定概率偵測到物件的位置。
💁 邊界框是一個框，用於定義包含偵測到物件的區域，框的邊界即物件的邊界。
在 Custom Vision 的 Predictions 標籤中，預測結果會在發送進行預測的圖像上繪製邊界框。
在上圖中，偵測到4罐番茄醬。結果中，每個偵測到的物件都在圖像上疊加了一個紅色方框，表示該物件的邊界框。
✅ 打開 Custom Vision 中的預測，查看邊界框。
邊界框由4個值定義：上、左、高度和寬度。這些值的範圍是0-1，表示位置是圖像大小的百分比。原點（0,0位置）是圖像的左上角，因此上值是距離頂部的距離，而邊界框的底部是上值加上高度。
上圖的寬度為600像素，高度為800像素。邊界框從320像素開始，給出上座標為0.4（800 x 0.4 = 320）。從左側開始，邊界框從240像素開始，給出左座標為0.4（600 x 0.4 = 240）。邊界框的高度為240像素，給出高度值為0.3（800 x 0.3 = 240）。邊界框的寬度為120像素，給出寬度值為0.2（600 x 0.2 = 120）。
| 座標 | 值 |
|---|---|
| 上 | 0.4 |
| 左 | 0.4 |
| 高度 | 0.3 |
| 寬度 | 0.2 |
使用0-1的百分比值意味著無論圖像被縮放到什麼大小，邊界框都會從0.4的位置開始，並且高度為0.3，寬度為0.2。
你可以結合邊界框和概率來評估偵測的準確性。例如，物件偵測器可能會偵測到多個重疊的物件，例如偵測到一個罐頭在另一個罐頭內。你的程式碼可以檢查邊界框，判斷這是不可能的，並忽略任何與其他物件有顯著重疊的物件。
在上例中，一個邊界框表示預測的番茄醬罐頭概率為78.3%。第二個邊界框稍小，位於第一個邊界框內，概率為64.3%。你的程式碼可以檢查邊界框，發現它們完全重疊，並忽略較低的概率，因為不可能一個罐頭在另一個罐頭內。
✅ 你能想到哪些情境下偵測一個物件在另一個物件內是合理的？
重新訓練模型
與影像分類器類似，你可以使用物聯網設備捕獲的數據重新訓練你的模型。使用這些真實世界的數據可以確保你的模型在物聯網設備上使用時效果良好。
與影像分類器不同，你不能僅僅標記一張影像。相反，你需要檢查模型偵測到的每個邊界框。如果框圍繞錯誤的物件，則需要刪除；如果位置不正確，則需要調整。
任務 - 重新訓練模型
-
確保你已使用物聯網設備捕獲了一系列影像。
-
從 Predictions 標籤中選擇一張影像。你會看到紅色框表示偵測到的物件的邊界框。
-
檢查每個邊界框。首先選擇它，你會看到一個彈出窗口顯示標籤。使用邊界框角上的控制點調整大小（如有必要）。如果標籤錯誤，使用 X 按鈕刪除並添加正確的標籤。如果邊界框不包含物件，使用垃圾桶按鈕刪除。
-
完成後關閉編輯器，影像將從 Predictions 標籤移至 Training Images 標籤。對所有預測重複此過程。
-
使用 Train 按鈕重新訓練你的模型。訓練完成後，發佈迭代版本並更新你的物聯網設備以使用新迭代版本的 URL。
-
重新部署你的程式碼並測試你的物聯網設備。
計算庫存
結合偵測到的物件數量和邊界框，你可以計算貨架上的庫存。
任務 - 計算庫存
按照以下相關指南，使用物件偵測器的結果從你的物聯網設備計算庫存：
🚀 挑戰
你能偵測到錯誤的庫存嗎？訓練你的模型以識別多種物件，然後更新你的應用程式以在偵測到錯誤的庫存時發出警報。
甚至可以進一步嘗試偵測同一貨架上的並排庫存，並通過定義邊界框的限制來檢查是否有物品放錯位置。
課後測驗
回顧與自學
- 從 Microsoft Docs 的邊緣模式指南 學習如何架構端到端的庫存偵測系統。
- 觀看 零售解決方案幕後揭秘 - Hands On! 的 YouTube 影片，了解如何結合多種物聯網和雲端服務構建端到端的零售解決方案。
作業
免責聲明：
本文件使用 AI 翻譯服務 Co-op Translator 進行翻譯。雖然我們致力於提供準確的翻譯，但請注意，自動翻譯可能包含錯誤或不準確之處。原始文件的母語版本應被視為權威來源。對於關鍵資訊，建議使用專業人工翻譯。我們對因使用此翻譯而產生的任何誤解或錯誤解釋不承擔責任。