# 從物聯網設備檢查庫存  > 手繪筆記由 [Nitya Narasimhan](https://github.com/nitya) 提供。點擊圖片查看更大版本。 ## 課前測驗 [課前測驗](https://black-meadow-040d15503.1.azurestaticapps.net/quiz/39) ## 簡介 在上一課中，你學習了物件偵測在零售中的不同應用，也學會了如何訓練物件偵測器來識別庫存。在本課中，你將學習如何從物聯網設備使用你的物件偵測器來計算庫存。 本課內容包括： * [庫存計算](../../../../../5-retail/lessons/2-check-stock-device) * [從物聯網設備調用物件偵測器](../../../../../5-retail/lessons/2-check-stock-device) * [邊界框](../../../../../5-retail/lessons/2-check-stock-device) * [重新訓練模型](../../../../../5-retail/lessons/2-check-stock-device) * [計算庫存](../../../../../5-retail/lessons/2-check-stock-device) > 🗑 這是本專案的最後一課，因此在完成本課和作業後，別忘了清理你的雲端服務。你需要這些服務來完成作業，所以請確保先完成作業。 > > 如有需要，請參考[清理專案指南](../../../clean-up.md)以獲取相關指導。 ## 庫存計算 物件偵測器可以用於檢查庫存，無論是計算庫存數量還是確保庫存位於正確位置。配備攝像頭的物聯網設備可以部署在商店的各個地方來監控庫存，尤其是那些需要頻繁補貨的熱點區域，例如存放少量高價值商品的區域。 例如，如果一個攝像頭對準一組可以容納8罐番茄醬的貨架，而物件偵測器只偵測到7罐，那麼就缺少了一罐，需要補貨。  在上圖中，物件偵測器偵測到貨架上有7罐番茄醬，而該貨架可以容納8罐。不僅物聯網設備可以發送補貨通知，它甚至可以提供缺失物品的位置資訊，這對於使用機器人補貨的情況尤為重要。 > 💁 根據商店和商品的受歡迎程度，如果只缺少一罐，可能不會立即補貨。你需要根據產品、顧客和其他標準建立一個決定何時補貨的演算法。 ✅ 在哪些其他情境下，你可以結合物件偵測和機器人技術？ 有時候，貨架上可能會出現錯誤的庫存。這可能是補貨時的人為錯誤，或者是顧客改變購買決定後將商品放回第一個可用空間。如果是罐裝食品等非易腐商品，這只是個小麻煩；但如果是冷凍或冷藏食品等易腐商品，則可能導致商品無法再出售，因為無法確定該商品離開冷凍區的時間。 物件偵測可以用來偵測意外出現的物品，並通知人員或機器人盡快將其歸位。  在上圖中，一罐玉米罐頭被放在了番茄醬的貨架上。物件偵測器偵測到了這一情況，使物聯網設備能夠通知人員或機器人將罐頭歸位。 ## 從物聯網設備調用物件偵測器 你在上一課中訓練的物件偵測器可以從物聯網設備調用。 ### 任務 - 發佈物件偵測器的迭代版本 迭代版本可以從 Custom Vision 入口網站發佈。 1. 打開 [CustomVision.ai](https://customvision.ai) 並登入，如果尚未開啟，請打開你的 `stock-detector` 專案。 1. 從頂部選項中選擇 **Performance** 標籤。 1. 從側邊的 *Iterations* 列表中選擇最新的迭代版本。 1. 點擊該迭代版本的 **Publish** 按鈕。  1. 在 *Publish Model* 對話框中，將 *Prediction resource* 設置為你在上一課中創建的 `stock-detector-prediction` 資源。保持名稱為 `Iteration2`，然後選擇 **Publish** 按鈕。 1. 發佈後，選擇 **Prediction URL** 按鈕。這將顯示預測 API 的詳細資訊，你需要這些資訊來從物聯網設備調用模型。下方標記為 *If you have an image file* 的部分是你需要的詳細資訊。複製顯示的 URL，該 URL 可能類似於： ```output https://.api.cognitive.microsoft.com/customvision/v3.0/Prediction//detect/iterations/Iteration2/image ``` 其中 `` 是你創建 Custom Vision 資源時使用的位置，`` 是由字母和數字組成的一個長 ID。 同時複製 *Prediction-Key* 值。這是一個安全密鑰，調用模型時必須傳遞該密鑰。只有傳遞此密鑰的應用程式才能使用模型，其他應用程式將被拒絕。  ✅ 當發佈新的迭代版本時，它會有不同的名稱。你認為應該如何更改物聯網設備使用的迭代版本？ ### 任務 - 從物聯網設備調用物件偵測器 按照以下相關指南，從你的物聯網設備使用物件偵測器： * [Arduino - Wio Terminal](wio-terminal-object-detector.md) * [單板電腦 - Raspberry Pi/虛擬設備](single-board-computer-object-detector.md) ## 邊界框 使用物件偵測器時，你不僅會獲得被偵測物件的標籤和概率，還會獲得物件的邊界框。這些邊界框定義了物件偵測器以給定概率偵測到物件的位置。 > 💁 邊界框是一個框，用於定義包含被偵測物件的區域，框的邊界即為物件的範圍。 在 Custom Vision 的 **Predictions** 標籤中，預測結果會在發送進行預測的圖像上繪製邊界框。  在上圖中，偵測到4罐番茄醬。在結果中，每個被偵測物件的圖像上都疊加了一個紅色方框，表示該物件的邊界框。 ✅ 打開 Custom Vision 的預測結果，查看邊界框。 邊界框由4個值定義：上（top）、左（left）、高（height）和寬（width）。這些值的範圍是0到1，表示相對於圖像大小的百分比位置。原點（0,0）是圖像的左上角，因此上值是距離頂部的距離，而邊界框的底部是上值加上高度。  上圖的寬度為600像素，高度為800像素。邊界框從320像素處開始，對應的上值為0.4（800 x 0.4 = 320）。從左側開始，邊界框距離240像素，對應的左值為0.4（600 x 0.4 = 240）。邊界框的高度為240像素，對應的高值為0.3（800 x 0.3 = 240）。邊界框的寬度為120像素，對應的寬值為0.2（600 x 0.2 = 120）。 | 座標 | 值 | | ------ | ----: | | 上 | 0.4 | | 左 | 0.4 | | 高度 | 0.3 | | 寬度 | 0.2 | 使用0到1的百分比值意味著無論圖像被縮放到什麼大小，邊界框都會從0.4的位置開始，並且高度為0.3，寬度為0.2。 你可以結合邊界框和概率來評估偵測的準確性。例如，物件偵測器可能會偵測到多個重疊的物件，例如一個罐頭在另一個罐頭內部。你的程式碼可以檢查邊界框，判斷這是不可能的，並忽略任何與其他物件有顯著重疊的物件。  在上圖中，一個邊界框表示一罐番茄醬，預測概率為78.3%。另一個邊界框稍小，位於第一個邊界框內部，概率為64.3%。你的程式碼可以檢查邊界框，發現它們完全重疊，並忽略較低概率的邊界框，因為不可能一個罐頭在另一個罐頭內部。 ✅ 你能想到哪些情境下，偵測到一個物件在另一個物件內部是合理的？ ## 重新訓練模型 與圖像分類器類似，你可以使用物聯網設備捕獲的數據重新訓練模型。使用這些真實世界的數據可以確保模型在物聯網設備上運行良好。 與圖像分類器不同的是，你不能僅僅標記一張圖像。相反，你需要檢查模型偵測到的每個邊界框。如果邊界框圍繞錯誤的物件，則需要刪除；如果位置不正確，則需要調整。 ### 任務 - 重新訓練模型 1. 確保你已使用物聯網設備捕獲了一系列圖像。 1. 在 **Predictions** 標籤中，選擇一張圖像。你會看到紅色框，表示偵測到的物件的邊界框。 1. 檢查每個邊界框。首先選擇它，你會看到一個彈出視窗顯示標籤。如果需要，使用邊界框角上的控制點調整大小。如果標籤錯誤，使用 **X** 按鈕刪除並添加正確的標籤。如果邊界框不包含物件，使用垃圾桶按鈕刪除它。 1. 完成後關閉編輯器，圖像將從 **Predictions** 標籤移至 **Training Images** 標籤。對所有預測重複此過程。 1. 使用 **Train** 按鈕重新訓練模型。訓練完成後，發佈新的迭代版本，並更新物聯網設備以使用新迭代版本的 URL。 1. 重新部署程式碼並測試你的物聯網設備。 ## 計算庫存 結合偵測到的物件數量和邊界框，你可以計算貨架上的庫存。 ### 任務 - 計算庫存 按照以下相關指南，使用物件偵測器的結果從你的物聯網設備計算庫存： * [Arduino - Wio Terminal](wio-terminal-count-stock.md) * [單板電腦 - Raspberry Pi/虛擬設備](single-board-computer-count-stock.md) --- ## 🚀 挑戰 你能偵測到錯誤的庫存嗎？訓練你的模型以識別多種物件，然後更新你的應用程式，在偵測到錯誤的庫存時發出警報。 甚至可以進一步嘗試，偵測同一貨架上的並排庫存，並通過定義邊界框的限制來檢查是否有物品被放錯位置。 ## 課後測驗 [課後測驗](https://black-meadow-040d15503.1.azurestaticapps.net/quiz/40) ## 回顧與自學 * 了解更多關於如何設計端到端庫存偵測系統，請參考 [Microsoft Docs 上的邊緣缺貨偵測模式指南](https://docs.microsoft.com/hybrid/app-solutions/pattern-out-of-stock-at-edge?WT.mc_id=academic-17441-jabenn)。 * 觀看 [Behind the scenes of a retail solution - Hands On!](https://www.youtube.com/watch?v=m3Pc300x2Mw) 的 YouTube 視頻，了解如何結合多種物聯網和雲端服務構建端到端零售解決方案。 ## 作業 [在邊緣使用你的物件偵測器](assignment.md) --- **免責聲明**： 本文件已使用 AI 翻譯服務 [Co-op Translator](https://github.com/Azure/co-op-translator) 進行翻譯。儘管我們努力確保翻譯的準確性，但請注意，自動翻譯可能包含錯誤或不準確之處。原始文件的母語版本應被視為權威來源。對於關鍵信息，建議尋求專業人工翻譯。我們對因使用此翻譯而引起的任何誤解或錯誤解釋不承擔責任。