智能貨柜內貨品識別方法及裝置、智能貨柜專利目的

《智能貨柜內貨品識別方法及裝置、智能貨柜》提供一種智能貨柜內貨品識別方法及裝置、智能貨柜，能夠對智能貨柜內的貨品進行準確且快速的識別，僅需將把貨品分類擺放即可，無需核對數量，有效節省了人力成本。

智能貨柜內貨品識別方法及裝置、智能貨柜技術方案

《智能貨柜內貨品識別方法及裝置、智能貨柜》提供以下技術方案：第一方面，該發明提供一種智能貨柜內貨品識別方法，所述貨品識別方法包括：接收目標智能貨柜的貨品識別指令；采集所述目標智能貨柜的內部貨品圖像，并獲取該目標智能貨柜內各類貨品的重量變化值，其中，所述內部貨品圖像中包含有當前目標智能貨柜中的全部貨品；以及，對所述內部貨品圖像進行圖像識別，得到所述目標智能貨柜中數量發生變化的各類貨品的類型；根據所述目標智能貨柜中發生變化的各類貨品的類型和對應的重量變化值，確定所述目標智能貨柜中數量發生變化的各類貨品的數量。進一步地，所述智能貨柜內貨品識別方法還包括：基于所述目標智能貨柜中發生變化的各類貨品的類型和數量，更新該目標智能貨柜的貨品實時信息。進一步地，所述接收目標智能貨柜的貨品識別指令包括：接收針對所述目標智能貨柜的用戶身份識別信息或交易信息；向所述目標智能貨柜發送柜門開啟指令，使得所述目標智能貨柜根據該柜門開啟指令開啟柜門的門鎖；以及，接收所述目標智能貨柜在柜門開啟再關閉后發送的貨品識別指令。進一步地，所述接收針對所述目標智能貨柜的用戶身份識別信息或交易信息，包括：接收用戶通過用終端設備以掃描二維碼的方式連接進入所述目標智能貨柜對應的應用APP后，在該應用APP中發送的用戶身份識別信息或交易信息；其中，所述二維碼設置在所述目標智能貨柜的外壁上。進一步地，所述接收針對所述目標智能貨柜的用戶身份識別信息或交易信息，包括：接收以人臉圖像識別的方式獲取的用戶身份識別信息或交易信息；其中，所述人臉圖像識別的方式包括：通過設置在所述目標智能貨柜的外壁上的圖像采集設備獲取位于所述目標智能貨柜外的用戶的人臉圖像，并對該人臉圖像進行人臉圖像識別。進一步地，所述采集所述目標智能貨柜的內部貨品圖像，并獲取該目標智能貨柜內各類貨品的重量變化值，包括：控制設置在所述目標智能貨柜內的多個圖像采集設備采集所述目標智能貨柜的內部貨品圖像，其中，不同的圖像采集設備用于采集所述目標智能貨柜中不同貨架上的貨品圖像，且全部貨架上的貨品圖像組成所述內部貨品圖像；以及，控制分別設置在所述目標智能貨柜中各個貨架上的重量傳感器采集各個貨架上的貨品的重量變化值，其中，同一貨架上擺放同一類型的貨品。進一步地，所述對所述內部貨品圖像進行圖像識別，得到所述目標智能貨柜中數量發生變化的各類貨品的類型，包括：對所述內部貨品圖像進行圖像識別，得到所述目標智能貨柜中數量發生變化的貨品的圖像特征；以及，根據所述貨品的圖像特征和預設的貨品圖像特征庫，確定所述目標智能貨柜中數量發生變化的貨品的類型；其中，所述貨品圖像特征庫中存儲有貨品的類型和圖像特征之間的對應關系。進一步地，所述根據所述目標智能貨柜中數量發生變化的各類貨品的類型和對應的重量變化值，確定所述目標智能貨柜中數量發生變化的各類貨品的數量，包括：根據所述目標智能貨柜中數量發生變化的各類貨品的類型和對應的重量變化值，以及，預獲取的貨品重量庫，計算得到所述目標智能貨柜中數量發生變化的各類貨品的數量初值；以及，根據所述各類貨品的數量初值確定所述目標智能貨柜中數量發生變化的各類貨品的數量；其中，所述貨品重量庫中存儲有貨品的類型和貨品重量之間的對應關系。

進一步地，所述根據所述各類貨品的數量初值確定所述目標智能貨柜中數量發生變化的各類貨品的數量，包括：若所述各類貨品的數量初值為整數，則直接將該數量初值確定所述目標智能貨柜中數量發生變化的各類貨品的數量；若所述各類貨品的數量初值為非整數，則根據所述數量初值的小數部分的數值確定所述目標智能貨柜中數量發生變化的各類貨品的數量。進一步地，所述根據所述數量初值的小數部分的數值確定所述目標智能貨柜中數量發生變化的各類貨品的數量，包括：判斷所述數量初值的小數部分的數值是否處于允許誤差范圍內；若是，則將該數量初值進行四舍五入，并將四舍五入后的值確定所述目標智能貨柜中數量發生變化的各類貨品的數量；若否，則向用戶的終端設備發送貨品確認指令。進一步地，所述更新該目標智能貨柜的貨品實時信息，包括：在所述目標智能貨柜對應的應用APP中更新該目標智能貨柜的貨品實時信息。進一步地，所述貨品識別方法還包括：若檢測獲知所述目標智能貨柜中的某類貨品的數量低于對應的補貨閾值，則向補貨人員的終端設備發送補貨告知信息。第二方面，《智能貨柜內貨品識別方法及裝置、智能貨柜》提供一種智能貨柜內貨品識別系統，所述貨品識別系統包括：貨品識別指令接收模塊，用于接收目標智能貨柜的貨品識別指令；圖像及重量采集模塊，用于采集所述目標智能貨柜的內部貨品圖像，并獲取該目標智能貨柜內各類貨品的重量變化值，其中，所述內部貨品圖像中包含有當前目標智能貨柜中的全部貨品；增減貨品類型識別模塊，用于對所述內部貨品圖像進行圖像識別，得到所述目標智能貨柜中數量發生變化的貨品的類型；增減貨品數量識別模塊，用于對所述內部貨品圖像進行圖像識別，得到所述目標智能貨柜中數量發生變化的各類貨品的類型。第三方面，《智能貨柜內貨品識別方法及裝置、智能貨柜》提供一種電子設備，包括存儲器、處理器及存儲在存儲器上并可在處理器上運行的計算機程序，所述處理器執行所述程序時實現所述智能貨柜內貨品識別方法的步驟。第四方面，《智能貨柜內貨品識別方法及裝置、智能貨柜》提供一種計算機可讀存儲介質，其上存儲有計算機程序，該計算機程序被處理器執行時實現所述智能貨柜內貨品識別方法的步驟。第五方面，該發明提供一種智能貨柜，所述智能貨柜與所述的電子設備通信。

智能貨柜內貨品識別方法及裝置、智能貨柜改善效果

《智能貨柜內貨品識別方法及裝置、智能貨柜》提供的智能貨柜內貨品識別方法，通過接收目標智能貨柜的貨品識別指令；采集所述目標智能貨柜的內部貨品圖像，并獲取該目標智能貨柜內各類貨品的重量變化值，其中，所述內部貨品圖像中包含有當前目標智能貨柜中的全部貨品；以及對所述內部貨品圖像進行圖像識別，得到所述目標智能貨柜中數量發生變化的各類貨品的類型；根據所述目標智能貨柜中發生變化的各類貨品的類型和對應的重量變化值，確定所述目標智能貨柜中數量發生變化的各類貨品的數量，能夠對智能貨柜內的貨品進行準確且快速的識別，僅需將把貨品分類擺放即可，無需核對數量，有效節省了人力成本，并提高了智能貨柜的智能化程度和應用可靠性，故使得用戶體驗提高。

智能貨柜泛指以自助售貨機的形式銷售商品的智能貨柜，通常占地面積在1～2平方米左右，一般采取無現金交易和普通貨幣交易。例如：自助橙子機、自助咖啡機、自助冰淇淋機、自助便當機、傳統的無人自助售貨機等；由于智能貨柜的無人販售的特性，需要補貨人員定期查詢進行補貨，以使得智能貨柜能夠隨時滿足用戶的購滿需求。截至2018年3月，已有的針對智能貨柜中貨品識別的方式，通常為需要補貨人員在補貨前挨個登記商品信息，并在補貨過程中按照原標記將不同類型的貨品擺放在對應的位置以及記錄貨品的更新情況，并在補貨完畢以人工手動錄入或者外在文件導入的方式將貨品更新情況輸入該智能貨柜對應的貨柜商品管理系統中。然而，2018年3月以前的針對智能貨柜中貨品識別的方式，準確程度差，且補貨時需要對貨品進行一一核對，需要耗費大量人力和時間成本。

圖1是《智能貨柜內貨品識別方法及裝置、智能貨柜》實施例一中的一種智能貨柜內貨品識別方法的流程示意圖；

圖2是《智能貨柜內貨品識別方法及裝置、智能貨柜》的服務器、重量傳感器、貨品識別指令發送單元和圖像采集設備之間的通信示意圖；

圖3是《智能貨柜內貨品識別方法及裝置、智能貨柜》的包含步驟500的智能貨柜內貨品識別方法的流程示意圖；

圖4是《智能貨柜內貨品識別方法及裝置、智能貨柜》的智能貨柜內貨品識別方法中步驟100的流程示意圖；

圖5是《智能貨柜內貨品識別方法及裝置、智能貨柜》中包含步驟600的智能貨柜內貨品識別方法的流程示意圖；

圖6是《智能貨柜內貨品識別方法及裝置、智能貨柜》中服務器、終端設備和智能貨柜之間的交互示意圖；

圖7是《智能貨柜內貨品識別方法及裝置、智能貨柜》應用實例中的智能貨柜內貨品識別方法的邏輯流程圖；

圖8是《智能貨柜內貨品識別方法及裝置、智能貨柜》實施例二中的一種智能貨柜內貨品識別系統的結構示意圖；

圖9是《智能貨柜內貨品識別方法及裝置、智能貨柜》實施例三中的一種電子設備的結構示意圖；

圖10是《智能貨柜內貨品識別方法及裝置、智能貨柜》實施例五中的一種智能貨柜的結構示意圖。

《智能貨柜內貨品識別方法及裝置、智能貨柜》涉及貨柜技術領域，具體涉及一種智能貨柜內貨品識別方法及裝置、智能貨柜。

1.《智能貨柜內貨品識別方法及裝置、智能貨柜》的特征在于，所述貨品識別方法包括：接收目標智能貨柜的貨品識別指令；采集所述目標智能貨柜的內部貨品圖像，并獲取該目標智能貨柜內各類貨品的重量變化值，包括：控制設置在所述目標智能貨柜內的多個圖像采集設備采集所述目標智能貨柜的內部貨品圖像，其中，不同的圖像采集設備用于采集所述目標智能貨柜中不同貨架上的貨品圖像，且全部貨架上的貨品圖像組成所述內部貨品圖像；以及，控制分別設置在所述目標智能貨柜中各個貨架上的重量傳感器采集各個貨架上的貨品的重量變化值，其中，同一貨架上擺放同一類型的貨品；其中，所述內部貨品圖像中包含有當前目標智能貨柜中的全部貨品；以及，對所述內部貨品圖像進行圖像識別，得到所述目標智能貨柜中數量發生變化的各類貨品的類型；根據所述目標智能貨柜中數量發生變化的各類貨品的類型和對應的重量變化值，確定所述目標智能貨柜中數量發生變化的各類貨品的數量，包括：根據所述目標智能貨柜中數量發生變化的各類貨品的類型和對應的重量變化值，以及，預獲取的貨品重量庫，計算得到所述目標智能貨柜中數量發生變化的各類貨品的數量初值，其中，所述貨品重量庫中存儲有貨品的類型和貨品重量之間的對應關系；根據所述各類貨品的數量初值確定所述目標智能貨柜中數量發生變化的各類貨品的數量。

2.根據權利要求1所述的貨品識別方法，其特征在于，所述智能貨柜內貨品識別方法還包括：基于所述目標智能貨柜中發生變化的各類貨品的類型和數量，更新該目標智能貨柜的貨品實時信息。

3.根據權利要求1所述的貨品識別方法，其特征在于，所述接收目標智能貨柜的貨品識別指令包括：接收針對所述目標智能貨柜的用戶身份識別信息或交易信息；向所述目標智能貨柜發送柜門開啟指令，使得所述目標智能貨柜根據該柜門開啟指令開啟柜門的門鎖；以及，接收所述目標智能貨柜在柜門開啟再關閉后發送的貨品識別指令。

4.根據權利要求3所述的貨品識別方法，其特征在于，所述接收針對所述目標智能貨柜的用戶身份識別信息或交易信息，包括：接收用戶通過用終端設備以掃描二維碼的方式連接進入所述目標智能貨柜對應的應用APP后，在該應用APP中發送的用戶身份識別信息或交易信息；其中，所述二維碼設置在所述目標智能貨柜的外壁上。

5.根據權利要求3所述的貨品識別方法，其特征在于，所述接收針對所述目標智能貨柜的用戶身份識別信息或交易信息，包括：接收以人臉圖像識別的方式獲取的用戶身份識別信息或交易信息；其中，所述人臉圖像識別的方式包括：通過設置在所述目標智能貨柜的外壁上的圖像采集設備獲取位于所述目標智能貨柜外的用戶的人臉圖像，并對該人臉圖像進行人臉圖像識別。

6.根據權利要求1所述的貨品識別方法，其特征在于，所述對所述內部貨品圖像進行圖像識別，得到所述目標智能貨柜中數量發生變化的各類貨品的類型，包括：對所述內部貨品圖像進行圖像識別，得到所述目標智能貨柜中數量發生變化的貨品的圖像特征；以及，根據所述貨品的圖像特征和預設的貨品圖像特征庫，確定所述目標智能貨柜中數量發生變化的貨品的類型；其中，所述貨品圖像特征庫中存儲有貨品的類型和圖像特征之間的對應關系。

7.根據權利要求1所述的貨品識別方法，其特征在于，所述根據所述各類貨品的數量初值確定所述目標智能貨柜中數量發生變化的各類貨品的數量，包括：若所述各類貨品的數量初值為整數，則直接將該數量初值確定所述目標智能貨柜中數量發生變化的各類貨品的數量；若所述各類貨品的數量初值為非整數，則根據所述數量初值的小數部分的數值確定所述目標智能貨柜中數量發生變化的各類貨品的數量。

8.根據權利要求7所述的貨品識別方法，其特征在于，所述根據所述數量初值的小數部分的數值確定所述目標智能貨柜中數量發生變化的各類貨品的數量，包括：判斷所述數量初值的小數部分的數值是否處于允許誤差范圍內；若是，則將該數量初值進行四舍五入，并將四舍五入后的值確定所述目標智能貨柜中數量發生變化的各類貨品的數量；若否，則向用戶的終端設備發送貨品確認指令。

9.根據權利要求2所述的貨品識別方法，其特征在于，所述更新該目標智能貨柜的貨品實時信息，包括：在所述目標智能貨柜對應的應用APP中更新該目標智能貨柜的貨品實時信息。10.根據權利要求1所述的貨品識別方法，其特征在于，所述貨品識別方法還包括：若檢測獲知所述目標智能貨柜中的某類貨品的數量低于對應的補貨閾值，則向補貨人員的終端設備發送補貨告知信息。

11.《智能貨柜內貨品識別方法及裝置、智能貨柜》的特征在于，所述貨品識別系統包括：貨品識別指令接收模塊，用于接收目標智能貨柜的貨品識別指令；圖像及重量采集模塊，用于采集所述目標智能貨柜的內部貨品圖像，并獲取該目標智能貨柜內各類貨品的重量變化值，包括：控制設置在所述目標智能貨柜內的多個圖像采集設備采集所述目標智能貨柜的內部貨品圖像，其中，不同的圖像采集設備用于采集所述目標智能貨柜中不同貨架上的貨品圖像，且全部貨架上的貨品圖像組成所述內部貨品圖像；以及，控制分別設置在所述目標智能貨柜中各個貨架上的重量傳感器采集各個貨架上的貨品的重量變化值，其中，同一貨架上擺放同一類型的貨品；其中，所述內部貨品圖像中包含有當前目標智能貨柜中的全部貨品；增減貨品類型識別模塊，用于對所述內部貨品圖像進行圖像識別，得到所述目標智能貨柜中數量發生變化的各類貨品的類型；增減貨品數量識別模塊，用于根據所述目標智能貨柜中數量發生變化的各類貨品的類型和對應的重量變化值，確定所述目標智能貨柜中數量發生變化的各類貨品的數量，包括：根據所述目標智能貨柜中數量發生變化的各類貨品的類型和對應的重量變化值，以及，預獲取的貨品重量庫，計算得到所述目標智能貨柜中數量發生變化的各類貨品的數量初值，其中，所述貨品重量庫中存儲有貨品的類型和貨品重量之間的對應關系；根據所述各類貨品的數量初值確定所述目標智能貨柜中數量發生變化的各類貨品的數量。

12.一種電子設備，包括存儲器、處理器及存儲在存儲器上并可在處理器上運行的計算機程序，其特征在于，所述處理器執行所述程序時實現如權利要求1至10任一項所述智能貨柜內貨品識別方法的步驟。

13.一種計算機可讀存儲介質，其上存儲有計算機程序，其特征在于，該計算機程序被處理器執行時實現如權利要求1至10任一項所述智能貨柜內貨品識別方法的步驟。

14.一種智能貨柜，其特征在于，所述智能貨柜與權利要求12所述的電子設備通信。

《智能貨柜內貨品識別方法及裝置、智能貨柜》的實施例一提供一種智能貨柜內貨品識別方法的具體實施方式，參見圖1，所述智能貨柜內貨品識別方法具體包括如下內容：步驟100：接收目標智能貨柜的貨品識別指令。在該實施例中，參見圖2，所述智能貨柜內貨品識別方法的執行主體為一種服務器，該服務器可以設置在智能貨柜內部，也可以對多個智能貨柜進行遠程管理，另外，在所述智能貨柜中還設置有貨品識別指令發送單元和圖像采集設備，所述貨品識別指令發送單元、圖像采集設備和重量傳感器分別與服務器通信連接，可以理解的是，所述圖像采集設備可以為攝像頭，所述貨品識別指令發送單元用于在接收到貨品識別指令后，向所述服務器發送貨品識別指令。在一種具體舉例中，所述貨品識別指令發送單元可以為位移傳感器，且位移傳感器的兩部分分別為設置在所述智能貨柜的柜門上器件一以及設置在所述智能貨柜內壁上靠近所述器件一的器件二，當柜門被打開時，器件一和器件二之間的位移超過預設閾值，則所述位移傳感器記錄柜門發生一次開啟，當器件一和器件二之間的位移超過預設閾值之后，器件一和器件二之間的位移又小于或等于預設閾值后，則所述位移傳感器記錄柜門發生一次關閉，在所述位移傳感器連續檢測到所述智能貨柜的柜門發生一次開啟和一次關閉后，所述位移傳感器向所述服務器發送貨品識別指令。當然，所述智能貨柜的柜門發生一次開啟和一次關閉的情形中，也包括柜門雖然被打開，但并未發送貨品變化的情形，因此，所述貨品識別指令實際可以理解為：只要智能貨柜內的貨品疑似發生變化的情形，即向所述服務器發送貨品識別指令，如此設置，一方面能夠保證服務器能夠及時獲知智能貨柜的貨品變化情況，另一方面，服務器每次都在接收到貨品識別指令后才獲知智能貨柜的貨品變化情況，有效減少了智能貨柜內部的圖像采集設備及服務器的運行損耗，進而能夠提高智能貨柜內部的圖像采集設備及服務器的使用壽命。步驟200：采集所述目標智能貨柜的內部貨品圖像，并獲取該目標智能貨柜內各類貨品的重量變化值，其中，所述內部貨品圖像中包含有當前目標智能貨柜中的全部貨品。 在步驟200中，所述服務器控制所述目標智能貨柜內的圖像采集設備采集所述目標智能貨柜的內部貨品圖像，并獲取該目標智能貨柜內各類貨品的重量變化值。所述采集所述目標智能貨柜的內部貨品圖像，并獲取該目標智能貨柜內各類貨品的重量變化值，具體包含如下內容：控制設置在所述目標智能貨柜內的多個圖像采集設備采集所述目標智能貨柜的內部貨品圖像，并獲取該目標智能貨柜內各類貨品的重量變化值；其中，不同的圖像采集設備用于采集所述目標智能貨柜中不同貨架上的貨品圖像。可以理解的是，每個智能貨柜內的圖像采集設備均能夠采集到有當前目標智能貨柜中的全部貨品，因此，每個智能貨柜內的圖像采集設備可以設置為多個。在一種具體實施方式中，所述步驟200具體包括如下內容：控制設置在所述目標智能貨柜內的多個圖像采集設備采集所述目標智能貨柜的內部貨品圖像，其中，不同的圖像采集設備用于采集所述目標智能貨柜中不同貨架上的貨品圖像，且全部貨架上的貨品圖像組成所述內部貨品圖像；以及，控制分別設置在所述目標智能貨柜中各個貨架上的重量傳感器采集各個貨架上的貨品的重量變化值，其中，同一貨架上擺放同一類型的貨品。在一種具體舉例中，一個智能貨柜中一般均包含有多層貨架，且各層貨架的兩側及上方均可以設有多個圖像采集設備，以保證，每個智能貨柜內的圖像采集設備均能夠采集到有當前目標智能貨柜中的全部貨品，同時，為了保證獲取圖像的清晰程度，每個圖像采集設備上均可以對應的照明設備。步驟300：對所述內部貨品圖像進行圖像識別，得到所述目標智能貨柜中數量發生變化的各類貨品的類型。在步驟300中，所述服務器接收所述圖像采集設備發送的內部貨品圖像，并對所述內部貨品圖像進行圖像識別，得到所述目標智能貨柜中數量發生變化的各類貨品的類型，通過這種圖像識別方式，使得補貨人員在補貨的過程中，無需在指定的位置擺放商品，使得補貨過程更加快速且便捷。

在一種具體舉例中，所述步300具體包括如下內容：步驟301：對所述內部貨品圖像進行圖像識別，得到所述目標智能貨柜中數量發生變化的貨品的圖像特征。步驟302：根據所述貨品的圖像特征和預設的貨品圖像特征庫，確定所述目標智能貨柜中數量發生變化的貨品的類型；其中，所述貨品圖像特征庫中存儲有貨品的類型和圖像特征之間的對應關系。可以理解的是，所述對所述內部貨品圖像進行圖像識別（image recognition method）為利用計算機對圖像進行處理、分析和理解，以識別各種不同模式的目標和對像的技術，即利用軟件根據圖片灰階差做進一步識別處理，具體可以基于神經網絡進行圖像識別、基于小波矩進行圖像識別或者基于分形特征進行圖像識別。其中，基于神經網絡進行圖像識別的過程可以由預處理，特征提取和神經網絡分類器組成，預處理就是將原始數據中的無用信息刪除，平滑，二值化和進行幅度歸一化等；基于小波矩進行圖像識別的過程可以通過將輸入二維二值圖像的不變矩陣作為識別特征，運用BP網絡進行識別，將輸入圖像經過歸一化處理，極坐標化，旋轉不變小波矩特征提取后，送入BP網絡分類器進行識別，獲得識別結果；基于分形特征進行圖像識別的過程可以包含紅外圖像預處理、紅外圖像分形特征提取和基于神經網絡的紅外圖像識別。步驟400：根據所述目標智能貨柜中發生變化的各類貨品的類型和對應的重量變化值，確定所述目標智能貨柜中數量發生變化的各類貨品的數量。在步驟400中，所述服務器控制所述目標智能貨柜中的重量傳感器采集各貨架的重量，各重量傳感器將重量與前一次采集相比的重量變化值發送至所述服務器，若存在重量未發生變化的貨架，則其對應的重量變化值為0。另外，在該實施例中，步驟300和步驟400的執行順序可根據實際應用情形設定為任意順序。

在一種具體舉例中，一個智能貨柜中一般均包含有多層貨架，且各層貨架的底端均設有至少一個重量傳感器，且各個重量傳感器均與服務器通信。例如，在下端設有重量傳感器的貨架上存在貨物時，在重力作用下，通過作為承載器的貨架將重力傳遞至重量傳感器，使重量傳感器的彈性體產生變形，貼附于彈性體上的應變計橋路失去平衡，輸出與重量數值成正比例的電信號，經線性放大器將信號放大；再經A/D轉換為數字信號，由儀表的微處理機（CPU）對重量信號進行處理后直接顯示重量數據，并將重量數據發送至服務器。 從上述描述可知，《智能貨柜內貨品識別方法及裝置、智能貨柜》的實施例提供的智能貨柜內貨品識別方法，能夠對智能貨柜內的貨品進行準確且快速的識別，僅需將把貨品分類擺放即可，無需核對數量，有效節省了人力成本，補貨過程更加快速且便捷，并提高了智能貨柜的智能化程度和應用可靠性，故使得用戶體驗提高。

在一種具體實施方式中，參見圖3，該發明還提供一種在智能貨柜內貨品識別方法中的步驟400之后執行的步驟500，所述步驟500具體包括如下內容：步驟500：基于所述目標智能貨柜中發生變化的各類貨品的類型和數量，更新該目標智能貨柜的貨品實時信息。在步驟500中，所述服務器基于所述目標智能貨柜中發生變化的各類貨品的類型和數量，在該目標智能貨柜對應的數據庫中更新該目標智能貨柜的貨品實時信息。在一種應用實例中，所述更新該目標智能貨柜的貨品實時信息具體可以包括：在所述目標智能貨柜對應的應用APP中更新該目標智能貨柜的貨品實時信息。從上述描述可知，《智能貨柜內貨品識別方法及裝置、智能貨柜》的實施例提供的智能貨柜內貨品識別方法，通過更新目標智能貨柜的貨品實時信息，解決了無人貨柜商品管理系統的對應的數據，在補貨的時候需要人工手動錄入或者外在文件導入，不利于系統數據快速更新迭代的業務增長需求，且存在重復多余的人力資源浪費的問題。在一種具體實施方式中，參見圖4，該發明還提供一種在智能貨柜內貨品識別方法中的步驟100的第一種具體實施方式，所述步驟100具體包括如下內容：步驟101：接收針對所述目標智能貨柜的用戶身份識別信息或交易信息。在一種具體實施方式中，所述步驟101具體包括如下內容：所述服務器接收用戶通過用終端設備以掃描二維碼的方式連接進入所述目標智能貨柜對應的應用APP后，在該應用APP中發送的用戶身份識別信息或交易信息；其中，所述二維碼設置在所述目標智能貨柜的外壁上。在另種具體實施方式中，所述步驟101具體包括如下內容：接收以人臉圖像識別的方式獲取的用戶身份識別信息或交易信息；其中，所述人臉圖像識別的方式包括：通過設置在所述目標智能貨柜的外壁上的圖像采集設備獲取位于所述目標智能貨柜外的用戶的人臉圖像，并對該人臉圖像進行人臉圖像識別。步驟102：向所述目標智能貨柜發送柜門開啟指令，使得所述目標智能貨柜根據該柜門開啟指令開啟柜門的門鎖。步驟103：接收所述目標智能貨柜在柜門開啟再關閉后發送的貨品識別指令。

《智能貨柜內貨品識別方法及裝置、智能貨柜》的實施例提供的智能貨柜內貨品識別方法，通過掃描二維碼方式和內置的攝像頭拍照系統，動態實時獲取商品圖像信息，自動上報貨柜的實時圖像，通過圖像識別，實現全程智能化、自動化貨品補錄機制，實現精準商品數據管控方案；解放傳統零售無人柜在補貨的過程中帶來的人力資源、時間資源等浪費現象；進一步為無人柜零售行業提供高效便捷的解決方案。在一種具體實施方式中，參見圖5，《智能貨柜內貨品識別方法及裝置、智能貨柜》還提供一種在智能貨柜內貨品識別方法中的步驟600的具體實施方式，所述步驟600具體在步400之后執行，所述步驟600具體包括如下內容：步驟600：若檢測獲知所述目標智能貨柜中的某類貨品的數量低于對應的補貨閾值，則向補貨人員的終端設備發送補貨告知信息。從上述描述可知，《智能貨柜內貨品識別方法及裝置、智能貨柜》的實施例提供的智能貨柜內貨品識別方法，能夠更加準確且可靠地實現對智能貨柜內貨品的及時補貨，并能夠準確對所述用戶身份識別信息進行驗證，保證了智能貨柜補貨及交易的安全性和可靠性。在一種具體實施方式中，《智能貨柜內貨品識別方法及裝置、智能貨柜》還提供一種在智能貨柜內貨品識別方法中的步驟400的具體實施方式，所述步驟400具體包括如下內容：步驟401：根據所述目標智能貨柜中數量發生變化的各類貨品的類型和對應的重量變化值，以及，預獲取的貨品重量庫，計算得到所述目標智能貨柜中數量發生變化的各類貨品的數量初值；其中，所述貨品重量庫中存儲有貨品的類型和貨品重量之間的對應關系。步驟402：根據所述各類貨品的數量初值確定所述目標智能貨柜中數量發生變化的各類貨品的數量。在步驟402中，若所述各類貨品的數量初值為整數，則所述服務器直接將該數量初值確定所述目標智能貨柜中數量發生變化的各類貨品的數量；若所述各類貨品的數量初值為非整數，則所述服務器根據所述數量初值的小數部分的數值確定所述目標智能貨柜中數量發生變化的各類貨品的數量。其中，所述根據所述數量初值的小數部分的數值確定所述目標智能貨柜中數量發生變化的各類貨品的數量，具體包括如下內容：判斷所述數量初值的小數部分的數值是否處于允許誤差范圍內；若是，則將該數量初值進行四舍五入，并將四舍五入后的值確定所述目標智能貨柜中數量發生變化的各類貨品的數量；若否，則向用戶的終端設備發送貨品確認指令。

另外，參見圖6，從服務器和智能貨柜的交互角度來看，《智能貨柜內貨品識別方法及裝置、智能貨柜》的智能貨柜內貨品識別方法具體包括如下內容：（1）用戶使用終端設備掃描設置在智能貨柜上的二維碼，在移動終端內進入二維碼對應的APP中，并在APP中輸入身份信息，移動終端將輸入至APP內的用戶身份識別信息發送至服務器。（2）服務器對該用戶身份識別信息進行驗證，并在驗證成功后向所述目標智能貨柜發送柜門開啟指令。（3）所述目標智能貨柜接收所述柜門開啟指令后，開啟柜門的門鎖，并在柜門開啟再關閉后向所述服務器發送的貨品識別指令。（4）所述服務器接收所述貨品識別指令，并向所述目標智能貨柜的攝像頭發送拍照指令，并向所述目標智能貨柜的重量傳感器發送重量采集指令。（5）所述目標智能貨柜的攝像頭根據所述拍照指令進行貨品圖像采集，并將采集得到的內部貨品圖像發送至服務器；以及，所述目標智能貨柜的重量傳感器根據所述重量采集指令進行貨品重量采集，并將采集得到的重量變化值發送至服務器。（6）所述服務器對所述內部貨品圖像進行圖像識別，得到所述目標智能貨柜中數量發生變化的各類貨品的類型，根據所述目標智能貨柜中發生變化的各類貨品的類型和對應的重量變化值，確定所述目標智能貨柜中數量發生變化的各類貨品的數量，并基于所述目標智能貨柜中發生變化的各類貨品的類型和數量，更新數據庫中的目標智能貨柜的貨品實時信息。（7）所述服務器將更新后的目標智能貨柜的貨品實時信息發送至所述APP中，便于身體驗證成功的用戶查看。

為進一步的說明本方案，《智能貨柜內貨品識別方法及裝置、智能貨柜》還提供一種智能貨柜內貨品識別方法的具體應用實例，參見圖7，具體包括如下內容：S1、補貨人員登錄補貨APP，掃碼開門；S2、補貨人員將商品擺放到貨架上，同一個重力傳感器對應的貨架或托盤內只擺放一種商品；S3、關門；S4、啟動攝像頭工作，拍攝貨架圖片發送至服務器，服務器進行圖像分析處理和比對，獲取每個貨架內增減的商品品類；同時關門后，主控板查詢重量傳感器的重量變化值，并發送至服務器；S5、服務器獲取重量變化后，調用商品數據庫，通過該貨架內商品的總重量變化除以單個商品的重量，進一步計算出每個貨架內增減商品的數量；S6、服務器自動發送補貨商品的品類和數量到補貨APP。為了加深對本專利的理解，下面對上述方案進行詳細描述。所述貨架或托盤用于擺放貨商品，每個貨架或托盤內置至少一個重量傳感器，并將貨架或托盤進行有序編號，同一個序號對應的貨架或托盤內只擺放一種商品，即同樣的名稱和重量的商品；進一步地，所述貨架或托盤內擺放的貨品也可以根據形狀或形態進行大致分區，或者根據當前區域人群的購物習慣進行區間定制，例如，一二層擺放飲料乳品類，三層擺放面包類，四層擺放休閑零食；或者，一層左側的托盤內擺放飲料，一層右側的托盤擺放乳制品；二層左側托盤擺放面包，二層右側托盤擺放餅干；所述攝像頭分布安裝在每層擱架的兩側、擱架前后方或擱架頂部的至少任一個位置；所述商品數據庫，至少包含每個商品的名稱、數量和單價，還可以包含商品的品類、凈含量、包裝方式、重量允許誤差、商品最低數量、商品是否充足、商品保質期等其中的任意一個或多個信息；所述S4中，圖像識別的方式如下：通過圖像采集的方式，將食品隨意擺放在貨柜上，將每組圖片的食材進行人工標記，提取食材特征，建立食材特征數據庫；通過重復的、大量的食材特征對食材進行特征訓練；將圖片進行處理，建立圖像識別算法模型；根據食材特征識別出終端發送的圖片中的食材；將關門前后的每層擱架中食材進行比對，識別出變化的食材名稱和數量；所述S5中的計算方式，結果不是整數時，采用四舍五入的方式獲取商品數量；所述S5中的計算方式，結果若不是整數時，進一步地，當小數點后的數值在一定范圍內，進一步地，這個范圍可以選取為4-6，則表示該商品的實際重量與商品標示重量之間的誤差較大，可以提示補貨人員進行人工確認，以避免補貨商品數量統計錯誤；進一步地，示例如下：如某方便面的包裝標示重量為110克，補貨員新放入托盤1內該方便面10桶，若該方便面的實際測試重量與110克偏差較大，例如每桶平均偏重5克，則重量傳感器檢測到托盤1內重量變化可能為1150克，服務器通過圖像比對獲取到托盤1內擺放的商品為某方便面，同時獲取到重量傳感器傳送來的重量變化為1150克，服務器調用商品數據庫，獲取該方便面的包裝標示重量為110克，計算1150除以110，得到托盤1內方便面數量為10.46桶，該數值小數點后的數值在4-6之間，則判斷誤差較大，請補貨人員確認托盤1內方便面的數量，若補貨人員不進行處理，則按照四舍五入，確定補貨員在托盤1內放入某方便面10桶。以上為比較極端的情況下的處理方式，一般情況下，當商品包裝標示重量與實際測量重量誤差較小時，

例如上述示例中，若每桶方便面的實際測試重量比包裝標示重量平均偏重1克，則重量傳感器檢測到托盤1內重量變化可能為1110克，采用上述同樣的處理方式，服務器經計算得到托盤1內方便面數量為10.09桶，小數點后數字不在4-6之間，則四舍五入確定補貨員在托盤1內放入某方便面10桶，不需要補貨員確認，可自動生成補貨清單。所述重量允許誤差，為每個商品的實際測量重量與包裝標示重量之間可以接受的誤差范圍，由工作人員選取一定數量的商品標本進行實際測試后人為設置，重量允許誤差也可以不設置，不設置則默認為0；所述重量變化若為負值，則表示補貨員從貨架或托盤上取出商品，則從貨品清單上相應地減去該商品的庫存；所述圖像識別，若判定食品當前擺放位置與上一次圖像結果不一致，且檢測上次圖像識別結果，判斷該商品是否為新商品，若是，則在商品庫存和補貨清單中增加該商品數據；若不是，則將該食品上一次擺放位置的重量傳感器數值置換到當前位置；進一步地，舉例說明，若某品牌可樂在上次補貨時是擺在托盤1位置，本次補貨后，經云端圖片識別發現該品牌可樂擺在托盤2位置，則將托盤1的上次重量直接移植到托盤2上，通過托盤2內的重量變化判定當前補貨商品數量；其他位置以此類推。另外，《智能貨柜內貨品識別方法及裝置、智能貨柜》的應用實例還包括一種補貨的提醒方法：將貨柜內的每個商品設置最低數量值Kn（Kn為自然數），通過上述步驟檢測到貨柜內每個商品的當前數量Qn后，比較Qn與Kn的大小：若Qn＝0，則提示缺貨；若0

如表1所示，服務器根據當前區域人群以往的購物數據和習慣，設置每個商品的最低要求數量，該區域人員對方便面和可樂的需求較高，故某方便面C和某可樂A的最低數量要求為3，其余商品最低數量為1，根據圖2可見，某方便面C的當前庫存為2，低于方便面的最低數量要求3，顯示數量不足；某可樂A的當前庫存為0，顯示缺貨；此時，服務器會發送補貨提醒到補貨人員的客戶端，補貨人員接收到補貨清單提醒后，通過補貨客戶端查看補貨提醒和當前貨柜內所有商品庫存，再帶領足夠的貨品去進行補貨。

如表2所示，補貨人員登陸補貨APP，并掃描貨柜二維碼開門，將貨品放入貨柜內，所有商品擺放完畢，關門離開。此時服務器通過圖像識別判定貨架1、2、3、4擺放的商品分別為某小面包B、某方便面C、某可樂A、某酸奶D，再通過貨架內置的重量傳感器發送的重量變化，判斷貨架1、2、3、4的重量變化分別為0、345克、2.64千克、1.4千克，服務器調用商品數據庫，獲取每個商品的單位重量，通過以下計算獲取每個貨架商品的補貨數量：0/100＝0；345/115＝3；2640/330＝8；1400/200＝7；服務器將以上商品和重量信息發送給補貨APP端和設備端（如有顯示屏，補貨人員登陸后可查看），補貨人員即便已離開，依然隨時可登陸補貨APP查看補貨詳情。如圖3的示例，若補貨人員發現貨柜內小面包剩余較多，且其擺在角落位置貨架1上，補貨人員臨時將小面包擺放到原來某可樂A的中心位置貨架3上，再將某可樂A擺放到小面包原來的貨架1上，此時服務器通過圖像識別判定貨架1擺放的商品為某可樂A，貨架3上擺放的商品為小面包，則將貨架1和3的上一次重量數值進行對換后再根據上述方式計算兩個貨架的補貨數量。另外，本應用實例中的補貨APP也可以是安裝在貨柜的門體上，通過貨柜顯示屏進行顯示，進一步地，補貨員開門的方式除了掃碼開門外，還可以是人臉識別開門；通過攝像頭圖像識別獲取貨品品名，通過重量傳感器獲取商品數量，識別順序可以前后調整。

從上述描述可知，《智能貨柜內貨品識別方法及裝置、智能貨柜》的應用實例中的智能貨柜內貨品識別方法，通過貨架內安裝重量傳感器的方式，獲取貨品的重量變化，通過貨柜內安裝攝像頭的方式獲取商品圖片，并進行圖片識別，進而獲取貨架上商品增減的品類；此方法不要求貨品的擺放位置固定，可以隨意將某一種貨品擺放在任意一個貨架或托盤上；根據貨品的重量變化和品類變化，結合服務器的商品數據庫信息，快速地計算出商品的補貨詳情，自動生成補貨清單；當檢測到貨架內商品數量低于某個設定值時，服務器自動發送補貨提醒給補貨人員；當檢測到貨架內商品與上次不同時，直接調用商品上次擺放貨架的重量值，更新數據；本應用實例中的智能貨柜內貨品識別方法，相對于傳統的售貨機的貨品識別方法，在補貨時，無需一一掃描商品條碼，直接放入商品，關門離開即可；相對于新型的無人零售機，采用此方式，貨品在貨架內的擺放不再局限于某個貨架只能擺放某一種指定商品，補貨人員可以將某一種貨品擺放在任意一個貨架或托盤內，關門即可自動獲取補貨品類和數量；對于補貨工作人員來說，方便快捷，補貨效率高。該發明的實施例二提供一種能夠實現上述智能貨柜內貨品識別方法全部內容的一種智能貨柜內貨品識別系統的具體實施方式，參見圖8，所述智能貨柜內貨品識別系統具體包括如下內容：貨品識別指令接收模塊10，用于接收目標智能貨柜的貨品識別指令。圖像及重量采集模塊20，用于采集所述目標智能貨柜的內部貨品圖像，并獲取該目標智能貨柜內各類貨品的重量變化值，其中，所述內部貨品圖像中包含有當前目標智能貨柜中的全部貨品。增減貨品類型識別模塊30，用于對所述內部貨品圖像進行圖像識別，得到所述目標智能貨柜中數量發生變化的各類貨品的類型。增減貨品數量識別模塊40，用于對所述內部貨品圖像進行圖像識別，得到所述目標智能貨柜中數量發生變化的各類貨品的類型。該發明提供的智能貨柜內貨品識別系統的實施例具體可以用于執行上述智能貨柜內貨品識別方法的實施例的處理流程，其功能在此不再贅述，可以參照上述方法實施例的詳細描述。從上述描述可知，《智能貨柜內貨品識別方法及裝置、智能貨柜》的實施例提供的智能貨柜內貨品識別系統，能夠對智能貨柜內的貨品進行準確且快速的識別，有效節省了人力成本，補貨過程更加快速且便捷，并提高了智能貨柜的智能化程度和應用可靠性，故使得用戶體驗提高。

《智能貨柜內貨品識別方法及裝置、智能貨柜》的實施例三提供能夠實現上述智能貨柜內貨品識別方法中全部步驟的一種電子設備的具體實施方式，參見圖9，所述電子設備具體包括如下內容：處理器（processor）601、存儲器（memory）602、通信接口（Communications Interface）603和總線604；其中，所述處理器601、存儲器602、通信接口603通過所述總線604完成相互間的通信；所述通信接口603用于實現服務器及智能貨柜中各種設備之間的信息傳輸；所述處理器601用于調用所述存儲器602中的計算機程序，所述處理器執行所述計算機程序時實現上述實施例一中的全部步驟，例如，所述處理器執行所述計算機程序時實現下述步驟：步驟100：接收目標智能貨柜的貨品識別指令。步驟200：采集所述目標智能貨柜的內部貨品圖像，并獲取該目標智能貨柜內各類貨品的重量變化值，其中，所述內部貨品圖像中包含有當前目標智能貨柜中的全部貨品。 步驟300：對所述內部貨品圖像進行圖像識別，得到所述目標智能貨柜中數量發生變化的各類貨品的類型。步驟400：根據所述目標智能貨柜中發生變化的各類貨品的類型和對應的重量變化值，確定所述目標智能貨柜中數量發生變化的各類貨品的數量。從上述描述可知，《智能貨柜內貨品識別方法及裝置、智能貨柜》的實施例提供的電子設備，能夠對智能貨柜內的貨品進行準確且快速的識別，有效節省了人力成本，補貨過程更加快速且便捷，并提高了智能貨柜的智能化程度和應用可靠性，故使得用戶體驗提高。《智能貨柜內貨品識別方法及裝置、智能貨柜》的實施例四提供能夠實現上述智能貨柜內貨品識別方法中全部步驟的一種計算機可讀存儲介質，所述計算機可讀存儲介質上存儲有計算機程序，該計算機程序被處理器執行時實現上述實施例一的全部步驟，例如，所述處理器執行所述計算機程序時實現下述步驟：步驟100：接收目標智能貨柜的貨品識別指令。步驟200：采集所述目標智能貨柜的內部貨品圖像，并獲取該目標智能貨柜內各類貨品的重量變化值，其中，所述內部貨品圖像中包含有當前目標智能貨柜中的全部貨品。 步驟300：對所述內部貨品圖像進行圖像識別，得到所述目標智能貨柜中數量發生變化的各類貨品的類型。步驟400：根據所述目標智能貨柜中發生變化的各類貨品的類型和對應的重量變化值，確定所述目標智能貨柜中數量發生變化的各類貨品的數量。從上述描述可知，《智能貨柜內貨品識別方法及裝置、智能貨柜》的實施例提供的計算機可讀存儲介質，能夠對智能貨柜內的貨品進行準確且快速的識別，有效節省了人力成本，補貨過程更加快速且便捷，并提高了智能貨柜的智能化程度和應用可靠性，故使得用戶體驗提高。《智能貨柜內貨品識別方法及裝置、智能貨柜》的實施例五提供能夠一種智能貨柜的具體實施方式，參見圖10，所述智能貨柜具體包括如下內容：所述智能貨柜與所述的電子設備通信，所述電子設備用于接收目標智能貨柜的貨品識別指令，采集所述目標智能貨柜的內部貨品圖像，并獲取該目標智能貨柜內各類貨品的重量變化值，其中，所述內部貨品圖像中包含有當前目標智能貨柜中的全部貨品，以及對所述內部貨品圖像進行圖像識別，得到所述目標智能貨柜中數量發生變化的各類貨品的類型。在一種具體舉例中，所述智能貨柜中包括位移傳感器、多個重量傳感器和多個攝像頭，一個智能貨柜中一般均包含有多層貨架，且各層貨架的兩側及上方均可以設有多個攝像頭，以保證每個智能貨柜內的攝像頭均能夠采集到有當前目標智能貨柜中的全部貨品，同時，為了保證獲取圖像的清晰程度，每個攝像頭上均可以對應的照明燈，所述貨品識別指令發送單元可以為位移傳感器，且位移傳感器的兩部分分別為設置在所述智能貨柜的柜門上器件一以及設置在所述智能貨柜內壁上靠近所述器件一的器件二，且各層貨架的底端均設有至少一個重量傳感器，且各個重量傳感器均與服務器通信。

2021年8月16日，《智能貨柜內貨品識別方法及裝置、智能貨柜》獲得安徽省第八屆專利獎優秀獎。

本標準適用于智能化貨柜售賣動作的評價，本標準售賣動作評價相關試驗包括: 手動售賣測試，商品取出性（多瓶售賣）測試，硬幣、紙幣通路測試，通常售賣測試，商品劃傷測試，售賣噪音測試，電壓變動測試以及特殊售賣試驗。該標準的發布有益于智能化貨柜各售賣相關動作、指標的規范化。指導智能化貨柜生產單位針對售賣相關特性進行測試和質量評價，售賣動作是否流暢、準確，動作過程是否有噪聲以及其他問題，確保在投入使用前各性能良好。旨在為行業內的企業提供品質評價的標準，提升產品品質。

本標準適用于智能化貨柜的冷卻、加熱性能的測試和品質評價。標準技術內容包括：電氣特性評價，冷卻特性評價，加熱特性評價，冷卻、加熱組合特性評價，環境耐候性評價以及異常狀態評價和其他一般特性評價。隨著無人設備的發展和使用市場的擴大，智能化貨柜投入使用范圍愈加廣泛。本標準為測試智能化終端冷藏設備的冷卻、加熱性能提供依據和判斷方法，確保冷卻、加熱性能有關品質有足夠保證。

本標準主要用于智能化貨柜的相關特性的判斷及相關技術要求的提出。主要技術內容包括翻倒角度、調平螺釘上浮、主體推倒性、地腳螺釘固定強度、主體振動5方面特性技術要求的測評，確保產品符合出品要求,保證產品質量,提高用戶體驗滿意度。 2100433B