字級:
小字級
中字級
大字級

蜂蟹蟎影像辨識深度學習架構

資料來源:農委會苗栗區農業改良場/徐培修助理研究員、財團法人工業技術研究院 /陳博勳技術副理

蜂蟹蟎傳統上為蜜蜂產業危害最嚴重的外寄生蟎,監測其族群密度為整合性防治害蟎的重要基礎。但其個體小肉眼辨識不易,且須靠人力耗時計數。本專案針對過去監測蜂蟹蟎計數之方法做改良並提出一套創新式監測模式。整套蜂蟹蟎影像監測模式將開發自動取像裝置,收集大量蜂蟹蟎影像資料,藉由蜂箱內之IP CAM與馬達驅動之黏蟲紙擷取蜂蟹蟎影像,並應用4G LTE技術上傳影像資料至雲端做密度辨識,完成自動化蜂蟹蟎辨識系統。未來還可以透過蜂蟹蟎辨識密度之資料做自動化回饋系統,噴灑藥劑作為防治。蜂蟹蟎智能防治系統開發目前分作兩部分;一部分為硬體之蜂蟹蟎影像擷取裝置之開發,另一部分為蜂蟹蟎影像辨識核心之開發。

蜂蟹蟎影像擷取裝置之硬體設備開發的設計重點有三項:

(1)黏蟲紙可自動化傳送到影像擷取攝影機前方拍照,省去人力定期收黏蟲紙再人工拍照上傳的流程。黏蟲紙可依蜂蟹蟎族群好發季節,自動化調整捲動次數。

(2)影像擷取攝影機可依蜂蟹蟎族群好發季節,調整拍攝頻率,進行自動化影像擷取。

(3)影像擷取檔案透過4G網路自動上傳分析平台。依據設計重點定義與開發蜂蟹蟎影像擷取裝置之主要機構和功能,說明如下:

1. 捲動馬達:使用直流電源,耗電量小,馬力足夠可帶動捲筒式黏蟲紙。

2. 800萬畫素網路攝影機:使用國產品與自動變焦之網路攝影機,求取清晰影像進行分析。依照蜂箱的底面積與國內生產之黏蟲紙寬度,為求最大採樣面積,搭載兩台網路攝影機,分別拍攝兩
    捲黏蟲紙。

3. LED補光燈:提供攝影機穩定的光線,使影像辨識不受光度影響。

4. 控制箱:搭載HMI與4G網路路由器,使用者可操作HMI變更拍照頻率和捲動馬達的排程設定。

5. 整組機構放置在蜂箱下方,機構周圍用木板封住,使影像擷取不受外圍環境之光度變化而影響辨識度。

整體蜂蟹蟎影像擷取裝置設計與開發結果可參考圖一。由黏蟲紙放置於蜂箱底盤開始,影像擷取機構放置於黑色木箱內。黑色木箱內有馬達與卷軸支架會從下面把黏蟲紙從底盤內捲出,如圖四。而內部線材部分會從黑色木箱中側邊拉出,進線孔用泡棉堵住多餘開孔,防止昆蟲或小動物爬入裝置,如圖二。而蜂蟹蟎擷取裝置控制箱,外頭罩上遮雨罩防雨,遮雨罩長度為控制箱一半防止晴天時熱氣累積在遮雨罩中而造成控制箱過熱,如圖三。目前蜂蟹蟎影像擷取裝置可正常拍攝與透過4G LTE正常上傳影像運轉中。

 class='img_caption'蜂蟹蟎40倍率顯微影像

開發蜂蟹蟎影像辨識程式。為了解決問題,將利用本團隊開發之新創型SSD深度學習之架構,對蟲隻的位置直接做預測,省略ROI提取的步驟,做法上類似對每個位置都拿分類器去判斷,可避免上面所發生的問題。此一新創型SSD深度學習之架構辨識核心採用SSD架構並加入影像差分技術作影像區塊偵測,以提高辨識精度。而在影像資料群部分,因蜂蟹蟎影像擷取裝置目前正在試運轉中,故影像資料群部分會先從過去傳統黏蟲紙影像作訓練。目前團隊所蒐集之資料包含蜂蟹蟎在顯微鏡下40倍率之影像資料和黏蟲紙實際置入蜂箱底盤蒐集蜂蟹蟎之影像,分別為約3000張與872張。40倍率之顯微鏡影像可參考如右圖。由40倍率顯微影像下觀察可看到,蜂蟹蟎在黏紙板上之蟲紋特徵非常明顯。蟲紋特徵包含蟲體特徵、蟲體紋路、蟲腳特徵和蟲體各方向與方位特徵等等。

除了顯微鏡下之影像資料以外,還蒐集了實際蜂箱內底盤之黏蟲紙上之影像,如圖。圖左為整幅黏紙板大小,而圖右為整幅黏紙板大小切割成1/4面積大小。在相同的相機焦距之下所取得之畫面畫素等效為切割成1/4面積大小。

蜂箱底盤黏蟲紙之影像蜂箱底盤黏蟲紙之影像
 class='img_caption'辨識結果

透過等效畫素的提高,主要目的為希望所蒐集到蜂蟹蟎影像能盡量接近40倍率顯微影像。相對的,等效畫素的提高也可以盡量把蜂蟹蟎相關特徵抓取更詳細。值得注意的是目前蒐集到之影像資料會與未來蜂蟹蟎影像擷取裝置所蒐集之資料不太相同。故目前所訓練之結果僅止於聚焦在辨識流程和辨識架構上之建置與微調,未來還需以蜂蟹蟎影像擷取裝置之影像擷取資料為主要訓練標的。training dataset部分共有800張照片。本團隊使用兩張TITAN Xp 來訓練新創型SSD model,訓練時間為8小時。以下是測試結果,藍色部分為ground truth,紅色部分為prediction。由於蜂蟹蟎特徵不顯著,故測試結果false alarm很多,之後需要蒐集特徵更顯著的data,才有助於提升model之辨識正確率。訓練初步結果其Precision(精確率)約55%、 Recall(召換率)可超過80%。由此觀察可發現在提高精確率上,未來蜂蟹蟎影像擷取裝置可透過蜂蟹蟎影

▲研發團隊:行政院農業委員會苗栗區農業改良場、財團法人工業技術研究院

聯絡人:陳博勳技術副理

電話:03-5916774

E-mail:dennis.chen@itri.org.tw

TOP