研發現況

字級:
小字級
中字級
大字級

深度學習與遠洋漁業的結合

資料來源:國立臺灣大學生物機電系/郭彥甫、呂易晉、曾啟軒、呂玠諺、林宏陽

海洋資源的永續利用為近年來世界各國關注的議題。為了實踐海洋資源的永續利用,許多國際組織開始對公海上的漁業資源進行管理與評估,而管理與評估的基礎在於正確的漁獲資訊,漁獲資訊包含漁獲種類、體長、捕獲時間及捕獲地點的經緯度等。臺灣身為區域性國際漁業組織的成員,在遠洋漁業方面實力雄厚,正確地回報漁獲資料為應盡之義務,然而受限於人力資源的短缺,我國目前僅有少數遠洋漁船派有駐船觀察員進行漁獲資料之紀錄,其餘則仰賴作業漁船自行申報資料。有鑑於上述情形,發展電子觀測系統(Electronic Monitoring System),藉由自動化方式取得相關漁獲資料,並達到提升紀錄資料之正確性與節省人力資源之目的為未來趨勢。

電子觀測系統包含安裝於甲板上方之高解析攝影鏡頭、衛星導航(GPS)、感測器與中央處理之主機。具體之運作方式如圖1所示,在漁船捕獲魚獲後會觸發電子觀測系統開始對甲板進行錄影,而中央主機則是透過感測器與衛星導航裝置收集地點、時間等資訊並同時針對取得之影像進行分析以辨識魚種及魚體長。本團隊利用深度學習(Deep learning)之方式使電腦能透過攝影鏡頭取得之影像自動進行魚種之辨識與體長之量測。

圖1、電子觀測系統作業示意圖圖1、電子觀測系統作業示意圖

一、 魚種辨識系統

魚種辨識為現行電子觀測系統共同之難題,現今國際上所使用之電子觀測系統皆是先利用錄影或拍照的方式記錄漁船作業過程,再由陸上的觀察員透過觀看影片或相片來進行魚種之辨識與紀錄。這樣的過程需耗費大量人力與時間於尋找影片中之魚體位置並進行辨識,因此具有極高的自動化價值。

研究團隊利用深度學習中的卷積神經網路(Convolutional Neural Network)與漁業署所提供之魚種影像作訓練,以建立魚種辨識之模型。訓練之魚種影像由海上觀察員於漁船甲板上所拍攝,其環境包含:夜間、陰影、雜亂背景等多種環境因素,在訓練的過程中所有影像也會經過不同的前處理,包含:旋轉、縮放等,使影像更為符合電子觀察員所拍攝之情況。
目前系統針對八種臺灣遠洋延繩釣漁業常見漁獲進行辨識,分別為長鰭鮪 (Albacore)、大目鮪 (Bigeye tuna)、黃鰭鮪 (Yellowfin tuna)、南方黑鮪(Southern bluefin tuna)、黑皮旗魚(Blue Marlin)、雨傘旗魚(Sailfish)、劍旗魚(Swordfish)與鬼頭刀(Dolphin fish)(圖2)。為了在運算效能與準確率中取得平衡,研究團隊利用四種不同的卷積神經網路架構訓練魚種辨識之模型,整體系統最高辨識率可達95.82%,而在1080Ti圖像顯示卡上運行速度最快可達7.81毫秒/影像。

圖2、11種欲辨識之延繩釣常見魚類/種圖2、11種欲辨識之延繩釣常見魚類/種

二、 魚體體長量測系統

漁獲大小對於漁民是相當重要的資訊,不僅是分級的標準之一,也是漁獲資源管理參考的重要指標。目前海上觀察員以手動測量並記錄,此方法不但耗時,且在漁船的狹小空間中作業十分不便。近年來開始利用電子觀察員系統擷取漁船作業時的影片,藉由觀察員觀看影片並由人工點選出的魚吻、魚尾位置和比例尺方格來計算魚體長。雖然可以解決漁船上人工量測魚體長的不便,但仍需消耗大量時間和勞力來觀看影片及人工標示。因此研發團隊將利用自動化的方法量測影像中魚體長,以解決人工作業耗時費工的問題。

研究團隊利用深度學習中的Mask R-CNN方法與電子觀察員所擷取的影像作為訓練樣本,訓練魚體偵測模型。魚體長量測流程如圖3,首先利用魚體偵測模型自動偵測影像中魚體位置,接著利用相同視角及距離所擷取的方格紙影像,計算相機校正矩陣,將原始影像進行相機校正並計算影像比例尺,接著找到影像中的魚吻及尾叉點,計算出魚吻至尾叉的距離作為影像中魚體長,最後利用影像中魚體長及影像比例尺計算原始魚體長。目前此系統可以成功偵測各式魚類(例如:鮪魚、旗魚、鯊魚、鬼頭刀等),且利用研發團隊於南方澳漁港卸魚貨時所取得的227張影像測試,平均魚體長度測量誤差為5.66%(約7.45公分)。

圖3、魚體長量測流程圖圖3、魚體長量測流程圖

▲研發團隊:國立臺灣大學生物機電系

聯絡人:郭彥甫 副教授

電話:02-3366-5329

E-mail:ykuo@ntu.edu.tw


TOP