研發現況

字級:
小字級
中字級
大字級

電子觀察員影片判讀系統

資料來源:國立臺灣大學生物機電工程學系

 class='img_caption'圖1、電子觀測員影片判讀系統作業示意圖

隨著全球環境變遷以及人口膨脹,各國逐漸開始重視糧食資源不足的問題,其中包括了海洋資源的使用。為了能永續利用海洋資源,許多國際組織開始對公海上的漁業資源進行管理與評估,其中正確漁獲資訊的取得是實現最佳化管理的重點。漁獲資訊包含了漁獲種類、體長、捕獲時間及捕獲地點的經緯度等。臺灣身為區域性國際漁業組織的成員,在遠洋漁業方面具有國際級的實力,因此更承擔著正確蒐集與回報漁獲資料之義務。然而受限於人力資源的短缺,我國遠洋漁船雖派有駐船觀察員進行漁獲資料之紀錄,但仍需仰賴作業漁船自行申報資料,增加漁船許多行政作業。為解決上述問題,國際漁業組織鼓勵各國發展電子觀察員,其中,全時記錄漁船甲板作業情形的影片式電子觀察員為發展趨勢,可提供完整的漁獲捕獲紀錄影片,然而所錄製的影片仍需人工進行漁獲行為判讀,例如,標示漁具下鈎及起鈎之時間及地點,判別釣獲之魚種及數量,而每航次平均為3個月,所錄製之影片長度往往動輒數千小時以上,人工判讀效率低落讓判讀過程極為耗費人力與時間。有鑑於上述情形,應用於遠洋漁船作業的電子觀察員影片判讀系統之研發至關重要。

電子觀察員包含安裝於甲板上方之高解析防水攝影鏡頭、衛星導航(GPS)、中央處理主機與資料儲存系統。攝影鏡頭記錄漁船出海期間所有的作業情況,並記錄儲存至位於漁船上的儲存系統中。本團隊將漁船作業影片送往岸上的資料處理中心,利用深度學習的技術,達到自動化判讀漁船作業影片資訊,作業示意如圖1。

影片判讀系統

 class='img_caption'圖2、影片判讀系統流程圖

電子觀察員影片判讀系統架構如圖2所示,其中應用了兩個深度學習模型。其中模型一、二分別應用了移動式網路v2(MobileNet v2)以及遮罩區域卷積神經網路(Mask R-CNN)。由於電子觀察員影片往往長達數天,扣除航行及尋魚時間外,涵括漁獲的片段並不多。因此,電子觀察員首先透過模型一來找出漁獲起鉤的片段,再將這些可能含有漁獲影像的片段交由模型二進行漁獲資料的辨識及蒐集。

在模型一中,團隊利用影片中起鉤及閒置的影像作為訓練樣本,訓練移動式網路,使其可辨識漁船上的起鉤作業,達成影片分類的目的,模型準確率達99.17%。在模型二中,團隊將電子觀察員擷取的各種魚類影像作為訓練樣本,訓練自動偵測魚體並辨識魚類的模型。遮罩區域卷積神經網路模型有別於一般的目標偵測模型,除了能以方框標示出目標位置外,更能以遮罩覆蓋魚體,標示出目標的輪廓。在此研究中,遮罩區域卷積神經網路模型成功地偵測出現在影像中的魚體並辨識其種類,標示出的輪廓則能進行魚體長的評估。此外,透過分析整部作業影片,使我們得以計算影片中的總漁獲量。影片偵測流程如圖3:首先,將電子觀察員影片切割為影像集後送入遮罩區域卷積神經網路模型,對各影像進行魚體偵測及魚類辨識,若偵測到魚體,模型將在影像中以遮罩覆蓋魚體,如圖中可見的紅色遮罩;下一步將影像集所有魚體的位置取出,利用距離閾值演算法判定是否為同一條魚,再以時間閾值演算法分析影片中魚體的確切數量。圖三的結果顯示在十分鐘的捕撈影片中,共偵測到四條魚,依序為鯊魚、鮪魚、鮪魚及旗魚,其體長資訊亦被標註在圖中,單位為公分。目前此模型能成功偵測各式魚類(例如:鮪魚、旗魚、鯊魚及其他魚類),在200部測試影片中,魚類辨識準確率為98.06%,魚體數量計算準確率為77.31%。

圖3、影片偵測流程圖圖3、影片偵測流程圖

本研發團隊成功開發出能分析電子觀察員影片的深度學習應用系統,並收集漁獲資訊(魚類、體長、位置、數量)。此系統能夠有效地掌握漁船在海上捕撈的漁獲資料,同時減少判讀影片所需之行政人力成本,並提供重要的漁獲分析資料。未來將應用在更長時間的電子觀察員影片上,並提升整體的準確度及穩定性,期望臺灣的漁業科技能對海洋資源盡上最大一份力。

▲研發團隊:國立臺灣大學生物機電工程學系

聯絡人:郭彥甫 副教授

電話:02-33665329

E-mail:ykuo@ntu.edu.tw

TOP