Vertex AI Vision 動態濾鏡

1. 目標

總覽

本程式碼研究室的重點是建立端對端 Vertex AI Vision 應用程式,以示範使用動作篩選功能傳送影片。在本教學課程中,我們將介紹動作篩選器設定中的不同參數:

  • 動作偵測靈敏度
  • 事件錄製時間長度下限
  • 回溯期
  • 收操時間
  • 動作偵測區

課程內容

  • 如何擷取影片以供串流播放
  • 動態濾鏡提供的各種功能及其使用方式
  • 查看 Motion Filter 統計資料的位置
  • 如何根據影片調整設定

2. 事前準備

  1. 在 Google Cloud 控制台的專案選取器頁面中,選取或建立 Google Cloud 專案注意:如果您不打算保留在這項程序中建立的資源,請建立新專案,不要選取現有專案。這樣在完成這些步驟後,您就可以刪除專案,並移除與該專案相關聯的所有資源。前往專案選取器
  2. 確認 Cloud 專案已啟用計費功能。瞭解如何檢查專案是否已啟用帳單功能
  3. 啟用 Compute Engine 和 Vision AI API。啟用 API

建立服務帳戶:

  1. 前往 Google Cloud 控制台的「Create service account」(建立服務帳戶) 頁面。前往「Create service account」(建立服務帳戶)
  2. 選取專案。
  3. 在「Service account name」(服務帳戶名稱) 欄位中輸入名稱。Google Cloud 控制台會根據這個名稱填入「服務帳戶 ID」欄位。在「服務帳戶說明」欄位中輸入說明。例如,快速入門指南的服務帳戶。
  4. 按一下 [建立並繼續]
  5. 如要提供專案存取權,請將下列角色授予服務帳戶:Vision AI > Vision AI 編輯者、Compute Engine > Compute 執行個體管理員 (Beta 版)、Storage > Storage 物件檢視者 †。在「請選擇角色」清單中,選取所需角色。如要新增其他角色,請按一下「新增其他角色」,然後新增各個角色。注意:「Role」欄位會影響服務帳戶可在專案中存取哪些資源。您可以稍後撤銷這些角色,或授予其他角色。在實際環境中,請勿授予擁有者、編輯者或檢視者角色。請改為授予符合需求的預先定義角色自訂角色
  6. 按一下「繼續」
  7. 按一下「完成」即可完成服務帳戶建立程序。請勿關閉瀏覽器視窗。您將在下一個步驟中使用此項目。

建立服務帳戶金鑰:

  1. 在 Google Cloud 控制台中,按一下您建立的服務帳戶電子郵件地址。
  2. 按一下「鍵」
  3. 依序點選「新增金鑰」和「建立新的金鑰」
  4. 按一下「建立」,JSON 金鑰檔案會下載至您的電腦。
  5. 按一下「關閉」
  6. 安裝初始化 Google Cloud CLI。

† 只有在從 Cloud Storage 值區複製影片檔案範例時,才需要這個角色。

3. 動態濾鏡

動作篩選器可擷取含有動作事件的動作和產品影片片段。使用者可以調整動作感應度、事件最短長度、回溯期、冷卻期和動作偵測區,依據自身需求設定篩選器。

動作篩選器設定

動態篩選器提供 5 種自訂設定。

  1. 動作靈敏度:動作的靈敏度。
  2. 事件最短長度:動作事件的擷取最短長度。
  3. 回溯期:錄影開始錄影前,系統應先偵測動作事件的時間長度。
  4. 等待期:在動作事件結束後,系統會執行指定持續時間的等待期。在等待期內,系統不會觸發動作事件。
  5. 動作偵測區:使用者設定的區域,用於指定動作偵測功能應執行的位置。(後續章節會詳細說明)

動作感應靈敏度

在 vaictl 指令中使用旗標 motion_detection_sensitivity
字串。預設媒體。可選擇低、中或高。

動作偵測靈敏度越高,對噪音和細微動作的反應就越敏感。我們建議將這項設定用於含有較小物體移動 (例如遠距離的人) 且光線穩定的設定。

另一方面,低感光度對光線干擾的敏感度較低。這項設定非常適合在光線干擾較多 (例如戶外環境) 的情況下使用,以及在雜訊較多時提升影片品質。由於這項設定是所有設定中最嚴格的,因此可能會忽略小物件的移動。

事件錄製時間長度下限

在 vaictl 指令中使用旗標 min_event_length_in_seconds
整數。預設值為 10 秒。範圍介於 0 秒到 3600 秒。

在影格中偵測到動作事件片段後,要剖析的動作事件影片最短時間長度。

回溯期

在 vaictl 指令中使用旗標 look_back_window_in_seconds
整數。預設為 3 秒。範圍介於 0 秒到 3600 秒。

回溯期是指在偵測到動作事件前快取的時間長度。這項功能可讓我們瞭解在偵測到動作事件前幾秒的時間內,影格中發生了什麼事。

等待期

在 vaictl 指令中使用旗標 cool_down_period_in_seconds
整數。預設為 300 秒。範圍從 0 秒到 3600 秒。

冷卻期是指在偵測到動作事件後,動作偵測功能會暫停多久的時間。在等待期內,系統不會執行任何運算來偵測動作。

4. 基本動作篩選器範例

Vaictl SDK 手冊

如要檢查 vaictl 手動輸入串流,請使用下列指令。

vaictl send video-file applying motion-filter -h

準備示例影片

  1. 您可以使用下列 gsutil cp 指令複製範例影片。替換下列變數:
  • 來源:要使用的影片檔案位置。您可以使用自己的影片檔案來源 (例如 gs://BUCKET_NAME/FILENAME.mp4),也可以使用範例影片 (gs://cloud-samples-data/vertex-ai-vision/street_vehicles_people.mp4)(含有人物和車輛的影片,來源)
export SOURCE=gs://cloud-samples-data/vertex-ai-vision/street_vehicles_people.mp4
gsutil cp $SOURCE .

準備環境變數

設定下列環境變數,即可使用提供的指令範本。

vaictl 變數

  • PROJECT_ID:您的 Google Cloud 專案 ID。
  • LOCATION_ID:您的地區 ID。例如 us-central1。詳情請參閱「Cloud 據點」。
  • LOCAL_FILE:本機影片檔案的檔案名稱。例如 Street_vehicles_people.mp4。
  • –loop 標記:選用。循環播放檔案資料,模擬串流。
export PROJECT_ID=<Your Google Cloud project ID>
export LOCATION_ID=us-central1

動作篩選器變數

  • MOTION_SENSITIVITY:動作偵測的靈敏度。
  • MIN_EVENT_LENGTH:動作事件的長度下限。
  • LOOK_BACK_WINDOW:在動作事件中,從第一次偵測到動作之前,要擷取的時間長度。
  • COOL_DOWN_PERIOD:擷取動作事件後,動作偵測暫停的時間範圍。
export MOTION_SENSITIVITY=<low or medium or high>
export MIN_EVENT_LENGTH=<0-3600>
export LOOK_BACK_WINDOW=<0-3600>
export COOL_DOWN_PERIOD=<0-3600>

準備動作濾鏡指令

搭配輸入串流使用動作篩選器的方式有兩種。第一個選項是將動作事件傳送至雲端控制台中的串流。第二個選項是將動作事件傳送至本機儲存空間。

將結果傳送至 Cloud 控制台

您可以使用 vaictl 將輸出影片資料串流至雲端控制台。請先在 Cloud 控制台中啟用 Vision AI API。

註冊新的串流

  1. 按一下 Vertex AI Vision 左側面板中的「串流」分頁標籤。
  2. 按一下「註冊」
  3. 在「Stream name」(串流名稱) 中輸入 motion-detection-stream
  4. 在「region」中輸入 us-central1
  5. 按一下「註冊」

正在將結果傳送至訊息串

這個指令會將影片檔案串流至串流。如果使用 –loop 旗標,系統會將影片重複播放至串流中,直到你停止指令為止。我們會將這個指令做為背景工作執行,以便繼續串流。

在開頭加上 nohup,並在結尾加上 &,即可將其設為背景工作。

INPUT_VIDEO=street_vehicles_people.mp4

vaictl -p $PROJECT \
       -l $LOCATION_ID \
       -c application-cluster-0 \
       --service-endpoint visionai.googleapis.com \
  send video-file  --file-path $INPUT_VIDEO \
  applying motion-filter
         --motion-sensitivity=$MOTION_SENSITIVITY \
         --min-event-length=$MIN_EVENT_LENGTH \
         --lookback-length=$LOOK_BACK_WINDOW \
         --cooldown-length=$COOL_DOWN_PERIOD \
  to streams motion-detection-stream --loop

啟動 vaictl 擷取作業到資訊主頁中顯示的影片,可能需要約 100 秒的時間。

串流攝入功能可供使用後,您可以選取流量串流,在 Vertex AI Vision 資訊主頁的「串流」分頁中查看影片動態饋給。

前往「串流」分頁

將結果傳送至本機儲存空間

這個指令會將影片檔案串流至串流。

在開頭加上 nohup,並在結尾加上 &,即可將其設為背景工作。

INPUT_VIDEO=street_vehicles_people.mp4
OUTPUT_PATH=<path_to_store_motion_events_on_local_disk>

nohup vaictl -p $PROJECT \
             -l $LOCATION_ID \
             -c application-cluster-0 \
             --service-endpoint visionai.googleapis.com \
  send video-file  --file-path $INPUT_VIDEO \
  applying motion-filter
         --motion-sensitivity=$MOTION_SENSITIVITY \
         --min-event-length=$MIN_EVENT_LENGTH \
         --lookback-length=$LOOK_BACK_WINDOW \
         --cooldown-length=$COOL_DOWN_PERIOD \
  to mp4file --mp4-file-path=$OUTPUT_PATH --loop

5. 動作偵測區

本節將深入探討動作偵測區的用途,以及如何設定動作偵測區。這個區域可遮蔽不感興趣區域的動作,進而改善動作偵測功能。

動作偵測區有兩種:(1) 正區,動作偵測只會在標註區域執行;(2) 負區,動作偵測會忽略標註區域中的任何動作。

區域註解

使用 vaictl 指令中的 zone_annotation 旗標輸入區域多邊形的座標。
字串。可用區註解的預設值。

可用區註解是使用者的字串輸入內容,代表影格中要隱藏或聚焦的區域。如要為區域加上註解,使用者必須指定區域中每個節點的 x 軸和 y 軸圖片座標。一個可用區必須有三個以上的節點,才能形成多邊形。一個影格可能包含多個區域。如果區域彼此重疊,兩個可用區涵蓋的區域仍會涵蓋在內。

區域註解有特定的輸入語法。

  • 如要標示單一節點,請使用 : 連結圖片座標的 X 軸和 Y 軸。舉例來說,左上角的 (0,0) 節點會標示為 0:0
  • 如要標示單一區域中的所有節點,請使用 ; 連接節點。舉例來說,如果可用區含有 (0,0)(100,0)(100,100)(0, 100) 節點,可用區即為 0:0;100:0;100:100;0:100。請務必將節點輸入為彼此相鄰的連接節點,順序可以是順時針或逆時針。

動作偵測區 - 正方形*四個節點的方形區域。

動作偵測區 - 三角形*三個節點的三角形區域。

  • 如要在單一影格中標示多個區域,請使用 - 連接不同的區域。舉例來說,如果我們想輸入 (0,0)(100,0)(100,100)(0,100)(120,120)(110,150)(200,160),輸入區域註解會是 0:0;100:0;100:100;0:100-120:120;110:150;200:160

動作偵測區域 - 含有兩個區域的影格*畫面內有兩個區域。

如要從圖片取得座標,網路上有幾個工具可協助您取得座標。例如,請參閱 Wolfram - 從圖片取得座標

排除註解區

在 vaictl 指令中使用標記 exclude_annotated_zone,設定偵測區域內或區域外的動作。
布林值。預設值為 false。

排除註解區域是使用者輸入的布林值,表示使用者是否要排除動作偵測中的註解區域。

  • 如果設為 true,標註的區域就會做為負區。系統不會偵測標記區域中的動作。

動作偵測區域 - 排除選項 *僅在輸入區域外執行動作偵測。

  • 如果設為 false,該區域就會視為正面區域,系統會將動態偵測功能集中在該區域。

動作偵測區 - 包含選項 *僅在輸入區域執行動作偵測。

6. 動作偵測區範例的動態濾鏡

在本例中,我們會使用前景中不斷移動的樹木做為示例。在一般動作篩選器設定中,影片只會產生一個動作事件,且該事件的時間長度與原始影片相同,因為動作篩選器會將移動樹木登錄為「在整部影片中持續移動」。不過,有了動作偵測區的協助,我們就能妥善遮蔽樹木的動作,並專注於車輛和行人的動作。

影片準備

範例影片 (gs://cloud-samples-data/vertex-ai-vision/dynamic-background-fall.mp4) 含有 www.changedetection.net 的樹木和行人。

影片來源:N. Goyette, P.-M. Jodoin, F. Porikli, J. 康拉德和 P. Ishwar, changedetection.net:新的變更偵測基準資料集,見 Proc. IEEE Workshop on Change Detection (CDW-2012) at CVPR-2012, Providence, RI, 16-21 Jun., 2012

準備環境變數

Google Cloud 專案變數。

export PROJECT_ID=<Your Google Cloud project ID>
export LOCATION_ID=us-central1
export LOCAL_FILE=street_vehicles_people.mp4

基本動作篩選器設定。

export MOTION_SENSITIVITY=<low or medium or high>
export MIN_EVENT_LENGTH=<0-3600>
export LOOK_BACK_WINDOW=<0-3600>
export COOL_DOWN_PERIOD=<0-3600>

動作偵測區域設定。

請從下方選項中選擇,查看動作偵測區的不同用途。

排除動作偵測的樹木。

export ZONE_ANNOTATION="0:0;680:0;660:70;380:320;100:150"
export EXCLUDE_ANNOTATED_ZONE=true

動作偵測區 - 在註解區中排除動作偵測 (位於範例影片) *只會在輸入區域外執行動作偵測。

聚焦在街道上的動作偵測功能。

export ZONE_ANNOTATION="0:300;780:300;780:480;0:480"
export EXCLUDE_ANNOTATED_ZONE=false

動作偵測區:在註解區執行動作偵測 (影片範例) *只在輸入區域外執行動作偵測。

傳送含有動作濾鏡的影片串流

將動作事件傳送至雲端控制台

您可以使用 vaictl 將輸出影片資料串流至 Cloud 控制台。請先在 Cloud 控制台中啟用 Vision AI API。

註冊新的串流

  1. 按一下 Vertex AI Vision 左側面板中的「串流」分頁標籤。
  2. 按一下「註冊」
  3. 在「Stream name」(串流名稱) 中輸入 motion-detection-stream
  4. 在「region」中輸入 us-central1
  5. 按一下「註冊」

正在將結果傳送至訊息串

這個指令會將影片檔案串流至串流。如果使用 –loop 旗標,系統會將影片重複播放至串流中,直到你停止指令為止。我們會將這個指令做為背景工作執行,以便繼續串流。

在開頭加上 nohup,並在結尾加上 &,即可將其設為背景工作。

vaictl -p $PROJECT \
       -l $LOCATION_ID \
       -c application-cluster-0 \
       --service-endpoint visionai.googleapis.com \
  send video-file  --file-path $INPUT_VIDEO \
  applying motion-filter
         --motion-sensitivity=$MOTION_SENSITIVITY \
         --min-event-length=$MIN_EVENT_LENGTH \
         --lookback-length=$LOOK_BACK_WINDOW \
         --cooldown-length=$COOL_DOWN_PERIOD \
         --zone_annotation=ZONE_ANNOTATION \
         --exclude_annotated_zone=$EXCLUDE_ANNOTATED_ZONE \
  to streams motion-detection-stream --loop

啟動 vaictl 擷取作業到資訊主頁中顯示的影片,可能需要約 100 秒的時間。

串流攝入功能可供使用後,您可以選取流量串流,在 Vertex AI Vision 資訊主頁的「串流」分頁中查看影片動態饋給。

前往「串流」分頁

將結果傳送至本機儲存空間

這個指令會將影片檔案串流至串流。如果使用 –loop 旗標,系統會將影片重複播放至串流中,直到你停止指令為止。我們會以背景工作形式執行這項指令,以便持續串流。

在開頭加上 nohup,在結尾加上 &,即可將其設為背景工作。

OUTPUT_PATH=<path_to_store_motion_events>

vaictl -p $PROJECT \
       -l $LOCATION_ID \
       -c application-cluster-0 \
       --service-endpoint visionai.googleapis.com \
  send video-file  --file-path $INPUT_VIDEO \
  applying motion-filter
         --motion-sensitivity=$MOTION_SENSITIVITY \
         --min-event-length=$MIN_EVENT_LENGTH \
         --lookback-length=$LOOK_BACK_WINDOW \
         --cooldown-length=$COOL_DOWN_PERIOD \
         --zone_annotation=$ZONE_ANNOTATION \
         --exclude_annotated_zone=$EXCLUDE_ANNOTATED_ZONE \
  to mp4file --mp4-file-path=$OUTPUT_PATH --loop

7. 恭喜

恭喜,您已完成實驗室!

清理

本教學課程需使用資源,如要避免系統向您的 Google Cloud 帳戶收取相關費用,請透過指令列使用 ctrl + z 結束 vaictl SDK 作業。

資源

https://cloud.google.com/vision-ai/docs/overview

https://cloud.google.com/vision-ai/docs/motion-filtering-model

https://cloud.google.com/vision-ai/docs/create-manage-streams

意見回饋

按這裡提供意見回饋

問卷調查

您要如何使用這個教學課程?

只閱讀 閱讀並完成練習

您覺得這個程式碼研究室是否實用?

非常實用 還算實用