1. 目标
概览
此 Codelab 将重点介绍如何创建端到端 Vertex AI Vision 应用,以演示使用动作过滤功能发送视频。在本教程中,我们将介绍运动滤镜配置中的不同参数:
- 移动侦测灵敏度
- 事件时长下限
- 回溯期
- 冷却时间
- 移动侦测区域
学习内容
- 如何提取视频以进行流式传输
- 动作滤镜提供的不同功能及其使用方法
- 在哪里查看动作过滤器的统计信息
- 如何根据视频调整此设置
2. 准备工作
- 在 Google Cloud 控制台的“项目选择器”页面上,选择或创建 Google Cloud 项目。注意:如果您不打算保留在此过程中创建的资源,请创建新的项目,而不要选择现有的项目。完成本教程介绍的步骤后,您可以删除所创建的项目,并移除与该项目关联的所有资源。前往项目选择器
- 确保您的 Cloud 项目已启用结算功能。了解如何检查项目是否已启用结算功能。
- 启用 Compute Engine 和 Vision AI API。启用 API
创建服务账号:
- 在 Google Cloud 控制台中,前往创建服务账号页面。转到“创建服务账号”
- 选择您的项目。
- 在服务账号名称字段中,输入一个名称。Google Cloud 控制台会根据此名称填充服务账号 ID 字段。在服务账号说明字段中,输入说明。例如,快速入门的服务账号。
- 点击创建并继续。
- 如需提供对项目的访问权限,请向服务账号授予以下角色:Vision AI > Vision AI Editor、Compute Engine > Compute Instance Admin(Beta 版)、Storage > Storage Object Viewer †。在选择角色列表中,选择一个角色。如需添加其他角色,请点击添加其他角色,然后添加其他各个角色。注意:角色字段会影响您的服务账号可以访问项目中的哪些资源。您可以撤消这些角色或稍后授予其他角色。在生产环境中,请勿授予 Owner、Editor 或 Viewer 角色。而应授予符合您需求的预定义角色或自定义角色。
- 点击继续。
- 点击完成以完成服务账号的创建。不要关闭浏览器窗口。您将在下一步骤中用到它。
创建服务账号密钥:
- 在 Google Cloud 控制台中,点击您创建的服务账号的电子邮件地址。
- 点击密钥。
- 点击添加密钥,然后点击创建新密钥。
- 点击创建。JSON 密钥文件将下载到您的计算机上。
- 点击关闭。
- 安装并初始化 Google Cloud CLI。
† 仅当您要从 Cloud Storage 存储分区复制示例视频文件时,才需要此角色。
3. 动感滤镜
动作过滤器可捕获包含动作事件的动作和产品视频片段。用户可以根据自己的需求调整动作感知度、最短事件时长、回溯期、冷却期和动作检测区域,从而配置过滤条件。
动作过滤器配置
动作过滤器中有 5 种配置可供自定义。
- 移动感应灵敏度:移动触发的灵敏度。
- 最短事件时长:系统捕获动作事件的最短时长。
- 回溯期:在系统检测到动作事件之前视频开始录制的时间。
- 冷却期:在动作事件结束后,系统会进入指定时长的冷却期。在冷却期内,系统不会触发动作事件。
- 移动侦测区域:用户配置的区域,用于指定应在哪里运行移动侦测。(将在后面的部分中详细说明)
移动感应灵敏度
在 vaictl 命令中使用标志 motion_detection_sensitivity
。
字符串。默认媒介。可从“低”“中”或“高”中进行选择。
移动感应灵敏度越高,对噪声和细微移动的敏感度就越高。建议在有较小移动物体(例如远处的人)且光线稳定的环境中使用此设置。
另一方面,灵敏度较低的传感器对光线干扰不太敏感。此设置非常适合光线干扰较多(例如在室外环境中)以及视频画质较差且可能有更多噪声的情况。由于此设置是最严格的过滤设置,因此可能会忽略来自小对象的移动。
事件时长下限
在 vaictl 命令中使用标志 min_event_length_in_seconds
。
整数。默认值为 10 秒。范围是 0 秒到 3600 秒。
在帧中检测到动作事件片段后,将解析的动作事件视频的最短时长。
回溯期
在 vaictl 命令中使用标志 look_back_window_in_seconds
。
整数。默认值为 3 秒。范围是 0 秒到 3600 秒。
回溯期是指在检测到动作事件之前缓存的时长。如果我们想要了解在检测到动作事件前几秒钟帧中发生的情况,该功能非常有用。
冷却期
在 vaictl 命令中使用标志 cool_down_period_in_seconds
。
整数。默认值为 300 秒。范围介于 0 秒到 3600 秒之间。
冷却期是指在捕获移动事件后,移动检测功能会暂停多长时间。在冷却期内,系统不会运行任何计算来检测动作。
4. 基本运动滤镜示例
Vaictl SDK 手册
如需查看带有运动过滤器的输入流的 vaictl
手册,请使用以下命令。
vaictl send video-file applying motion-filter -h
准备示例视频
- 您可以使用以下 gsutil cp 命令复制示例视频。执行以下变量替换操作:
- SOURCE:要使用的视频文件的位置。您可以使用自己的视频文件源(例如 gs://BUCKET_NAME/FILENAME.mp4),也可以使用示例视频 (gs://cloud-samples-data/vertex-ai-vision/street_vehicles_people.mp4)(包含人物和车辆的视频,来源)
export SOURCE=gs://cloud-samples-data/vertex-ai-vision/street_vehicles_people.mp4 gsutil cp $SOURCE .
准备环境变量
设置以下环境变量,以使用提供的命令模板。
vaictl 变量
- PROJECT_ID:您的 Google Cloud 项目 ID。
- LOCATION_ID:您的位置 ID。例如 us-central1。如需了解详情,请参阅 Cloud 位置。
- LOCAL_FILE:本地视频文件的文件名。例如 street_vehicles_people.mp4。
- -loop 标志:可选。循环文件数据以模拟流式传输。
export PROJECT_ID=<Your Google Cloud project ID> export LOCATION_ID=us-central1
动作过滤器变量
- MOTION_SENSITIVITY:移动侦测的灵敏度。
- MIN_EVENT_LENGTH:动作事件的最短长度。
- LOOK_BACK_WINDOW:动作事件中第一个动作之前要捕获的时长。
- COOL_DOWN_PERIOD:在捕获移动事件后,移动检测将暂停的时长。
export MOTION_SENSITIVITY=<low or medium or high> export MIN_EVENT_LENGTH=<0-3600> export LOOK_BACK_WINDOW=<0-3600> export COOL_DOWN_PERIOD=<0-3600>
准备动作过滤器命令
您可以通过以下两种方式将运动滤镜与输入串流搭配使用。第一种方法是将动作事件发送到 Cloud 控制台中的某个数据流。第二种方法是将动作事件发送到本地存储空间。
将结果发送到 Cloud 控制台
您可以使用 vaictl 将输出视频数据流式传输到 Cloud 控制台。首先,在 Cloud 控制台中激活 Vision AI API。
注册新数据流
- 点击 Vertex AI Vision 左侧面板中的流标签页。
- 点击“注册”
- 在“数据流名称”中输入
motion-detection-stream
- 在区域中,输入
us-central1
- 点击“注册”
将结果发送到数据流
此命令会将视频文件流式传输到流中。如果您使用 -loop 标志,视频会循环播放到直播中,直到您停止该命令。我们会将此命令作为后台作业运行,以使其持续流式传输。
在开头添加 nohup
,在末尾添加 &
,以将其设为后台作业。
INPUT_VIDEO=street_vehicles_people.mp4 vaictl -p $PROJECT \ -l $LOCATION_ID \ -c application-cluster-0 \ --service-endpoint visionai.googleapis.com \ send video-file --file-path $INPUT_VIDEO \ applying motion-filter --motion-sensitivity=$MOTION_SENSITIVITY \ --min-event-length=$MIN_EVENT_LENGTH \ --lookback-length=$LOOK_BACK_WINDOW \ --cooldown-length=$COOL_DOWN_PERIOD \ to streams motion-detection-stream --loop
从启动 vaictl 提取操作到视频显示在信息中心之间可能需要大约 100 秒。
流式传输功能可用后,您可以选择“traffic-stream”数据流,在 Vertex AI Vision 信息中心的数据流标签页中查看视频画面。
将结果发送到本地存储空间
此命令将视频文件流式传输到流中。
在开头添加 nohup
,在末尾添加 &
,以将其设为后台作业。
INPUT_VIDEO=street_vehicles_people.mp4 OUTPUT_PATH=<path_to_store_motion_events_on_local_disk> nohup vaictl -p $PROJECT \ -l $LOCATION_ID \ -c application-cluster-0 \ --service-endpoint visionai.googleapis.com \ send video-file --file-path $INPUT_VIDEO \ applying motion-filter --motion-sensitivity=$MOTION_SENSITIVITY \ --min-event-length=$MIN_EVENT_LENGTH \ --lookback-length=$LOOK_BACK_WINDOW \ --cooldown-length=$COOL_DOWN_PERIOD \ to mp4file --mp4-file-path=$OUTPUT_PATH --loop
5. 移动侦测区域
在本部分中,我们将深入介绍移动侦测区域的用法和配置方式。该区域旨在遮挡来自您不感兴趣的区域的动作,从而改善移动侦测效果。
移动侦测区域具有两种类型:(1) 正向区域(移动侦测仅在注释区域中运行);(2) 负向区域(移动侦测会忽略所注释区域中的任何移动)。
区域注释
使用 vaictl 命令中的 zone_annotation
标志输入区域多边形的坐标。
字符串。默认值为空(用于区域注释)。
区域注释将是用户输入的字符串,表示用户希望隐藏或聚焦的帧中的区域。如需为区域添加注释,用户需要为区域中的每个节点指定 x 轴和 y 轴的图片坐标。可用区需要有三个或以上的节点才能形成多边形。一个框架中可以有多个可用区。如果这些区域相互重叠,则仍会覆盖这两个区域共同覆盖的区域。
区域注释遵循特定的输入语法。
- 如需表示单个节点,请使用
:
连接图片坐标的 x 轴和 y 轴。例如,左上角的(0,0)
节点将表示为0:0
。 - 如需表示单个可用区中的所有节点,请使用
;
连接这些节点。例如,对于包含节点(0,0)
、(100,0)
、(100,100)
和(0, 100)
的可用区,该可用区将表示为0:0;100:0;100:100;0:100
。始终将节点输入为彼此相邻的连接节点,顺序可以是顺时针或逆时针。
*一个包含四个节点的方形区域。
*包含三个节点的三角形可用区。
- 如需在单个帧中表示多个区域,请使用
-
连接不同的区域。例如,如果我们想输入(0,0)
、(100,0)
、(100,100)
、(0,100)
和(120,120)
、(110,150)
、(200,160)
,则输入区域注解将为0:0;100:0;100:100;0:100-120:120;110:150;200:160
。
*一个帧中的两个区域。
如需从图片中获取坐标,您可以使用在线提供的一些工具来获取坐标。有关示例,请参见 Wolfram - 从图像获取坐标
排除注释区域
使用 vaictl 命令中的 exclude_annotated_zone
标志来配置检测区域内或区域外的动作。
布尔值。默认值为 false。
排除注释区域是用户输入的布尔值,表示用户是否希望在移动检测中排除注释区域。
- 如果设置为
true
,带注释的区域将用作负区域。系统不会检测注释区域中的动作。
*仅在输入区域之外运行动作检测。
- 如果设置为 false,该区域将作为正例区域,系统会重点在该区域检测动作。
*仅在输入区域中运行动作检测。
6. 带有移动侦测区域的动态滤镜示例
在本例中,我们将使用一个前景中有一棵树不断移动的视频作为示例。在常规动作过滤器设置中,视频只会产生一个与原始视频时长相同的动作事件,因为动作过滤器会将移动的树注册为“在整个视频中持续移动”。不过,借助移动检测区域,我们可以正确屏蔽树木的移动,并专注于汽车和行人的移动。
视频准备
示例视频 (gs://cloud-samples-data/vertex-ai-vision/dynamic-background-fall.mp4) 包含来自 www.changedetection.net 的树木、汽车和行人。
视频制作人员:N. Goyette, P.-M. Jodoin, F. Porikli, J. Konrad, and P. Ishwar,changedetection.net:新的变化检测基准数据集,在 Proc. IEEE Workshop on Change Detection (CDW-2012) 中,发表于 CVPR-2012(罗得岛州普罗维登斯),6 月 16 日至 21 日,2012
环境变量准备
Google Cloud 项目变量。
export PROJECT_ID=<Your Google Cloud project ID> export LOCATION_ID=us-central1 export LOCAL_FILE=street_vehicles_people.mp4
基本动作过滤器配置。
export MOTION_SENSITIVITY=<low or medium or high> export MIN_EVENT_LENGTH=<0-3600> export LOOK_BACK_WINDOW=<0-3600> export COOL_DOWN_PERIOD=<0-3600>
移动侦测区域配置。
从下方选择一个选项,查看动作检测区域的不同使用方式。
排除相应树以进行移动侦测。
export ZONE_ANNOTATION="0:0;680:0;660:70;380:320;100:150" export EXCLUDE_ANNOTATED_ZONE=true
*仅在输入区域之外运行动作检测。
将移动侦测重点放在街道上。
export ZONE_ANNOTATION="0:300;780:300;780:480;0:480" export EXCLUDE_ANNOTATED_ZONE=false
*仅在输入区域之外运行动作检测。
发送带有动作滤镜的视频流
将动作事件发送到 Cloud 控制台
您可以使用 vaictl 将输出视频数据流式传输到 Cloud 控制台。首先,在 Cloud 控制台中激活 Vision AI API。
注册新数据流
- 点击 Vertex AI Vision 左侧面板中的流标签页。
- 点击“注册”
- 在“数据流名称”中输入
motion-detection-stream
- 在区域中,输入
us-central1
- 点击“注册”
将结果发送到数据流
此命令会将视频文件流式传输到流中。如果您使用 -loop 标志,视频会循环播放到直播中,直到您停止该命令。我们会将此命令作为后台作业运行,以使其持续流式传输。
在开头添加 nohup
,在末尾添加 &
,以将其设为后台作业。
vaictl -p $PROJECT \ -l $LOCATION_ID \ -c application-cluster-0 \ --service-endpoint visionai.googleapis.com \ send video-file --file-path $INPUT_VIDEO \ applying motion-filter --motion-sensitivity=$MOTION_SENSITIVITY \ --min-event-length=$MIN_EVENT_LENGTH \ --lookback-length=$LOOK_BACK_WINDOW \ --cooldown-length=$COOL_DOWN_PERIOD \ --zone_annotation=ZONE_ANNOTATION \ --exclude_annotated_zone=$EXCLUDE_ANNOTATED_ZONE \ to streams motion-detection-stream --loop
从启动 vaictl 提取操作到视频显示在信息中心之间可能需要大约 100 秒。
流式传输功能可用后,您可以选择“traffic-stream”数据流,在 Vertex AI Vision 信息中心的数据流标签页中查看视频画面。
将结果发送到本地存储空间
此命令将视频文件流式传输到流中。如果您使用 -loop 标志,视频会循环播放到直播中,直到您停止该命令。我们将以后台作业的形式运行此命令,以便其保持流式传输。
在开头添加 nohup
,在末尾添加 &
,以将其设为后台作业。
OUTPUT_PATH=<path_to_store_motion_events> vaictl -p $PROJECT \ -l $LOCATION_ID \ -c application-cluster-0 \ --service-endpoint visionai.googleapis.com \ send video-file --file-path $INPUT_VIDEO \ applying motion-filter --motion-sensitivity=$MOTION_SENSITIVITY \ --min-event-length=$MIN_EVENT_LENGTH \ --lookback-length=$LOOK_BACK_WINDOW \ --cooldown-length=$COOL_DOWN_PERIOD \ --zone_annotation=$ZONE_ANNOTATION \ --exclude_annotated_zone=$EXCLUDE_ANNOTATED_ZONE \ to mp4file --mp4-file-path=$OUTPUT_PATH --loop
7. 恭喜
恭喜,您已完成此实验!
清理
为避免因本教程中使用的资源导致您的 Google Cloud 账号产生费用,请通过命令行使用 ctrl
+ z
结束 vaictl SDK 操作。
资源
https://cloud.google.com/vision-ai/docs/overview
https://cloud.google.com/vision-ai/docs/motion-filtering-model
https://cloud.google.com/vision-ai/docs/create-manage-streams
反馈