1. Обзор
API Google Cloud Video Intelligence позволяет разработчикам использовать технологию анализа видео от Google в своих приложениях.
Его можно использовать для следующих целей:
- Обнаружение меток : Обнаружение объектов, таких как собака, цветок, человек, на видео.
- Обнаружение контента откровенного характера : выявление контента для взрослых в видеоролике.
- Обнаружение смены ракурса : Выявление смены сцен в видео.
REST API позволяет пользователям добавлять контекстную информацию к видео, хранящимся локально или в Google Cloud Storage, на уровне всего видео, по сегментам, по кадрам и по отдельным фрагментам.
В этом практическом занятии вы сосредоточитесь на использовании API Video Intelligence с языком C#. Вы научитесь анализировать видео для определения меток, смены кадров и обнаружения контента, содержащего откровенные сцены.
Что вы узнаете
- Как использовать Cloud Shell
- Как включить API видеоаналитики
- Как аутентифицировать запросы API
- Как установить клиентскую библиотеку Google Cloud для C#
- Как анализировать видео для определения меток
- Как анализировать видео для выявления смены кадров
- Как анализировать видео для выявления контента откровенного характера
Что вам понадобится
Опрос
Как вы будете использовать этот учебный материал?
Как бы вы оценили свой опыт работы с C#?
Как бы вы оценили свой опыт использования сервисов Google Cloud Platform?
2. Настройка и требования
Настройка среды для самостоятельного обучения
- Войдите в консоль Google Cloud и создайте новый проект или используйте существующий. Если у вас еще нет учетной записи Gmail или Google Workspace, вам необходимо ее создать .
- Название проекта — это отображаемое имя участников данного проекта. Это строка символов, не используемая API Google. Вы всегда можете его изменить.
- Идентификатор проекта уникален для всех проектов Google Cloud и является неизменяемым (его нельзя изменить после установки). Консоль Cloud автоматически генерирует уникальную строку; обычно вам неважно, какая она. В большинстве практических заданий вам потребуется указать идентификатор вашего проекта (обычно обозначается как
PROJECT_ID). Если сгенерированный идентификатор вас не устраивает, вы можете сгенерировать другой случайный идентификатор. В качестве альтернативы вы можете попробовать свой собственный и посмотреть, доступен ли он. После этого шага его нельзя изменить, и он сохраняется на протяжении всего проекта. - К вашему сведению, существует третье значение — номер проекта , которое используется некоторыми API. Подробнее обо всех трех значениях можно узнать в документации .
- Далее вам потребуется включить оплату в консоли Cloud для использования ресурсов/API Cloud. Выполнение этого практического задания не потребует больших затрат, если вообще потребует. Чтобы отключить ресурсы и избежать дополнительных расходов после завершения этого урока, вы можете удалить созданные ресурсы или удалить проект. Новые пользователи Google Cloud имеют право на бесплатную пробную версию стоимостью 300 долларов США .
Запустить Cloud Shell
Хотя Google Cloud можно управлять удаленно с ноутбука, в этом практическом занятии вы будете использовать Google Cloud Shell — среду командной строки, работающую в облаке.
Активировать Cloud Shell
- В консоли Cloud нажмите «Активировать Cloud Shell» .
.
Если вы запускаете Cloud Shell впервые, вам будет показан промежуточный экран с описанием его возможностей. Если вам был показан промежуточный экран, нажмите «Продолжить» .
Подготовка и подключение к Cloud Shell займут всего несколько минут.
Эта виртуальная машина оснащена всеми необходимыми инструментами разработки. Она предоставляет постоянный домашний каталог объемом 5 ГБ и работает в облаке Google, что значительно повышает производительность сети и аутентификацию. Большая часть, если не вся, ваша работа в этом практическом задании может быть выполнена с помощью браузера.
После подключения к Cloud Shell вы увидите, что прошли аутентификацию и что проект настроен на ваш идентификатор проекта.
- Выполните следующую команду в Cloud Shell, чтобы подтвердить свою аутентификацию:
gcloud auth list
вывод команды
Credentialed Accounts
ACTIVE ACCOUNT
* <my_account>@<my_domain.com>
To set the active account, run:
$ gcloud config set account `ACCOUNT`
- Выполните следующую команду в Cloud Shell, чтобы убедиться, что команда gcloud знает о вашем проекте:
gcloud config list project
вывод команды
[core] project = <PROJECT_ID>
Если это не так, вы можете установить это с помощью следующей команды:
gcloud config set project <PROJECT_ID>
вывод команды
Updated property [core/project].
3. Включите API видеоаналитики.
Прежде чем начать использовать API Video Intelligence, необходимо его включить. Для этого в Cloud Shell можно использовать следующую команду:
gcloud services enable videointelligence.googleapis.com
4. Установите клиентскую библиотеку Google Cloud Video Intelligence API для C#.
Для начала создайте простое консольное приложение на C#, которое вы будете использовать для запуска примеров API Video Intelligence:
dotnet new console -n VideoIntApiDemo
Вы должны увидеть, что приложение создано и зависимости разрешены:
The template "Console Application" was created successfully.
Processing post-creation actions...
...
Restore succeeded.
Далее перейдите в папку VideoIntApiDemo :
cd VideoIntApiDemo/
И добавьте в проект пакет NuGet Google.Cloud.VideoIntelligence.V1 :
dotnet add package Google.Cloud.VideoIntelligence.V1
info : Adding PackageReference for package 'Google.Cloud.VideoIntelligence.V1' into project '/home/atameldev/VideoIntApiDemo/VideoIntApiDemo.csproj'.
log : Restoring packages for /home/atameldev/VideoIntApiDemo/VideoIntApiDemo.csproj...
...
info : PackageReference for package 'Google.Cloud.VideoIntelligence.V1' version '1.0.0' added to file '/home/atameldev/VideoIntApiDemo/VideoIntApiDemo.csproj'.
Теперь вы готовы использовать API Video Intelligence!
5. Обнаружение меток
Анализ меток позволяет обнаружить метки в видеофайле, хранящемся локально или в Google Cloud Storage. В этом разделе вы проанализируете видео на наличие меток, хранящихся в Google Cloud Storage.
Сначала откройте редактор кода в правом верхнем углу Cloud Shell:
Перейдите к файлу Program.cs в папке VideoIntApiDemo и замените следующий код:
using System;
using System.Collections.Generic;
using Google.Cloud.VideoIntelligence.V1;
namespace VideoIntApiDemo
{
class Program
{
static void Main(string[] args)
{
var client = VideoIntelligenceServiceClient.Create();
var request = new AnnotateVideoRequest
{
InputUri = "gs://cloud-samples-data/video/gbikes_dinosaur.mp4",
Features = { Feature.LabelDetection }
};
var op = client.AnnotateVideo(request).PollUntilCompleted();
foreach (var result in op.Result.AnnotationResults)
{
PrintLabels("Video", result.SegmentLabelAnnotations);
PrintLabels("Shot", result.ShotLabelAnnotations);
PrintLabels("Frame", result.FrameLabelAnnotations);
}
}
static void PrintLabels(string labelName,
IEnumerable<LabelAnnotation> labelAnnotations)
{
foreach (var annotation in labelAnnotations)
{
Console.WriteLine($"{labelName} label: {annotation.Entity.Description}");
foreach (var entity in annotation.CategoryEntities)
{
Console.WriteLine($"{labelName} label category: {entity.Description}");
}
foreach (var segment in annotation.Segments)
{
Console.Write("Segment location: ");
Console.Write(segment.Segment.StartTimeOffset);
Console.Write(":");
Console.WriteLine(segment.Segment.EndTimeOffset);
Console.WriteLine($"Confidence: {segment.Confidence}");
}
}
}
}
}
Уделите минуту-две изучению кода и посмотрите, как помечается видео*.
Вернувшись в Cloud Shell, запустите приложение:
dotnet run
API Video Intelligence требуется несколько секунд для извлечения меток, но в итоге вы должны увидеть следующий результат:
Video label: bicycle
Video label category: vehicle
Segment location: "0s":"42.766666s"
Confidence: 0.475821
Video label: tyrannosaurus
Video label category: dinosaur
Segment location: "0s":"42.766666s"
Confidence: 0.4222222
Video label: tree
Video label category: plant
Segment location: "0s":"42.766666s"
Confidence: 0.4231415
...
Краткое содержание
На этом этапе вы смогли получить список всех меток в видео, используя API Video Intelligence. Подробнее можно узнать на странице обнаружения меток .
6. Обнаружение смены кадра
Вы можете использовать API Video Intelligence для обнаружения изменений ракурса в видео, хранящемся локально или в Google Cloud Storage. В этом разделе вы выполните анализ видео на предмет изменений ракурса в файле, расположенном в Google Cloud Storage.
Для отслеживания смены кадров перейдите к файлу Program.cs в папке VideoIntApiDemo и замените следующий код:
using System;
using Google.Cloud.VideoIntelligence.V1;
namespace VideoIntApiDemo
{
class Program
{
static void Main(string[] args)
{
var client = VideoIntelligenceServiceClient.Create();
var request = new AnnotateVideoRequest
{
InputUri = "gs://cloud-samples-data/video/gbikes_dinosaur.mp4",
Features = { Feature.ShotChangeDetection }
};
var op = client.AnnotateVideo(request).PollUntilCompleted();
foreach (var result in op.Result.AnnotationResults)
{
foreach (var annotation in result.ShotAnnotations)
{
Console.Out.WriteLine("Start Time Offset: {0}\tEnd Time Offset: {1}",
annotation.StartTimeOffset, annotation.EndTimeOffset);
}
}
}
}
}
Уделите минуту-две изучению кода и посмотрите, как выполняется обнаружение выстрела.
Вернитесь в Cloud Shell и запустите приложение. Вы должны увидеть следующий вывод:
dotnet run
Вы должны увидеть следующий результат:
Start Time Offset: "0s" End Time Offset: "5.166666s"
Start Time Offset: "5.233333s" End Time Offset: "10.066666s"
Start Time Offset: "10.100s" End Time Offset: "28.133333s"
Start Time Offset: "28.166666s" End Time Offset: "42.766666s"
Краткое содержание
На этом этапе вы смогли использовать API Video Intelligence для обнаружения изменений в кадре файла, хранящегося в Google Cloud Storage. Подробнее об изменениях в кадре читайте здесь.
7. Выявление явного контента
Функция обнаружения контента для взрослых выявляет контент, предназначенный для лиц старше 18 лет, включая, помимо прочего, обнаженность, сексуальные действия и порнографию (включая мультфильмы или аниме). В ответе указывается значение вероятности, распределенное по категориям, от VERY_UNLIKELY до VERY_LIKELY.
При оценке видео с использованием функции обнаружения откровенного контента, она делает это покадрово и учитывает только визуальное содержимое. Аудиокомпонент видео не используется для оценки уровня откровенного контента.
Для обнаружения контента непристойного характера перейдите к файлу Program.cs в папке VideoIntApiDemo и замените код следующим:
using System;
using Google.Cloud.VideoIntelligence.V1;
namespace VideoIntApiDemo
{
class Program
{
static void Main(string[] args)
{
var client = VideoIntelligenceServiceClient.Create();
var request = new AnnotateVideoRequest
{
InputUri = "gs://cloud-samples-data/video/gbikes_dinosaur.mp4",
Features = { Feature.ExplicitContentDetection }
};
var op = client.AnnotateVideo(request).PollUntilCompleted();
foreach (var result in op.Result.AnnotationResults)
{
foreach (var frame in result.ExplicitAnnotation.Frames)
{
Console.WriteLine("Time Offset: {0}", frame.TimeOffset);
Console.WriteLine("Pornography Likelihood: {0}", frame.PornographyLikelihood);
Console.WriteLine();
}
}
}
}
}
Уделите минуту-две изучению кода и посмотрите, как выполнялось обнаружение контента с явным содержанием*.
Вернувшись в Cloud Shell, запустите приложение:
dotnet run
Это может занять несколько секунд, но в итоге вы должны увидеть следующий результат:
dotnet run
Time Offset: "0.056149s"
Pornography Likelihood: VeryUnlikely
Time Offset: "1.166841s"
Pornography Likelihood: VeryUnlikely
...
Time Offset: "41.678209s"
Pornography Likelihood: VeryUnlikely
Time Offset: "42.596413s"
Pornography Likelihood: VeryUnlikely
Краткое содержание
На этом этапе вы смогли выполнить обнаружение нежелательного контента в видео с помощью API Video Intelligence. Подробнее об обнаружении нежелательного контента можно прочитать здесь.
8. Поздравляем!
Вы научились использовать API Video Intelligence на языке C#!
Уборка
Чтобы избежать списания средств с вашего счета Google Cloud Platform за ресурсы, использованные в этом кратком руководстве:
- Перейдите в консоль облачной платформы .
- Выберите проект, который хотите закрыть, затем нажмите кнопку «Удалить» вверху: это запланирует удаление проекта.
Узнать больше
- API Google Cloud Video Intelligence: https://cloud.google.com/video-intelligence/docs/
- C#/.NET на платформе Google Cloud: https://cloud.google.com/dotnet/
- Клиент Google Cloud .NET: https://googlecloudplatform.github.io/google-cloud-dotnet/
Лицензия
Данная работа распространяется под лицензией Creative Commons Attribution 2.0 Generic.