1. Giới thiệu
Tổng quan
Trong lớp học lập trình này, bạn sẽ tạo một Cloud Run Job (Công việc chạy trên đám mây) được viết bằng Node.js để cung cấp nội dung mô tả trực quan về mọi cảnh trong một video. Trước tiên, công việc của bạn sẽ dùng Video Intelligence API để phát hiện dấu thời gian mỗi khi một cảnh thay đổi. Tiếp theo, công việc của bạn sẽ sử dụng tệp nhị phân của bên thứ ba có tên là ffmpeg để chụp ảnh màn hình cho từng dấu thời gian thay đổi cảnh. Cuối cùng, tính năng chú thích trực quan của Vertex AI được dùng để mô tả hình ảnh cho ảnh chụp màn hình.
Lớp học lập trình này cũng minh hoạ cách sử dụng ffmpeg trong Cloud Run Job (Công việc chạy Cloud) để chụp hình ảnh từ video tại một dấu thời gian nhất định. Vì ffmpeg cần được cài đặt độc lập, nên lớp học lập trình này sẽ hướng dẫn bạn cách tạo Dockerfile để cài đặt ffmpeg trong quá trình Cloud Run Job (Công việc chạy Cloud).
Dưới đây là hình minh hoạ cách hoạt động của Cloud Run Job:
Kiến thức bạn sẽ học được
- Cách tạo hình ảnh vùng chứa bằng Dockerfile để cài đặt tệp nhị phân của bên thứ 3
- Cách tuân thủ nguyên tắc về đặc quyền tối thiểu bằng cách tạo một tài khoản dịch vụ cho Cloud Run Job để gọi các dịch vụ khác của Google Cloud
- Cách sử dụng thư viện ứng dụng Video Intelligence trong Cloud Run Job
- Cách thực hiện lệnh gọi đến Google API để nhận nội dung mô tả trực quan về từng cảnh của Vertex AI
2. Thiết lập và yêu cầu
Điều kiện tiên quyết
- Bạn đã đăng nhập vào Cloud Console.
- Trước đây, bạn đã triển khai một dịch vụ Cloud Run. Ví dụ: bạn có thể làm theo hướng dẫn triển khai dịch vụ web từ phần bắt đầu nhanh bằng mã nguồn để bắt đầu.
Kích hoạt Cloud Shell
- Trong Cloud Console, hãy nhấp vào Kích hoạt Cloud Shell
.
Nếu đây là lần đầu tiên khởi động Cloud Shell, bạn sẽ thấy một màn hình trung gian mô tả về Cloud Shell. Nếu bạn nhìn thấy màn hình trung gian, hãy nhấp vào Tiếp tục.
Quá trình cấp phép và kết nối với Cloud Shell chỉ mất vài phút.
Máy ảo này được tải tất cả các công cụ phát triển cần thiết. Dịch vụ này cung cấp thư mục gốc có dung lượng ổn định 5 GB và chạy trên Google Cloud, giúp nâng cao đáng kể hiệu suất và khả năng xác thực của mạng. Nhiều (nếu không nói là) tất cả công việc của bạn trong lớp học lập trình này đều có thể thực hiện bằng trình duyệt.
Sau khi kết nối với Cloud Shell, bạn sẽ thấy mình đã được xác thực và dự án được đặt thành mã dự án.
- Chạy lệnh sau trong Cloud Shell để xác nhận rằng bạn đã được xác thực:
gcloud auth list
Kết quả lệnh
Credentialed Accounts
ACTIVE ACCOUNT
* <my_account>@<my_domain.com>
To set the active account, run:
$ gcloud config set account `ACCOUNT`
- Chạy lệnh sau trong Cloud Shell để xác nhận rằng lệnh gcloud biết về dự án của bạn:
gcloud config list project
Kết quả lệnh
[core] project = <PROJECT_ID>
Nếu chưa, bạn có thể thiết lập chế độ này bằng lệnh sau:
gcloud config set project <PROJECT_ID>
Kết quả lệnh
Updated property [core/project].
3. Bật API và đặt biến môi trường
Trước khi có thể bắt đầu sử dụng lớp học lập trình này, bạn sẽ cần bật một số API. Lớp học lập trình này yêu cầu sử dụng các API sau. Bạn có thể bật các API đó bằng cách chạy lệnh sau:
gcloud services enable run.googleapis.com \
storage.googleapis.com \
cloudbuild.googleapis.com \
videointelligence.googleapis.com \
aiplatform.googleapis.com
Sau đó, bạn có thể thiết lập các biến môi trường sẽ được dùng trong suốt lớp học lập trình này.
REGION=<YOUR-REGION> PROJECT_ID=<YOUR-PROJECT-ID> PROJECT_NUMBER=$(gcloud projects describe $PROJECT_ID --format='value(projectNumber)') JOB_NAME=video-describer-job BUCKET_ID=$PROJECT_ID-video-describer SERVICE_ACCOUNT="cloud-run-job-video" SERVICE_ACCOUNT_ADDRESS=$SERVICE_ACCOUNT@$PROJECT_ID.iam.gserviceaccount.com
4. Tạo Tài khoản dịch vụ
Bạn sẽ tạo một tài khoản dịch vụ cho Cloud Run Job (Công việc chạy Cloud) để truy cập vào Cloud Storage, Vertex AI và Video Intelligence API.
Trước tiên, hãy tạo tài khoản dịch vụ.
gcloud iam service-accounts create $SERVICE_ACCOUNT \ --display-name="Cloud Run Video Scene Image Describer service account"
Sau đó, cấp cho tài khoản dịch vụ quyền truy cập vào bộ chứa Cloud Storage và API Vertex AI.
# to view & download storage bucket objects gcloud projects add-iam-policy-binding $PROJECT_ID \ --member serviceAccount:$SERVICE_ACCOUNT_ADDRESS \ --role=roles/storage.objectViewer # to call the Vertex AI imagetext model gcloud projects add-iam-policy-binding $PROJECT_ID \ --member serviceAccount:$SERVICE_ACCOUNT_ADDRESS \ --role=roles/aiplatform.user
5. Tạo bộ chứa Cloud Storage
Tạo một bộ chứa Cloud Storage nơi bạn có thể tải video lên để xử lý bằng Cloud Run Job bằng lệnh sau:
gsutil mb -l us-central1 gs://$BUCKET_ID/
[Không bắt buộc] Bạn có thể sử dụng video mẫu này bằng cách tải video xuống thiết bị.
gsutil cp gs://cloud-samples-data/video/visionapi.mp4 testvideo.mp4
Bây giờ, hãy tải tệp video lên bộ chứa lưu trữ.
FILENAME=<YOUR-VIDEO-FILENAME> gsutil cp $FILENAME gs://$BUCKET_ID
6. Tạo Cloud Run Job (Công việc chạy trên đám mây)
Trước tiên, tạo một thư mục cho mã nguồn và cd vào thư mục đó.
mkdir video-describer-job && cd $_
Sau đó, hãy tạo một tệp package.json với nội dung sau:
{
"name": "video-describer-job",
"version": "1.0.0",
"private": true,
"description": "describes the image in every scene for a given video",
"main": "app.js",
"author": "Google LLC",
"license": "Apache-2.0",
"scripts": {
"start": "node app.js"
},
"dependencies": {
"@google-cloud/storage": "^7.7.0",
"@google-cloud/video-intelligence": "^5.0.1",
"axios": "^1.6.2",
"fluent-ffmpeg": "^2.1.2",
"google-auth-library": "^9.4.1"
}
}
Ứng dụng này bao gồm một số tệp nguồn để cải thiện khả năng đọc. Trước tiên, hãy tạo một tệp nguồn app.js có nội dung ở bên dưới. Tệp này chứa điểm truy cập cho công việc và chứa logic chính cho ứng dụng.
const bucketName = "<YOUR_BUCKET_ID>";
const videoFilename = "<YOUR-VIDEO-FILENAME>";
const { captureImages } = require("./helpers/imageCapture.js");
const { detectSceneChanges } = require("./helpers/sceneDetector.js");
const { getImageCaption } = require("./helpers/imageCaptioning.js");
const storageHelper = require("./helpers/storage.js");
const authHelper = require("./helpers/auth.js");
const fs = require("fs").promises;
const path = require("path");
const main = async () => {
try {
// download the file to locally to the Cloud Run Job instance
let localFilename = await storageHelper.downloadVideoFile(
bucketName,
videoFilename
);
// PART 1 - Use Video Intelligence API
// detect all the scenes in the video & save timestamps to an array
// EXAMPLE OUTPUT
// Detected scene changes at the following timestamps:
// [1, 7, 11, 12]
let timestamps = await detectSceneChanges(localFilename);
console.log(
"Detected scene changes at the following timestamps: ",
timestamps
);
// PART 2 - Use ffmpeg via dockerfile install
// create an image of each scene change
// and save to a local directory called "output"
// returns the base filename for the generated images
// EXAMPLE OUTPUT
// creating screenshot for scene: 1 at output/video-filename-1.png
// creating screenshot for scene: 7 at output/video-filename-7.png
// creating screenshot for scene: 11 at output/video-filename-11.png
// creating screenshot for scene: 12 at output/video-filename-12.png
// returns the base filename for the generated images
let imageBaseName = await captureImages(localFilename, timestamps);
// PART 3a - get Access Token to call Vertex AI APIs via REST
// needed for the image captioning
// since we're calling the Vertex AI APIs directly
let accessToken = await authHelper.getAccessToken();
console.log("got an access token");
// PART 3b - use Image Captioning to describe each scene per screenshot
// EXAMPLE OUTPUT
/*
[
{
timestamp: 1,
description:
"an aerial view of a city with a bridge in the background"
},
{
timestamp: 7,
description:
"a man in a blue shirt sits in front of shelves of donuts"
},
{
timestamp: 11,
description:
"a black and white photo of people working in a bakery"
},
{
timestamp: 12,
description:
"a black and white photo of a man and woman working in a bakery"
}
]; */
// instantiate the data structure for storing the scene description and timestamp
// e.g. an array of json objects,
// [{ timestamp: 5, description: "..." }, ...]
let scenes = [];
// for each timestamp, send the image to Vertex AI
console.log("getting Vertex AI description for each timestamps");
scenes = await Promise.all(
timestamps.map(async (timestamp) => {
let filepath = path.join(
"./output",
imageBaseName + "-" + timestamp + ".png"
);
// get the base64 encoded image bc sending via REST
const encodedFile = await fs.readFile(filepath, "base64");
// send each screenshot to Vertex AI for description
let description = await getImageCaption(
accessToken,
encodedFile
);
return { timestamp: timestamp, description: description };
})
);
console.log("finished collecting all the scenes");
console.log(scenes);
} catch (error) {
//return an error
console.error("received error: ", error);
}
};
// Start script
main().catch((err) => {
console.error(err);
});
Tiếp theo, hãy tạo Dockerfile.
# Copyright 2020 Google, LLC. # # Licensed under the Apache License, Version 2.0 (the "License"); # you may not use this file except in compliance with the License. # You may obtain a copy of the License at # # http://www.apache.org/licenses/LICENSE-2.0 # # Unless required by applicable law or agreed to in writing, software # distributed under the License is distributed on an "AS IS" BASIS, # WITHOUT WARRANTIES OR CONDITIONS OF ANY KIND, either express or implied. # See the License for the specific language governing permissions and # limitations under the License. # Use the official lightweight Node.js image. # https://hub.docker.com/_/node FROM node:20.10.0-slim # Create and change to the app directory. WORKDIR /usr/src/app RUN apt-get update && apt-get install -y ffmpeg # Copy application dependency manifests to the container image. # A wildcard is used to ensure both package.json AND package-lock.json are copied. # Copying this separately prevents re-running npm install on every code change. COPY package*.json ./ # Install dependencies. # If you add a package-lock.json speed your build by switching to 'npm ci'. # RUN npm ci --only=production RUN npm install --production # Copy local code to the container image. COPY . . # Run the job on container startup. CMD [ "npm", "start" ]
Sau đó, hãy tạo một tệp tên là .dockerignore để bỏ qua việc chứa một số tệp nhất định.
Dockerfile .dockerignore node_modules npm-debug.log
Bây giờ, hãy tạo một thư mục có tên là helpers. Thư mục này sẽ chứa 5 tệp trợ giúp.
mkdir helpers cd helpers
Tiếp theo, hãy tạo một tệp sceneDetector.js với nội dung như sau. Tệp này sử dụng API Video Intelligence để phát hiện thời điểm các cảnh thay đổi trong video.
const fs = require("fs");
const util = require("util");
const readFile = util.promisify(fs.readFile);
const ffmpeg = require("fluent-ffmpeg");
const Video = require("@google-cloud/video-intelligence");
const client = new Video.VideoIntelligenceServiceClient();
module.exports = {
detectSceneChanges: async function (downloadedFile) {
// Reads a local video file and converts it to base64
const file = await readFile(downloadedFile);
const inputContent = file.toString("base64");
// setup request for shot change detection
const videoContext = {
speechTranscriptionConfig: {
languageCode: "en-US",
enableAutomaticPunctuation: true
}
};
const request = {
inputContent: inputContent,
features: ["SHOT_CHANGE_DETECTION"]
};
// Detects camera shot changes
const [operation] = await client.annotateVideo(request);
console.log("Shot (scene) detection in progress...");
const [operationResult] = await operation.promise();
// Gets shot changes
const shotChanges =
operationResult.annotationResults[0].shotAnnotations;
console.log(
"Shot (scene) changes detected: " + shotChanges.length
);
// data structure to be returned
let sceneChanges = [];
// for the initial scene
sceneChanges.push(1);
// if only one scene, keep at 1 second
if (shotChanges.length === 1) {
return sceneChanges;
}
// get length of video
const videoLength = await getVideoLength(downloadedFile);
shotChanges.forEach((shot, shotIndex) => {
if (shot.endTimeOffset === undefined) {
shot.endTimeOffset = {};
}
if (shot.endTimeOffset.seconds === undefined) {
shot.endTimeOffset.seconds = 0;
}
if (shot.endTimeOffset.nanos === undefined) {
shot.endTimeOffset.nanos = 0;
}
// convert to a number
let currentTimestampSecond = Number(
shot.endTimeOffset.seconds
);
let sceneChangeTime = 0;
// double-check no scenes were detected within the last second
if (currentTimestampSecond + 1 > videoLength) {
sceneChangeTime = currentTimestampSecond;
} else {
// otherwise, for simplicity, just round up to the next second
sceneChangeTime = currentTimestampSecond + 1;
}
sceneChanges.push(sceneChangeTime);
});
return sceneChanges;
}
};
async function getVideoLength(localFile) {
let getLength = util.promisify(ffmpeg.ffprobe);
let length = await getLength(localFile);
console.log("video length: ", length.format.duration);
return length.format.duration;
}
Bây giờ, hãy tạo một tệp có tên là imageCapture.js với nội dung sau. Tệp này sử dụng gói nút fluent-ffmpeg để chạy các lệnh ffmpeg từ trong một ứng dụng nút.
const ffmpeg = require("fluent-ffmpeg");
const path = require("path");
const util = require("util");
module.exports = {
captureImages: async function (localFile, scenes) {
let imageBaseName = path.parse(localFile).name;
try {
for (scene of scenes) {
console.log("creating screenshot for scene: ", +scene);
await createScreenshot(localFile, imageBaseName, scene);
}
} catch (error) {
console.log("error gathering screenshots: ", error);
}
console.log("finished gathering the screenshots");
return imageBaseName; // return the base filename for each image
}
};
async function createScreenshot(localFile, imageBaseName, scene) {
return new Promise((resolve, reject) => {
ffmpeg(localFile)
.screenshots({
timestamps: [scene],
filename: `${imageBaseName}-${scene}.png`,
folder: "output",
size: "320x240"
})
.on("error", () => {
console.log(
"Failed to create scene for timestamp: " + scene
);
return reject(
"Failed to create scene for timestamp: " + scene
);
})
.on("end", () => {
return resolve();
});
});
}
Cuối cùng, hãy tạo một tệp có tên là imageCaptioning.js với nội dung sau. Tệp này sử dụng Vertex AI để lấy nội dung mô tả trực quan về từng hình ảnh cảnh.
const axios = require("axios");
const { GoogleAuth } = require("google-auth-library");
const auth = new GoogleAuth({
scopes: "https://www.googleapis.com/auth/cloud-platform"
});
module.exports = {
getImageCaption: async function (token, encodedFile) {
// this example shows you how to call the Vertex REST APIs directly
// https://cloud.google.com/vertex-ai/generative-ai/docs/image/image-captioning#get-captions-short
// https://cloud.google.com/vertex-ai/generative-ai/docs/model-reference/image-captioning
let projectId = await auth.getProjectId();
let config = {
headers: {
"Authorization": "Bearer " + token,
"Content-Type": "application/json; charset=utf-8"
}
};
const json = {
"instances": [
{
"image": {
"bytesBase64Encoded": encodedFile
}
}
],
"parameters": {
"sampleCount": 1,
"language": "en"
}
};
let response = await axios.post(
"https://us-central1-aiplatform.googleapis.com/v1/projects/" +
projectId +
"/locations/us-central1/publishers/google/models/imagetext:predict",
json,
config
);
return response.data.predictions[0];
}
};
Tạo một tệp có tên là auth.js. Tệp này sẽ sử dụng thư viện ứng dụng xác thực của Google để lấy mã truy cập cần thiết để gọi trực tiếp các điểm cuối của Vertex AI.
const { GoogleAuth } = require("google-auth-library");
const auth = new GoogleAuth({
scopes: "https://www.googleapis.com/auth/cloud-platform"
});
module.exports = {
getAccessToken: async function () {
return await auth.getAccessToken();
}
};
Cuối cùng, hãy tạo một tệp có tên storage.js. Tệp này sẽ sử dụng thư viện ứng dụng Cloud Storage để tải video xuống từ bộ nhớ trên đám mây.
const { Storage } = require("@google-cloud/storage");
module.exports = {
downloadVideoFile: async function (bucketName, videoFilename) {
// Creates a client
const storage = new Storage();
// keep same name locally
let localFilename = videoFilename;
const options = {
destination: localFilename
};
// Download the file
await storage
.bucket(bucketName)
.file(videoFilename)
.download(options);
console.log(
`gs://${bucketName}/${videoFilename} downloaded locally to ${localFilename}.`
);
return localFilename;
}
};
7. Triển khai và thực thi công việc Cloud Run
Trước tiên, hãy đảm bảo bạn đang ở trong thư mục gốc video-describer-job cho lớp học lập trình của mình.
cd .. && pwd
Sau đó, bạn có thể dùng lệnh này để triển khai Cloud Run Job (Công việc chạy Cloud).
gcloud run jobs deploy $JOB_NAME --source . --region $REGION
Bây giờ, bạn có thể thực thi Cloud Run Job (Công việc chạy Cloud) bằng cách chạy lệnh sau:
gcloud run jobs execute $JOB_NAME
Sau khi thực thi xong công việc, bạn có thể chạy lệnh sau để lấy đường liên kết đến URI nhật ký. (Hoặc bạn có thể dùng Cloud Console rồi trực tiếp chuyển đến phần Công việc trên Cloud Run để xem nhật ký.)
gcloud run jobs executions describe <JOB_EXECUTION_ID>
Bạn sẽ thấy kết quả sau đây trong nhật ký:
[{ timestamp: 1, description: 'what is google cloud vision api ? is written on a white background .'},
{ timestamp: 3, description: 'a woman wearing a google cloud vision api shirt sits at a table'},
{ timestamp: 18, description: 'a person holding a cell phone with the words what is cloud vision api on the bottom' }, ...]
8. Xin chúc mừng!
Chúc mừng bạn đã hoàn thành lớp học lập trình!
Bạn nên tham khảo tài liệu về Video Intelligence API, Cloud Run và phụ đề trực quan cho Vertex AI.
Nội dung đã đề cập
- Cách tạo hình ảnh vùng chứa bằng Dockerfile để cài đặt tệp nhị phân của bên thứ 3
- Cách tuân thủ nguyên tắc về đặc quyền tối thiểu bằng cách tạo một tài khoản dịch vụ cho Cloud Run Job để gọi các dịch vụ khác của Google Cloud
- Cách sử dụng thư viện ứng dụng Video Intelligence trong Cloud Run Job
- Cách thực hiện lệnh gọi đến Google API để nhận nội dung mô tả trực quan về từng cảnh của Vertex AI
9. Dọn dẹp
Để tránh các khoản phí vô tình, (ví dụ: nếu công việc Cloud Run này vô tình bị gọi nhiều lần hơn mức phân bổ lệnh gọi Cloud Run hằng tháng của bạn ở cấp miễn phí), bạn có thể xoá công việc trên Cloud Run hoặc xoá dự án bạn đã tạo ở Bước 2.
Để xoá công việc Cloud Run, hãy truy cập vào Cloud Run Cloud Console tại https://console.cloud.google.com/run/ rồi xoá hàm video-describer-job (hoặc $JOB_NAME trong trường hợp bạn sử dụng tên khác).
Nếu chọn xoá toàn bộ dự án, bạn có thể truy cập vào https://console.cloud.google.com/cloud-resource-manager, chọn dự án mà bạn đã tạo ở Bước 2 rồi chọn Xoá. Nếu xoá dự án, bạn sẽ phải thay đổi các dự án trong Cloud SDK của mình. Bạn có thể xem danh sách tất cả dự án hiện có bằng cách chạy gcloud projects list.