Chụp ảnh hằng ngày: Phòng thí nghiệm 1 – Lưu trữ và phân tích hình ảnh (Java)

1. Tổng quan

Trong lớp học lập trình đầu tiên, bạn sẽ tải hình ảnh lên một vùng chứa. Thao tác này sẽ tạo một sự kiện tạo tệp do một hàm xử lý. Hàm này sẽ gọi Vision API để phân tích hình ảnh và lưu kết quả vào một kho dữ liệu.

Kiến thức bạn sẽ học được

Cloud Storage
Cloud Functions
Cloud Vision API
Cloud Firestore

2. Thiết lập và yêu cầu

Thiết lập môi trường theo tốc độ của riêng bạn

Đăng nhập vào Google Cloud Console rồi tạo một dự án mới hoặc sử dụng lại một dự án hiện có. Nếu chưa có tài khoản Gmail hoặc Google Workspace, bạn phải tạo một tài khoản.

Tên dự án là tên hiển thị của những người tham gia dự án này. Đây là một chuỗi ký tự mà các API của Google không sử dụng. Bạn có thể cập nhật thông tin này bất cứ lúc nào.
Mã dự án phải là duy nhất trên tất cả các dự án trên Google Cloud và không thể thay đổi (bạn không thể thay đổi sau khi đã đặt). Cloud Console sẽ tự động tạo một chuỗi duy nhất; thường thì bạn không cần quan tâm đến chuỗi này. Trong hầu hết các lớp học lập trình, bạn sẽ cần tham chiếu đến Mã dự án (thường được xác định là PROJECT_ID). Nếu không thích mã nhận dạng được tạo, bạn có thể tạo một mã nhận dạng ngẫu nhiên khác. Hoặc bạn có thể thử tên người dùng của riêng mình để xem tên đó có dùng được hay không. Bạn không thể thay đổi thông tin này sau bước này và thông tin này sẽ giữ nguyên trong suốt thời gian diễn ra dự án.
Để bạn biết, có một giá trị thứ ba là Số dự án mà một số API sử dụng. Tìm hiểu thêm về cả 3 giá trị này trong tài liệu.

Tiếp theo, bạn cần bật tính năng thanh toán trong Cloud Console để sử dụng các tài nguyên/API trên đám mây. Việc thực hiện lớp học lập trình này sẽ không tốn nhiều chi phí, nếu có. Để tắt các tài nguyên nhằm tránh phát sinh phí thanh toán ngoài hướng dẫn này, bạn có thể xoá các tài nguyên đã tạo hoặc xoá toàn bộ dự án. Người dùng mới của Google Cloud đủ điều kiện tham gia chương trình Dùng thử miễn phí trị giá 300 USD.

Khởi động Cloud Shell

Mặc dù có thể vận hành Google Cloud từ xa trên máy tính xách tay, nhưng trong lớp học lập trình này, bạn sẽ sử dụng Google Cloud Shell, một môi trường dòng lệnh chạy trên Cloud.

Trên Bảng điều khiển Google Cloud, hãy nhấp vào biểu tượng Cloud Shell trên thanh công cụ ở trên cùng bên phải:

Quá trình này chỉ mất vài phút để cung cấp và kết nối với môi trường. Khi quá trình này kết thúc, bạn sẽ thấy như sau:

Máy ảo này được trang bị tất cả các công cụ phát triển mà bạn cần. Nó cung cấp một thư mục chính có dung lượng 5 GB và chạy trên Google Cloud, giúp tăng cường đáng kể hiệu suất mạng và hoạt động xác thực. Bạn có thể thực hiện mọi thao tác trong lớp học lập trình này trong trình duyệt. Bạn không cần cài đặt bất cứ thứ gì.

3. Bật API

Trong phòng thí nghiệm này, bạn sẽ sử dụng Cloud Functions và Vision API. Tuy nhiên, trước tiên, bạn cần bật các API này trong Cloud Console hoặc bằng gcloud.

Để bật Vision API trong Cloud Console, hãy tìm Cloud Vision API trong thanh tìm kiếm:

Bạn sẽ chuyển đến trang Cloud Vision API:

Nhấp vào nút ENABLE.

Ngoài ra, bạn cũng có thể bật Cloud Shell bằng công cụ dòng lệnh gcloud.

Trong Cloud Shell, hãy chạy lệnh sau:

gcloud services enable vision.googleapis.com

Bạn sẽ thấy thao tác hoàn tất thành công:

Operation "operations/acf.12dba18b-106f-4fd2-942d-fea80ecc5c1c" finished successfully.

Bật cả Cloud Functions:

gcloud services enable cloudfunctions.googleapis.com

4. Tạo vùng chứa (bảng điều khiển)

Tạo một bộ chứa lưu trữ cho các bức ảnh. Bạn có thể thực hiện việc này trên bảng điều khiển Google Cloud Platform ( console.cloud.google.com) hoặc bằng công cụ dòng lệnh gsutil trên Cloud Shell hoặc môi trường phát triển cục bộ.

Chuyển đến phần Bộ nhớ

Trong trình đơn "hamburger" (☰), hãy chuyển đến trang Storage.

Đặt tên cho nhóm của bạn

Nhấp vào nút CREATE BUCKET.

Nhấp vào CONTINUE.

Chọn vị trí

Tạo một vùng chứa đa khu vực ở khu vực mà bạn chọn (trong trường hợp này là Europe).

Nhấp vào CONTINUE.

Chọn lớp lưu trữ mặc định

Chọn lớp lưu trữ Standard cho dữ liệu của bạn.

Nhấp vào CONTINUE.

Thiết lập quyền kiểm soát truy cập

Vì bạn sẽ làm việc với những hình ảnh có thể truy cập công khai, nên bạn muốn tất cả hình ảnh được lưu trữ trong nhóm này đều có cùng một chế độ kiểm soát truy cập đồng nhất.

Chọn chế độ kiểm soát quyền truy cập Uniform.

Nhấp vào CONTINUE.

Thiết lập chế độ bảo vệ/mã hoá

Giữ nguyên chế độ mặc định (Google-managed key), vì bạn sẽ không sử dụng khoá mã hoá của riêng mình.

Nhấp vào CREATE để hoàn tất quá trình tạo nhóm.

Thêm allUsers làm người xem bộ nhớ

Chuyển đến thẻ Permissions:

Thêm một thành viên allUsers vào nhóm, với vai trò là Storage > Storage Object Viewer, như sau:

Nhấp vào SAVE.

5. Tạo vùng chứa (gsutil)

Bạn cũng có thể sử dụng công cụ dòng lệnh gsutil trong Cloud Shell để tạo các vùng chứa.

Trong Cloud Shell, hãy đặt một biến cho tên bộ chứa riêng biệt. Cloud Shell đã đặt GOOGLE_CLOUD_PROJECT thành mã dự án duy nhất của bạn. Bạn có thể thêm thông tin đó vào tên nhóm.

Ví dụ:

export BUCKET_PICTURES=uploaded-pictures-${GOOGLE_CLOUD_PROJECT}

Tạo một vùng tiêu chuẩn có nhiều khu vực ở Châu Âu:

gsutil mb -l EU gs://${BUCKET_PICTURES}

Đảm bảo quyền truy cập ở cấp nhóm đồng nhất:

gsutil uniformbucketlevelaccess set on gs://${BUCKET_PICTURES}

Đặt thùng chứa ở chế độ công khai:

gsutil iam ch allUsers:objectViewer gs://${BUCKET_PICTURES}

Nếu chuyển đến mục Cloud Storage của bảng điều khiển, bạn sẽ thấy một vùng chứa uploaded-pictures công khai:

Kiểm tra để đảm bảo bạn có thể tải hình ảnh lên nhóm và hình ảnh đã tải lên được cung cấp công khai, như đã giải thích ở bước trước.

6. Kiểm thử quyền truy cập công khai vào vùng lưu trữ

Quay lại trình duyệt lưu trữ, bạn sẽ thấy nhóm của mình trong danh sách, với quyền truy cập "Công khai" (kể cả dấu cảnh báo nhắc bạn rằng bất kỳ ai cũng có quyền truy cập vào nội dung của nhóm đó).

Thùng của bạn hiện đã sẵn sàng nhận ảnh.

Nếu nhấp vào tên nhóm, bạn sẽ thấy thông tin chi tiết về nhóm.

Tại đây, bạn có thể thử nút Upload files để kiểm tra xem bạn có thể thêm ảnh vào nhóm hay không. Một cửa sổ bật lên chọn tệp sẽ yêu cầu bạn chọn một tệp. Sau khi bạn chọn, tệp đó sẽ được tải lên nhóm của bạn và bạn sẽ thấy lại quyền truy cập public được tự động gán cho tệp mới này.

Bên cạnh nhãn truy cập Public, bạn cũng sẽ thấy một biểu tượng đường liên kết nhỏ. Khi bạn nhấp vào đó, trình duyệt sẽ chuyển đến URL công khai của hình ảnh đó, có dạng như sau:

https://storage.googleapis.com/BUCKET_NAME/PICTURE_FILE.png

Trong đó BUCKET_NAME là tên riêng biệt dùng chung mà bạn đã chọn cho nhóm của mình, sau đó là tên tệp của bức ảnh.

Khi bạn nhấp vào hộp đánh dấu bên cạnh tên ảnh, nút DELETE sẽ được bật và bạn có thể xoá hình ảnh đầu tiên này.

7. Tạo hàm

Ở bước này, bạn sẽ tạo một hàm phản hồi các sự kiện tải ảnh lên.

Truy cập vào phần Cloud Functions của bảng điều khiển Cloud. Khi bạn truy cập vào dịch vụ này, dịch vụ Cloud Functions sẽ tự động được bật.

Nhấp vào Create function.

Chọn một tên (ví dụ: picture-uploaded) và Khu vực (hãy nhớ chọn khu vực nhất quán cho nhóm):

Có hai loại hàm:

Các hàm HTTP có thể được gọi thông qua một URL (tức là một API web),
Các hàm nền có thể được kích hoạt bởi một số sự kiện.

Bạn muốn tạo một hàm nền được kích hoạt khi một tệp mới được tải lên bộ chứa Cloud Storage của chúng ta:

Bạn quan tâm đến loại sự kiện Finalize/Create. Đây là sự kiện được kích hoạt khi một tệp được tạo hoặc cập nhật trong nhóm:

Chọn vùng chứa đã tạo trước đó để yêu cầu Cloud Functions thông báo cho bạn khi một tệp được tạo / cập nhật trong vùng chứa cụ thể này:

Nhấp vào Select để chọn nhóm bạn đã tạo trước đó, rồi nhấp vào Save

Trước khi nhấp vào Tiếp theo, bạn có thể mở rộng và sửa đổi các giá trị mặc định (bộ nhớ 256 MB) trong phần Cài đặt thời gian chạy, bản dựng, kết nối và bảo mật rồi cập nhật thành 1 GB.

Sau khi nhấp vào Next, bạn có thể điều chỉnh Thời gian chạy, Mã nguồn và điểm truy cập.

Giữ Inline editor cho hàm này:

Chọn một trong các môi trường thời gian chạy Java, chẳng hạn như Java 11:

Mã nguồn bao gồm một tệp Java và một tệp pom.xml Maven cung cấp nhiều siêu dữ liệu và phần phụ thuộc.

Để nguyên đoạn mã mặc định: đoạn mã này sẽ ghi lại tên tệp của hình ảnh được tải lên:

Hiện tại, hãy giữ tên của hàm cần thực thi là Example cho mục đích kiểm thử.

Nhấp vào Deploy để tạo và triển khai hàm. Sau khi triển khai thành công, bạn sẽ thấy dấu kiểm có vòng tròn màu xanh lục trong danh sách hàm:

8. Kiểm thử hàm

Trong bước này, hãy kiểm thử để đảm bảo hàm phản hồi các sự kiện lưu trữ.

Trong trình đơn "hamburger" (☰), hãy chuyển về trang Storage.

Nhấp vào nhóm hình ảnh, rồi nhấp vào biểu tượng Upload files để tải hình ảnh lên.

Di chuyển lại trong Cloud Console để chuyển đến trang Logging > Logs Explorer.

Trong bộ chọn Log Fields, hãy chọn Cloud Function để xem nhật ký dành riêng cho các hàm của bạn. Di chuyển xuống qua Nhật ký trường và bạn thậm chí có thể chọn một hàm cụ thể để có chế độ xem chi tiết hơn về nhật ký liên quan đến hàm. Chọn hàm picture-uploaded.

Bạn sẽ thấy các mục nhật ký đề cập đến việc tạo hàm, thời gian bắt đầu và kết thúc của hàm, cũng như câu lệnh nhật ký thực tế của chúng ta:

Câu lệnh nhật ký của chúng ta có nội dung: Processing file: pic-a-daily-architecture-events.png, nghĩa là sự kiện liên quan đến việc tạo và lưu trữ bức ảnh này thực sự đã được kích hoạt như mong đợi.

9. Chuẩn bị cơ sở dữ liệu

Bạn sẽ lưu trữ thông tin về hình ảnh do Vision API cung cấp vào cơ sở dữ liệu Cloud Firestore. Đây là một cơ sở dữ liệu tài liệu NoSQL nhanh, hoàn toàn trên đám mây, không máy chủ và được quản lý toàn diện. Chuẩn bị cơ sở dữ liệu bằng cách chuyển đến mục Firestore của Cloud Console:

Bạn có hai lựa chọn: Native mode hoặc Datastore mode. Sử dụng chế độ gốc để có thêm các tính năng như hỗ trợ khi không có mạng và đồng bộ hoá theo thời gian thực.

Nhấp vào biểu tượng SELECT NATIVE MODE.

Chọn một khu vực có nhiều vùng (ở đây là Châu Âu, nhưng lý tưởng nhất là ít nhất phải cùng khu vực với hàm và vùng lưu trữ của bạn).

Nhấp vào nút CREATE DATABASE.

Sau khi tạo cơ sở dữ liệu, bạn sẽ thấy những thông tin sau:

Tạo một bộ sưu tập mới bằng cách nhấp vào nút + START COLLECTION.

Bộ sưu tập tên pictures.

Bạn không cần tạo tài liệu. Bạn sẽ thêm các hình ảnh này theo phương thức lập trình khi hình ảnh mới được lưu trữ trong Cloud Storage và được Vision API phân tích.

Nhấp vào Save.

Firestore sẽ tạo một tài liệu mặc định đầu tiên trong tập hợp mới tạo. Bạn có thể xoá tài liệu đó một cách an toàn vì tài liệu này không chứa thông tin hữu ích nào:

Các tài liệu sẽ được tạo theo chương trình trong bộ sưu tập của chúng tôi sẽ chứa 4 trường:

name (chuỗi): tên tệp của bức ảnh được tải lên, cũng là khoá của tài liệu
labels (mảng chuỗi): nhãn của các mục được nhận dạng bằng Vision API
color (chuỗi): mã màu thập lục phân của màu chủ đạo (ví dụ: #ab12ef)
created (ngày): dấu thời gian cho biết thời điểm siêu dữ liệu của hình ảnh này được lưu trữ
thumbnail (boolean): một trường không bắt buộc sẽ xuất hiện và có giá trị true nếu hình thu nhỏ đã được tạo cho bức ảnh này

Vì chúng ta sẽ tìm kiếm trong Firestore để tìm những bức ảnh có hình thu nhỏ và sắp xếp theo ngày tạo, nên chúng ta cần tạo một chỉ mục tìm kiếm.

Bạn có thể tạo chỉ mục bằng lệnh sau trong Cloud Shell:

gcloud firestore indexes composite create \
  --collection-group=pictures \
  --field-config field-path=thumbnail,order=descending \
  --field-config field-path=created,order=descending

Hoặc bạn cũng có thể thực hiện việc này trên Cloud Console bằng cách nhấp vào Indexes trong cột điều hướng ở bên trái, rồi tạo một chỉ mục kết hợp như minh hoạ dưới đây:

Nhấp vào Create. Quá trình tạo chỉ mục có thể mất vài phút.

10. Cập nhật hàm

Quay lại trang Functions để cập nhật hàm nhằm gọi Vision API để phân tích hình ảnh và lưu trữ siêu dữ liệu trong Firestore.

Trong trình đơn "hamburger" (☰), hãy chuyển đến mục Cloud Functions, nhấp vào tên hàm, chọn thẻ Source rồi nhấp vào nút EDIT.

Trước tiên, hãy chỉnh sửa tệp pom.xml liệt kê các phần phụ thuộc của hàm Java. Cập nhật mã để thêm phần phụ thuộc Cloud Vision API Maven:

<?xml version="1.0" encoding="UTF-8"?>
<project xmlns="http://maven.apache.org/POM/4.0.0"
         xmlns:xsi="http://www.w3.org/2001/XMLSchema-instance"
         xsi:schemaLocation="http://maven.apache.org/POM/4.0.0 http://maven.apache.org/xsd/maven-4.0.0.xsd">
  <modelVersion>4.0.0</modelVersion>
  <groupId>cloudfunctions</groupId>
  <artifactId>gcs-function</artifactId>
  <version>1.0-SNAPSHOT</version>

  <properties>
    <maven.compiler.target>11</maven.compiler.target>
    <maven.compiler.source>11</maven.compiler.source>
  </properties>

  <dependencyManagement>
    <dependencies>
      <dependency>
        <groupId>com.google.cloud</groupId>
        <artifactId>libraries-bom</artifactId>
        <version>26.1.1</version>
        <type>pom</type>
        <scope>import</scope>
      </dependency>
    </dependencies>
  </dependencyManagement>

  <dependencies>
    <dependency>
      <groupId>com.google.cloud.functions</groupId>
      <artifactId>functions-framework-api</artifactId>
      <version>1.0.4</version>
      <type>jar</type>
    </dependency>
    <dependency>
      <groupId>com.google.cloud</groupId>
      <artifactId>google-cloud-firestore</artifactId>
    </dependency>
    <dependency>
      <groupId>com.google.cloud</groupId>
      <artifactId>google-cloud-vision</artifactId>
    </dependency>
    <dependency>
      <groupId>com.google.cloud</groupId>
      <artifactId>google-cloud-storage</artifactId>
    </dependency>
  </dependencies>

  <!-- Required for Java 11 functions in the inline editor -->
  <build>
    <plugins>
      <plugin>
        <groupId>org.apache.maven.plugins</groupId>
        <artifactId>maven-compiler-plugin</artifactId>
        <version>3.8.1</version>
        <configuration>
          <excludes>
            <exclude>.google/</exclude>
          </excludes>
        </configuration>
      </plugin>
    </plugins>
  </build>
</project>

Giờ đây, khi các phần phụ thuộc đã được cập nhật, bạn sẽ làm việc trên mã của hàm bằng cách cập nhật tệp Example.java bằng mã tuỳ chỉnh của chúng ta.

Di chuột lên tệp Example.java rồi nhấp vào biểu tượng bút chì. Thay thế tên gói và tên tệp thành src/main/java/fn/ImageAnalysis.java.

Thay thế mã trong ImageAnalysis.java bằng mã dưới đây. Việc này sẽ được giải thích trong bước tiếp theo.

package fn;

import com.google.cloud.functions.*;
import com.google.cloud.vision.v1.*;
import com.google.cloud.vision.v1.Feature.Type;
import com.google.cloud.firestore.*;
import com.google.api.core.ApiFuture;

import java.io.*;
import java.util.*;
import java.util.stream.*;
import java.util.concurrent.*;
import java.util.logging.Logger;

import fn.ImageAnalysis.GCSEvent;

public class ImageAnalysis implements BackgroundFunction<GCSEvent> {
    private static final Logger logger = Logger.getLogger(ImageAnalysis.class.getName());

    @Override
    public void accept(GCSEvent event, Context context) 
            throws IOException, InterruptedException, ExecutionException {
        String fileName = event.name;
        String bucketName = event.bucket;

        logger.info("New picture uploaded " + fileName);

        try (ImageAnnotatorClient vision = ImageAnnotatorClient.create()) {
            List<AnnotateImageRequest> requests = new ArrayList<>();
            
            ImageSource imageSource = ImageSource.newBuilder()
                .setGcsImageUri("gs://" + bucketName + "/" + fileName)
                .build();

            Image image = Image.newBuilder()
                .setSource(imageSource)
                .build();

            Feature featureLabel = Feature.newBuilder()
                .setType(Type.LABEL_DETECTION)
                .build();
            Feature featureImageProps = Feature.newBuilder()
                .setType(Type.IMAGE_PROPERTIES)
                .build();
            Feature featureSafeSearch = Feature.newBuilder()
                .setType(Type.SAFE_SEARCH_DETECTION)
                .build();
                
            AnnotateImageRequest request = AnnotateImageRequest.newBuilder()
                .addFeatures(featureLabel)
                .addFeatures(featureImageProps)
                .addFeatures(featureSafeSearch)
                .setImage(image)
                .build();
            
            requests.add(request);

            logger.info("Calling the Vision API...");
            BatchAnnotateImagesResponse result = vision.batchAnnotateImages(requests);
            List<AnnotateImageResponse> responses = result.getResponsesList();

            if (responses.size() == 0) {
                logger.info("No response received from Vision API.");
                return;
            }

            AnnotateImageResponse response = responses.get(0);
            if (response.hasError()) {
                logger.info("Error: " + response.getError().getMessage());
                return;
            }

            List<String> labels = response.getLabelAnnotationsList().stream()
                .map(annotation -> annotation.getDescription())
                .collect(Collectors.toList());
            logger.info("Annotations found:");
            for (String label: labels) {
                logger.info("- " + label);
            }

            String mainColor = "#FFFFFF";
            ImageProperties imgProps = response.getImagePropertiesAnnotation();
            if (imgProps.hasDominantColors()) {
                DominantColorsAnnotation colorsAnn = imgProps.getDominantColors();
                ColorInfo colorInfo = colorsAnn.getColors(0);

                mainColor = rgbHex(
                    colorInfo.getColor().getRed(), 
                    colorInfo.getColor().getGreen(), 
                    colorInfo.getColor().getBlue());

                logger.info("Color: " + mainColor);
            }

            boolean isSafe = false;
            if (response.hasSafeSearchAnnotation()) {
                SafeSearchAnnotation safeSearch = response.getSafeSearchAnnotation();

                isSafe = Stream.of(
                    safeSearch.getAdult(), safeSearch.getMedical(), safeSearch.getRacy(),
                    safeSearch.getSpoof(), safeSearch.getViolence())
                .allMatch( likelihood -> 
                    likelihood != Likelihood.LIKELY && likelihood != Likelihood.VERY_LIKELY
                );

                logger.info("Safe? " + isSafe);
            }

            // Saving result to Firestore
            if (isSafe) {
                FirestoreOptions firestoreOptions = FirestoreOptions.getDefaultInstance();
                Firestore pictureStore = firestoreOptions.getService();

                DocumentReference doc = pictureStore.collection("pictures").document(fileName);

                Map<String, Object> data = new HashMap<>();
                data.put("labels", labels);
                data.put("color", mainColor);
                data.put("created", new Date());

                ApiFuture<WriteResult> writeResult = doc.set(data, SetOptions.merge());

                logger.info("Picture metadata saved in Firestore at " + writeResult.get().getUpdateTime());
            }
        }
    }

    private static String rgbHex(float red, float green, float blue) {
        return String.format("#%02x%02x%02x", (int)red, (int)green, (int)blue);
    }

    public static class GCSEvent {
        String bucket;
        String name;
    }
}

11. Khám phá chức năng

Hãy cùng xem xét kỹ hơn các phần thú vị.

Trước tiên, chúng ta sẽ thêm các phần phụ thuộc cụ thể vào tệp pom.xml của Maven. Thư viện ứng dụng Google Java xuất bản một Bill-of-Materials(BOM) để loại bỏ mọi xung đột về phần phụ thuộc. Khi sử dụng BOM, bạn không phải chỉ định phiên bản nào cho từng Thư viện ứng dụng Google

  <dependencyManagement>
    <dependencies>
      <dependency>
        <groupId>com.google.cloud</groupId>
        <artifactId>libraries-bom</artifactId>
        <version>26.1.1</version>
        <type>pom</type>
        <scope>import</scope>
      </dependency>
    </dependencies>
  </dependencyManagement>

Sau đó, chúng ta chuẩn bị một ứng dụng cho Vision API:

...
try (ImageAnnotatorClient vision = ImageAnnotatorClient.create()) {
...

Bây giờ, chúng ta sẽ xem xét cấu trúc của hàm. Chúng ta sẽ thu thập các trường mà chúng ta quan tâm từ sự kiện đến và ánh xạ các trường đó vào cấu trúc GCSEvent mà chúng ta xác định:

...
public class ImageAnalysis implements BackgroundFunction<GCSEvent> {
    @Override
    public void accept(GCSEvent event, Context context) 
            throws IOException, InterruptedException,     
    ExecutionException {
...

    public static class GCSEvent {
        String bucket;
        String name;
    }

Hãy lưu ý chữ ký, nhưng cũng lưu ý cách chúng ta truy xuất tên của tệp và bộ chứa đã kích hoạt Cloud Functions.

Để tham khảo, sau đây là nội dung của tải trọng sự kiện:

{
  "bucket":"uploaded-pictures",
  "contentType":"image/png",
  "crc32c":"efhgyA==",
  "etag":"CKqB956MmucCEAE=",
  "generation":"1579795336773802",
  "id":"uploaded-pictures/Screenshot.png/1579795336773802",
  "kind":"storage#object",
  "md5Hash":"PN8Hukfrt6C7IyhZ8d3gfQ==",
  "mediaLink":"https://www.googleapis.com/download/storage/v1/b/uploaded-pictures/o/Screenshot.png?generation=1579795336773802&alt=media",
  "metageneration":"1",
  "name":"Screenshot.png",
  "selfLink":"https://www.googleapis.com/storage/v1/b/uploaded-pictures/o/Screenshot.png",
  "size":"173557",
  "storageClass":"STANDARD",
  "timeCreated":"2020-01-23T16:02:16.773Z",
  "timeStorageClassUpdated":"2020-01-23T16:02:16.773Z",
  "updated":"2020-01-23T16:02:16.773Z"
}

Chúng ta chuẩn bị một yêu cầu để gửi thông qua ứng dụng Vision:

ImageSource imageSource = ImageSource.newBuilder()
    .setGcsImageUri("gs://" + bucketName + "/" + fileName)
    .build();

Image image = Image.newBuilder()
    .setSource(imageSource)
    .build();

Feature featureLabel = Feature.newBuilder()
    .setType(Type.LABEL_DETECTION)
    .build();
Feature featureImageProps = Feature.newBuilder()
    .setType(Type.IMAGE_PROPERTIES)
    .build();
Feature featureSafeSearch = Feature.newBuilder()
    .setType(Type.SAFE_SEARCH_DETECTION)
    .build();
    
AnnotateImageRequest request = AnnotateImageRequest.newBuilder()
    .addFeatures(featureLabel)
    .addFeatures(featureImageProps)
    .addFeatures(featureSafeSearch)
    .setImage(image)
    .build();

Chúng tôi yêu cầu 3 chức năng chính của Vision API:

Phát hiện nhãn: để hiểu nội dung trong những bức ảnh đó
Thuộc tính hình ảnh: để cung cấp các thuộc tính thú vị của hình ảnh (chúng tôi quan tâm đến màu sắc chủ đạo của hình ảnh)
Tìm kiếm an toàn: để biết liệu hình ảnh có an toàn để hiển thị hay không (không được chứa nội dung người lớn / y tế / không phù hợp / nội dung bạo lực)

Đến đây, chúng ta có thể gọi Vision API:

...
logger.info("Calling the Vision API...");
BatchAnnotateImagesResponse result = 
                            vision.batchAnnotateImages(requests);
List<AnnotateImageResponse> responses = result.getResponsesList();
...

Để tham khảo, sau đây là phản hồi từ Vision API:

{
  "faceAnnotations": [],
  "landmarkAnnotations": [],
  "logoAnnotations": [],
  "labelAnnotations": [
    {
      "locations": [],
      "properties": [],
      "mid": "/m/01yrx",
      "locale": "",
      "description": "Cat",
      "score": 0.9959855675697327,
      "confidence": 0,
      "topicality": 0.9959855675697327,
      "boundingPoly": null
    },
    ✄ - - - ✄
  ],
  "textAnnotations": [],
  "localizedObjectAnnotations": [],
  "safeSearchAnnotation": {
    "adult": "VERY_UNLIKELY",
    "spoof": "UNLIKELY",
    "medical": "VERY_UNLIKELY",
    "violence": "VERY_UNLIKELY",
    "racy": "VERY_UNLIKELY",
    "adultConfidence": 0,
    "spoofConfidence": 0,
    "medicalConfidence": 0,
    "violenceConfidence": 0,
    "racyConfidence": 0,
    "nsfwConfidence": 0
  },
  "imagePropertiesAnnotation": {
    "dominantColors": {
      "colors": [
        {
          "color": {
            "red": 203,
            "green": 201,
            "blue": 201,
            "alpha": null
          },
          "score": 0.4175916016101837,
          "pixelFraction": 0.44456374645233154
        },
        ✄ - - - ✄
      ]
    }
  },
  "error": null,
  "cropHintsAnnotation": {
    "cropHints": [
      {
        "boundingPoly": {
          "vertices": [
            { "x": 0, "y": 118 },
            { "x": 1177, "y": 118 },
            { "x": 1177, "y": 783 },
            { "x": 0, "y": 783 }
          ],
          "normalizedVertices": []
        },
        "confidence": 0.41695669293403625,
        "importanceFraction": 1
      }
    ]
  },
  "fullTextAnnotation": null,
  "webDetection": null,
  "productSearchResults": null,
  "context": null
}

Nếu không có lỗi nào được trả về, chúng ta có thể chuyển sang bước tiếp theo. Đó là lý do chúng ta có khối if này:

AnnotateImageResponse response = responses.get(0);
if (response.hasError()) {
     logger.info("Error: " + response.getError().getMessage());
     return;
}

Chúng ta sẽ lấy nhãn của những vật thể, danh mục hoặc chủ đề được nhận dạng trong bức ảnh:

List<String> labels = response.getLabelAnnotationsList().stream()
    .map(annotation -> annotation.getDescription())
    .collect(Collectors.toList());

logger.info("Annotations found:");
for (String label: labels) {
    logger.info("- " + label);
}

Chúng tôi muốn biết màu chủ đạo của bức ảnh:

String mainColor = "#FFFFFF";
ImageProperties imgProps = response.getImagePropertiesAnnotation();
if (imgProps.hasDominantColors()) {
    DominantColorsAnnotation colorsAnn = 
                               imgProps.getDominantColors();
    ColorInfo colorInfo = colorsAnn.getColors(0);

    mainColor = rgbHex(
        colorInfo.getColor().getRed(), 
        colorInfo.getColor().getGreen(), 
        colorInfo.getColor().getBlue());

    logger.info("Color: " + mainColor);
}

Chúng ta cũng đang sử dụng một hàm hiệu dụng để chuyển đổi các giá trị đỏ / xanh lục / xanh dương thành mã màu hệ thập lục phân mà chúng ta có thể sử dụng trong biểu định kiểu CSS.

Hãy kiểm tra xem bức ảnh có an toàn để hiển thị hay không:

boolean isSafe = false;
if (response.hasSafeSearchAnnotation()) {
    SafeSearchAnnotation safeSearch = 
                      response.getSafeSearchAnnotation();

    isSafe = Stream.of(
        safeSearch.getAdult(), safeSearch.getMedical(), safeSearch.getRacy(),
        safeSearch.getSpoof(), safeSearch.getViolence())
    .allMatch( likelihood -> 
        likelihood != Likelihood.LIKELY && likelihood != Likelihood.VERY_LIKELY
    );

    logger.info("Safe? " + isSafe);
}

Chúng tôi đang kiểm tra các thuộc tính người lớn / giả mạo / y tế / bạo lực / không phù hợp cho người xem chưa đến tuổi trưởng thành để xem các thuộc tính đó có không có khả năng hoặc rất có khả năng xuất hiện hay không.

Nếu kết quả tìm kiếm an toàn là ổn, chúng ta có thể lưu trữ siêu dữ liệu trong Firestore:

if (isSafe) {
    FirestoreOptions firestoreOptions = FirestoreOptions.getDefaultInstance();
    Firestore pictureStore = firestoreOptions.getService();

    DocumentReference doc = pictureStore.collection("pictures").document(fileName);

    Map<String, Object> data = new HashMap<>();
    data.put("labels", labels);
    data.put("color", mainColor);
    data.put("created", new Date());

    ApiFuture<WriteResult> writeResult = doc.set(data, SetOptions.merge());

    logger.info("Picture metadata saved in Firestore at " + writeResult.get().getUpdateTime());
}

12. Triển khai hàm

Đã đến lúc triển khai hàm.

Nhấn nút DEPLOY và phiên bản mới sẽ được triển khai. Bạn có thể xem tiến trình:

13. Kiểm tra lại hàm

Sau khi triển khai thành công hàm này, bạn sẽ đăng một bức ảnh lên Cloud Storage, xem hàm của chúng ta có được gọi hay không, Vision API trả về những gì và siêu dữ liệu có được lưu trữ trong Firestore hay không.

Quay lại Cloud Storage rồi nhấp vào nhóm chúng ta đã tạo ở đầu phòng thí nghiệm:

Khi bạn chuyển đến trang thông tin chi tiết về bộ chứa, hãy nhấp vào nút Upload files để tải ảnh lên.

Trong trình đơn "hamburger" (☰), hãy chuyển đến Logging > Logs Trình khám phá.

Và thực tế là trong danh sách nhật ký, tôi có thể thấy hàm của chúng ta đã được gọi:

Nhật ký cho biết thời điểm bắt đầu và kết thúc quá trình thực thi hàm. Và ở giữa, chúng ta có thể thấy nhật ký mà chúng ta đưa vào hàm bằng các câu lệnh console.log(). Chúng ta thấy:

Thông tin chi tiết về sự kiện kích hoạt hàm của chúng ta,
Kết quả thô từ lệnh gọi Vision API,
Các nhãn được tìm thấy trong bức ảnh mà chúng tôi đã tải lên,
Thông tin về màu chủ đạo,
Liệu bức ảnh có an toàn để hiển thị hay không,
Và cuối cùng, những siêu dữ liệu đó về bức ảnh đã được lưu trữ trong Firestore.

Trong trình đơn "bánh hamburger" (☰), hãy chuyển đến phần Firestore. Trong mục con Data (hiển thị theo mặc định), bạn sẽ thấy bộ sưu tập pictures có một tài liệu mới được thêm vào, tương ứng với bức ảnh bạn vừa tải lên:

14. Dọn dẹp (Không bắt buộc)

Nếu không có ý định tiếp tục với các phòng thí nghiệm khác trong loạt bài này, bạn có thể dọn dẹp tài nguyên để tiết kiệm chi phí và trở thành một công dân đám mây tốt. Bạn có thể dọn dẹp từng tài nguyên riêng lẻ như sau.

Xoá bộ chứa:

gsutil rb gs://${BUCKET_PICTURES}

Xoá hàm:

gcloud functions delete picture-uploaded --region europe-west1 -q

Xoá bộ sưu tập Firestore bằng cách chọn Xoá bộ sưu tập trong bộ sưu tập:

Ngoài ra, bạn có thể xoá toàn bộ dự án:

gcloud projects delete ${GOOGLE_CLOUD_PROJECT}

15. Xin chúc mừng!

Xin chúc mừng! Bạn đã triển khai thành công dịch vụ mã khoá đầu tiên của dự án!

Nội dung đã đề cập

Cloud Storage
Cloud Functions
Cloud Vision API
Cloud Firestore

Các bước tiếp theo

Pic-a-daily: Lab 2 – Tạo hình thu nhỏ của ảnh lớn

Chụp ảnh hằng ngày: Phòng thí nghiệm 1 – Lưu trữ và phân tích hình ảnh (Java) Sử dụng bộ sưu tập để sắp xếp ngăn nắp các trang Lưu và phân loại nội dung dựa trên lựa chọn ưu tiên của bạn.

1. Tổng quan

Kiến thức bạn sẽ học được

2. Thiết lập và yêu cầu

Thiết lập môi trường theo tốc độ của riêng bạn

Khởi động Cloud Shell

3. Bật API

4. Tạo vùng chứa (bảng điều khiển)

Chuyển đến phần Bộ nhớ

Đặt tên cho nhóm của bạn

Chọn vị trí

Chọn lớp lưu trữ mặc định

Thiết lập quyền kiểm soát truy cập

Thiết lập chế độ bảo vệ/mã hoá

Thêm allUsers làm người xem bộ nhớ

5. Tạo vùng chứa (gsutil)

6. Kiểm thử quyền truy cập công khai vào vùng lưu trữ

7. Tạo hàm

8. Kiểm thử hàm

9. Chuẩn bị cơ sở dữ liệu

10. Cập nhật hàm

11. Khám phá chức năng

12. Triển khai hàm

13. Kiểm tra lại hàm

14. Dọn dẹp (Không bắt buộc)

15. Xin chúc mừng!

Nội dung đã đề cập

Các bước tiếp theo

Chụp ảnh hằng ngày: Phòng thí nghiệm 1 – Lưu trữ và phân tích hình ảnh (Java)