此页面由 Cloud Translation API 翻译。

使用机器学习套件检测图片中的对象：Android

1. 准备工作

机器学习套件是一个移动 SDK，它将 Google 设备端机器学习专业知识引入 Android 和 iOS 应用。您可以使用功能强大且易于使用的 Vision API 和 Natural Language API 来解决应用中的常见挑战，或打造全新的用户体验。所有这些功能均由 Google 一流的机器学习模型提供支持，并免费提供。

机器学习套件的 API 均在设备端运行，例如在需要处理实时相机数据流等情况下，可实现实时用例。这也意味着，该功能可离线使用。

此 Codelab 将逐步引导您将指定图片的对象检测和跟踪 (ODT) 功能添加到现有 Android 应用中。请注意，此 Codelab 通过一些快捷方式重点介绍机器学习套件 ODT 用法。

构建内容

在此 Codelab 中，您将使用机器学习套件构建一个 Android 应用。您的应用将使用机器学习套件的对象检测和跟踪 API 来检测给定图片中的对象。最后，您应该会看到与右侧图片类似的内容。

学习内容

如何将机器学习套件 SDK 集成到您的 Android 应用中
机器学习套件对象检测和跟踪 API

所需条件

最新版本的 Android Studio (v4.1.2+)
Android Studio 模拟器或实体 Android 设备
示例代码
使用 Kotlin 进行 Android 开发的基础知识

此 Codelab 重点介绍机器学习套件。对于不相关的概念，我们仅会略作介绍，但是会提供相应代码块供您复制和粘贴。

2. 进行设置

下载代码

点击下面的链接可下载本 Codelab 的所有代码：

解压下载的 ZIP 文件。此操作会解压缩一个根文件夹 (mlkit-android-main)，其中包含您需要的所有资源。对于此 Codelab，您只需要 object-detection 子目录中的源代码。

mlkit-android 代码库中的对象检测子目录包含两个目录：

starter - 您在此 Codelab 中用作构建基础的起始代码。
final - 已完成的示例应用的完整代码。

3. 将机器学习套件对象检测和跟踪 API 添加到项目中

将应用导入 Android Studio

首先，将起始应用导入 Android Studio。

打开 Android Studio，选择 Import Project (Gradle, Eclipse ADT, etc.)，然后从您之前下载的源代码中选择 starter 文件夹。

7c0f27882a2698ac

添加机器学习套件对象检测和跟踪的依赖项

借助机器学习套件依赖项，您可以将机器学习套件 ODT SDK 集成到应用中。将以下代码行添加到项目的 app/build.gradle 文件的末尾：

build.gradle

dependencies {
  // ...
  implementation 'com.google.mlkit:object-detection:16.2.4'
}

将项目与 Gradle 文件同步

为确保所有依赖项都对您的应用可用，此时应将项目与 Gradle 文件同步。

从 Android Studio 工具栏中选择 Sync Project with Gradle Files ( )。

（如果此按钮处于停用状态，请确保仅导入 starter/app/build.gradle ，而不是整个代码库。）

4. 运行起始应用

现在，您已将项目导入 Android Studio 并为机器学习套件对象检测和跟踪添加了依赖项，接下来可以首次运行应用了。

通过 USB 将 Android 设备连接到主机，或启动 Android Studio 模拟器，然后点击 Android Studio 工具栏中的 Run ( )。

运行和探索应用

应用应在 Android 设备上启动。它包含一些样板代码，可让您拍摄照片，或选择预设图片，并将其馈送到您将在此 Codelab 中构建的对象检测和跟踪流水线。在编写代码之前，让我们先了解一下该应用。

首先，底部有一个 Button ( )，用于：

打开集成到设备/模拟器中的相机应用
在相机应用中拍摄照片
在起始应用中接收拍摄的图片
显示图片

试用拍照按钮，按照提示拍照，接受照片，并观察起始应用中显示的照片。

重复几次，看看效果如何：

9ec541980dbe2d31 8312dde41425ba4b

其次，有 3 张预设图片可供选择。如果您在 Android 模拟器上运行，稍后可以使用这些映像测试对象检测代码。

从 3 张预设图片中选择一张图片。看看图片是否显示在放大的视图中：

5. 添加设备端对象检测

在此步骤中，您将向起始应用添加用于检测图片中的对象的功能。正如您在上一步中看到的，起始应用包含样板代码，可使用设备上的相机应用拍摄照片。应用中还有 3 张预设图片，如果您是在 Android 模拟器上运行此 Codelab，则可以尝试使用对象检测功能。

选择图片后（无论是从预设图片中选择的图片，还是使用相机应用拍照），样板代码都会将该图片解码为 Bitmap 实例，在屏幕上显示该图片，并针对该图片调用 runObjectDetection 方法。

在此步骤中，您将向 runObjectDetection 方法添加代码以执行对象检测！

设置设备端对象检测并针对图片运行

使用 3 个 API 只需 3 个简单步骤，即可设置机器学习套件 ODT：

准备图片：InputImage
创建检测器对象：ObjectDetection.getClient(options)
关联上面的 2 个对象：process(image)

您可以在 MainActivity.kt 文件中的函数 runObjectDetection(bitmap: Bitmap) 内实现这些目标。

/**
 * ML Kit Object Detection Function
 */
private fun runObjectDetection(bitmap: Bitmap) {
}

现在，该函数为空。继续执行后续步骤来实现机器学习套件 ODT！在此过程中，Android Studio 将提示您添加必要的 import 语句：

com.google.mlkit.vision.common.InputImage
com.google.mlkit.vision.objects.ObjectDetection
com.google.mlkit.vision.objects.defaults.ObjectDetectorOptions

第 1 步：创建 InputImage

机器学习套件提供了一个简单的 API，可用于根据 Bitmap 创建 InputImage。然后，您可以将 InputImage 馈送到机器学习套件 API。

// Step 1: create ML Kit's InputImage object
val image = InputImage.fromBitmap(bitmap, 0)

将上述代码添加到 runObjectDetection(bitmap:Bitmap) 的顶部。

第 2 步：创建检测器实例

机器学习套件遵循构建器设计模式。您将配置传递给构建器，然后从中获取检测器。有 3 个配置选项（本 Codelab 使用粗体选项）：

检测器模式（单图或信息流）
检测模式（单个对象检测或多个 对象检测）
分类模式（开启或关闭）

此 Codelab 适用于单张图片 - 多对象检测和分类。立即添加：

// Step 2: acquire detector object
val options = ObjectDetectorOptions.Builder()
   .setDetectorMode(ObjectDetectorOptions.SINGLE_IMAGE_MODE)
   .enableMultipleObjects()
   .enableClassification()
   .build()
val objectDetector = ObjectDetection.getClient(options)

第 3 步：将图片馈送到检测器

对象检测和分类采用异步处理方式：

您将图片发送到检测器（通过 process()）。
检测器非常费力。
检测器通过回调将结果报告给您。

以下代码就可以做到这一点（复制并附加到 fun runObjectDetection(bitmap:Bitmap)): 内的现有代码中）

// Step 3: feed given image to detector and setup callback
objectDetector.process(image)
   .addOnSuccessListener {
       // Task completed successfully
        debugPrint(it)
   }
   .addOnFailureListener {
       // Task failed with an exception
       Log.e(TAG, it.message.toString())
   }

完成后，检测器会通知您：

检测到的对象的总数。用以下描述描述检测到的每个对象：
trackingId：用于跨帧跟踪的整数（不在此 Codelab 中使用）。
boundingBox：对象的边界框。
labels: 所检测到的对象的标签列表（仅限分类启用时）：
index（获取此标签的索引）
text（获取此标签的文本，包括“时尚商品”“食品”“家居用品”“地点”“植物”）
confidence（介于 0.0 和 1.0 之间的浮点数，若为 1.0，则表示 100%）

您可能已经注意到，代码会使用 debugPrint() 对检测到的结果执行 printf 类处理。

将它添加到 MainActivity 类中：

private fun debugPrint(detectedObjects: List<DetectedObject>) {
   detectedObjects.forEachIndexed { index, detectedObject ->
       val box = detectedObject.boundingBox

       Log.d(TAG, "Detected object: $index")
       Log.d(TAG, " trackingId: ${detectedObject.trackingId}")
       Log.d(TAG, " boundingBox: (${box.left}, ${box.top}) - (${box.right},${box.bottom})")
       detectedObject.labels.forEach {
           Log.d(TAG, " categories: ${it.text}")
           Log.d(TAG, " confidence: ${it.confidence}")
       }
   }
}

现在，您可以接受图片进行检测了！

我们来点击 Android Studio 工具栏中的 Run ( ) 来运行此 Codelab。尝试选择预设图像或拍照，然后查看 IDE 中的 logcat 窗口( )。

您应该会看到如下所示的内容：

D/MLKit Object Detection: Detected object: 0
D/MLKit Object Detection:  trackingId: null
D/MLKit Object Detection:  boundingBox: (481, 2021) - (2426,3376)
D/MLKit Object Detection:  categories: Food
D/MLKit Object Detection:  confidence: 0.90234375
D/MLKit Object Detection: Detected object: 1
D/MLKit Object Detection:  trackingId: null
D/MLKit Object Detection:  boundingBox: (2639, 2633) - (3058,3577)
D/MLKit Object Detection: Detected object: 2
D/MLKit Object Detection:  trackingId: null
D/MLKit Object Detection:  boundingBox: (3, 1816) - (615,2597)
D/MLKit Object Detection:  categories: Home good
D/MLKit Object Detection:  confidence: 0.75390625

...这意味着检测器发现了 3 个对象：

类别为食品和家居用品。
未针对第二个返回任何类别，因为它是未知类别。
否 trackingId（因为这是单图片检测模式）。
boundingBox 矩形内的位置（例如 (481, 2021) - (2426, 3376)）
检测器非常确信第 1 个是食物（90% 置信度—它是沙拉）。

从技术上讲，您只需要有让机器学习套件对象检测功能正常运行的内容，现在就能完成所有操作！恭喜！

在界面方面，您仍然处于起始阶段，但可以利用在界面中检测到的结果（例如绘制边界框）来打造更好的体验：让我们进入下一步，对检测到的结果进行后处理！

6. 对检测结果进行后处理

在前面的步骤中，您将检测的结果输出到 logcat：简单快捷。

在本部分中，您将在图片中使用结果：

在图片上绘制边界框
在边界框内绘制类别名称和置信度

了解可视化实用程序

此 Codelab 中提供了一些样板代码，可帮助您直观呈现检测结果。利用以下实用程序简化可视化代码：

data class BoxWithText(val box: Rect, val text: String) 这是一个数据类，用于存储对象检测结果以进行可视化。box 是对象所在的边界框，text 是与对象的边界框一起显示的检测结果字符串。
fun drawDetectionResult(bitmap: Bitmap, detectionResults: List<BoxWithText>): Bitmap 此方法会在输入 bitmap 上绘制 detectionResults 中的对象检测结果，并返回修改后的对象检测结果。

以下是 drawDetectionResult 实用程序方法的输出示例：

直观呈现机器学习套件检测结果

使用可视化实用程序在输入图片上绘制机器学习套件对象检测结果。

转到您调用 debugPrint() 的位置，并在其下方添加以下代码段：

// Parse ML Kit's DetectedObject and create corresponding visualization data
val detectedObjects = it.map { obj ->
    var text = "Unknown"

    // We will show the top confident detection result if it exist
    if (obj.labels.isNotEmpty()) {
        val firstLabel = obj.labels.first()
        text = "${firstLabel.text}, ${firstLabel.confidence.times(100).toInt()}%"
    }
    BoxWithText(obj.boundingBox, text)
}

// Draw the detection result on the input bitmap
val visualizedResult = drawDetectionResult(bitmap, detectedObjects)

// Show the detection result on the app screen
runOnUiThread {
    inputImageView.setImageBitmap(visualizedResult)
}

首先，解析机器学习套件的 DetectedObject 并创建 BoxWithText 对象列表，以显示可视化结果。
然后，使用 drawDetectionResult 实用程序方法在输入图片上绘制检测结果，并将其显示在屏幕上。

开始运行

现在，点击 Android Studio 工具栏中的 Run ( )。

应用加载后，按下带有相机图标的 Button，将相机对准某个物体，拍摄照片，接受照片（在相机应用中），或者轻松点按任何预设图片。您应该会看到检测结果；再次按下 Button 或选择其他图像重复几次，即可体验最新的机器学习套件 ODT！

7. 恭喜！

您已使用机器学习套件向应用添加了对象检测功能：

使用 3 个 API 完成 3 个步骤
创建输入图片
创建检测器
将图片发送到检测器

您只需完成这些操作即可启动并运行！

在继续进行的过程中，您可能需要增强模型：如您所见，默认模型只能识别 5 个类别，模型甚至不知道刀、叉和瓶。请查看“设备端机器学习 - 对象检测”学习在线课程中的另一个 Codelab，了解如何训练自定义模型。

所学内容

如何将机器学习套件的对象检测和跟踪功能添加到您的 Android 应用中
如何使用机器学习套件中的设备端对象检测和跟踪功能来检测图片中的对象

后续步骤

使用机器学习套件 ODT 对更多图片和实时视频进行更深入的探索，以体验检测和分类准确率和性能
查看设备端机器学习 - 对象检测开发者在线课程，了解如何训练自定义模型
在您自己的 Android 应用中运用机器学习套件 ODT

了解详情

https://developers.google.com/ml-kit/vision/object-detection