Android에서 TensorFlow Lite로 꽃 인식

1. 소개

참고: 이 Codelab을 테스트하려면 실제 기기가 필요합니다.

TensorFlow는 다목적 머신러닝 프레임워크입니다. TensorFlow는 클라우드의 클러스터 전반에서 대규모 모델을 학습시키거나 휴대전화와 같은 임베디드 시스템에서 로컬로 모델을 실행하는 데 이르기까지 어디서나 사용할 수 있습니다.

이 Codelab에서는 TensorFlow Lite를 사용하여 Android 기기에서 영상 인식 모델을 실행합니다.

Android 스튜디오 4.1 이상 설치

아직 설치하지 않았다면 TensorFlow Lite 모델을 학습시키는 동안 Android Studio 4.1 이상을 다운로드하여 설치합니다.

학습할 내용

• TensorFlow Lite Model Maker를 사용하여 자체 커스텀 이미지 분류자를 학습시키는 방법
• Android 스튜디오를 사용하여 TensorFlow Lite 모델을 가져와 CameraX를 통해 Android 앱에 맞춤 모델을 통합하는 방법
• 휴대전화에서 GPU를 사용하여 모델을 가속화하는 방법

빌드 대상

TensorFlow 영상 인식 프로그램을 실행하여 꽃을 식별하는 간단한 카메라 앱

라이선스: 무료 사용

2. Colab을 사용하여 꽃 인식기 학습시키기

모델 학습을 시작하기 전에 Android 스튜디오 4.1 이상을 다운로드하여 설치합니다.

TensorFlow Lite 전이 학습을 사용하여 꽃을 인식하도록 Keras로 분류기를 학습시키는 방법을 보여주는 Colab을 엽니다.

다음 사항을 확인하세요.

1. 학습된 모델 (model.tflite)을 다운로드함
2. 파일 이름을 FlowerModel.tflite

를 선택합니다.

일부 브라우저에서는 다운로드를 차단합니다.

파일을 다운로드하려면 Colab에 권한을 부여해야 할 수 있습니다.

3. 작업 디렉터리 설정

Git 저장소 클론

다음 명령어는 이 Codelab에 필요한 파일이 포함된 Git 저장소를 클론합니다.

git clone https://github.com/hoitab/TFLClassify.git

다음으로 방금 저장소를 클론한 디렉터리로 이동합니다. 이 Codelab의 나머지 부분에서 작업할 부분은 다음과 같습니다.

cd TFLClassify

4. Android 스켈레톤 앱 설정

Android 스튜디오 4.1 이상 설치

아직 설치하지 않았다면 Android 스튜디오 4.1 이상 설치로 이동합니다.

Android 스튜디오로 프로젝트 열기

다음 단계에 따라 Android 스튜디오로 프로젝트를 엽니다.

1. Android 스튜디오 를 엽니다. 로드가 완료되면 '기존 프로젝트 열기'를 선택합니다. 이 팝업에서 설정합니다.

2. 파일 선택기에서 작업 디렉터리의 TFLClassify/build.gradle를 선택합니다.

프로젝트에는 start 및 finish라는 두 개의 모듈이 포함되어 있습니다. 문제가 발생하면 finish 모듈에서 힌트를 참고하세요.

3. 'Gradle Sync'가 표시됩니다. gradle 래퍼 사용 여부를 묻는 팝업이 표시됩니다. '확인'을 클릭합니다.

4. 아직 활성화하지 않은 경우 휴대폰에서 개발자 모델 및 USB 디버깅을 활성화합니다. 일회성 설정입니다. 이 안내를 따르세요.
5. 프로젝트와 휴대전화가 모두 준비되면 TFL_Classify.start을 선택하고 툴바에서 실행 버튼 을 눌러 실제 기기에서 실행할 수 있습니다.

6. 이제 TensorFlow 데모가 카메라에 액세스하도록 허용합니다.

7. 휴대전화에 다음과 같이 실제 결과가 표시되는 자리에 임의의 숫자가 표시됩니다.

5. Android 앱에 TensorFlow Lite 추가

1. 왼쪽의 프로젝트 탐색기에서 start 모듈을 선택합니다.

2. start 모듈을 마우스 오른쪽 버튼으로 클릭하거나 File, New를 차례로 클릭합니다. Other > TensorFlow Lite Model

3. 이전에 커스텀 학습된 FlowerModel.tflite를 다운로드한 모델 위치를 선택합니다.

도구는 ML 모델 결합을 통해 모듈의 종속 항목을 자동으로 구성하고 Android 모듈의 build.gradle 파일에 모든 종속 항목을 자동으로 삽입합니다.

4. Finish 아이콘을 클릭합니다.
5. 끝부분에 다음이 표시됩니다. FlowerModel.tflite를 성공적으로 가져왔으며 입력 / 출력과 시작하는 데 도움이 되는 샘플 코드 등 모델에 관한 대략적인 정보를 표시합니다.

6. 선택사항: 모든 할 일 목록 체크아웃

TODO 목록을 사용하면 Codelab을 업데이트해야 하는 정확한 위치로 쉽게 이동할 수 있습니다. Android 프로젝트에서 이 기능을 사용하여 향후 작업을 떠올릴 수도 있습니다. 코드 주석을 사용하여 todo 항목을 추가하고 키워드 TODO를 입력할 수 있습니다. TODO 목록에 액세스하려면 다음 안내를 따르세요.

1. 무엇을 할 것인지 확인하는 좋은 방법은 TODO 목록을 확인하는 것입니다. 이렇게 하려면 상단 메뉴 바에서 View > Tool Windows <ph type="x-smartling-placeholder">TODO</ph>

2. 기본적으로 모든 모듈의 모든 TODO를 나열하므로 약간 혼란스럽습니다. TODO 패널 측면에 있는 그룹화 기준 버튼을 클릭하고 Modules를 선택하면 시작 TODO만 정렬할 수 있습니다.

3. 시작 모듈 아래의 모든 항목을 펼칩니다.

7. TensorFlow Lite로 커스텀 모델 실행

1. TODO 목록에서 TODO 1을 클릭하거나 MainActivity.kt 파일을 열고 TODO 1을 찾은 다음 다음 줄을 추가하여 모델을 초기화합니다.

private class ImageAnalyzer(ctx: Context, private val listener: RecognitionListener) :
        ImageAnalysis.Analyzer {

  ...
  // TODO 1: Add class variable TensorFlow Lite Model
  private val flowerModel = FlowerModel.newInstance(ctx)

  ...
}

2. CameraX Analyzer의 Analyzer 메서드 내에서 카메라 입력 ImageProxy를 Bitmap로 변환하고 추론 프로세스를 위한 TensorImage 객체를 만들어야 합니다.

현재 도구에서는 Bitmap 형식으로 이미지를 입력해야 합니다.

• 즉, 입력이 ImageProxy가 아니라 파일인 경우 fromBitmap 메서드에 Bitmap 객체로 직접 제공할 수 있습니다.
• ImageProxy가 Bitmap로 변환되는 방법에 관심이 있다면 toBitmap 메서드와 YuvToRgbConverter를 확인하세요. 팀에서 TensorImage를 위한 ImageProxy 지원을 진행 중이므로 이러한 메서드의 필요성은 일시적일 것으로 예상됩니다.

override fun analyze(imageProxy: ImageProxy) {
  ...
  // TODO 2: Convert Image to Bitmap then to TensorImage
  val tfImage = TensorImage.fromBitmap(toBitmap(imageProxy))
  ...
}

3. 이미지를 처리하고 결과에 대해 다음 작업을 실행합니다.

• 확률이 가장 높은 score 속성에서 결과를 확률에 따라 내림차순으로 정렬합니다.
• 상수 MAX_RESULT_DISPLAY로 정의된 상위 k개의 결과를 가져옵니다. 필요에 따라 이 변수의 값을 변경하여 결과를 더 많이 또는 더 적게 얻을 수 있습니다.

override fun analyze(imageProxy: ImageProxy) {
  ...
  // TODO 3: Process the image using the trained model, sort and pick out the top results
  val outputs = flowerModel.process(tfImage)
      .probabilityAsCategoryList.apply {
          sortByDescending { it.score } // Sort with highest confidence first
      }.take(MAX_RESULT_DISPLAY) // take the top results

  ...
}

4. 정렬 및 필터링된 결과를 데이터 결합을 통해 RecyclerView에서 사용할 수 있는 데이터 객체 Recognition로 변환합니다.

override fun analyze(imageProxy: ImageProxy) {
  ...
  // TODO 4: Converting the top probability items into a list of recognitions
  for (output in outputs) {
      items.add(Recognition(output.label, output.score))
  }
  ...
}

5. 이전에 표시된 가짜 결과를 생성하는 데 도움이 되는 다음 행을 주석 처리하거나 삭제합니다.

// START - Placeholder code at the start of the codelab. Comment this block of code out.
for (i in 0..MAX_RESULT_DISPLAY-1){
    items.add(Recognition("Fake label $i", Random.nextFloat()))
}
// END - Placeholder code at the start of the codelab. Comment this block of code out.

8. TFL_Classify.start를 선택하고 툴바에서 실행 버튼 을 눌러 실제 기기에서 앱을 실행합니다.

9. 휴대전화에 다음과 같이 실제 결과가 표시되는 자리에 임의의 숫자가 표시됩니다.

8. 선택사항: GPU 위임으로 추론 가속화

TensorFlow Lite는 휴대기기에서 추론 속도를 높이기 위해 여러 하드웨어 가속기를 지원합니다. GPU는 TensorFlow Lite가 대리자 메커니즘을 통해 활용할 수 있는 가속기 중 하나이며 매우 사용하기 쉽습니다.

1. start 모듈 아래에서 build.gradle을 열거나 TODO 목록에서 TODO 5를 클릭하여 다음 종속 항목을 추가할 수 있습니다.

// TODO 5: Optional GPU Delegates    
implementation 'org.tensorflow:tensorflow-lite-gpu:2.3.0'

참고: 이 Codelab에서는 이 가져오기를 수동으로 추가하지만 프로젝트에서 이 작업을 실행할 때는 가져오기 화면의 두 번째 상자를 선택하기만 하면 GPU 가속 종속 항목을 추가할 수 있습니다.

2. MainActivity.kt 파일로 돌아가거나 TODO 목록에서 TODO 6을 클릭합니다. flowerModel의 간단한 시작을 다음과 같이 바꿉니다. GPU 호환성 목록의 인스턴스를 가져오고 GPU가 나열된 호환 GPU 중 하나인지에 따라 GPU를 초기화합니다. 그 외의 경우에는 대신 4개의 CPU 스레드를 시작하여 모델을 실행합니다.

private class ImageAnalyzer(ctx: Context, private val listener: RecognitionListener) :
        ImageAnalysis.Analyzer {
  ...

  // TODO 1: Add class variable TensorFlow Lite Model
  // Initializing the flowerModel by lazy so that it runs in the same thread when the process
  // method is called.
  private val flowerModel: FlowerModel by lazy{

    // TODO 6. Optional GPU acceleration
    val compatList = CompatibilityList()

    val options = if(compatList.isDelegateSupportedOnThisDevice){
        Log.d(TAG, "This device is GPU Compatible ")
        Model.Options.Builder().setDevice(Model.Device.GPU).build()
    } else {
        Log.d(TAG, "This device is GPU Incompatible ")
        Model.Options.Builder().setNumThreads(4).build()
    }

  ...
}

참고: Model 객체가 여러 개 있습니다. 가져오기에서 org.tensorflow.lite.support.model.Model 객체를 선택하세요.

3. 메서드 입력에 options를 추가하여 이를 사용하도록 모델 이니셜라이저를 변경합니다.

private class ImageAnalyzer(ctx: Context, private val listener: RecognitionListener) :
        ImageAnalysis.Analyzer {

  private val flowerModel: FlowerModel by lazy{

    ...

    // Initialize the Flower Model
    FlowerModel.newInstance(ctx, options)
  }
}

10. TFL_Classify.start를 선택하고 툴바에서 실행 버튼 을 눌러 실제 기기에서 앱을 실행합니다.

중형/고급형 휴대기기에서 GPU가 CPU보다 훨씬 빠릅니다. 저사양 기기는 GPU가 더 느리기 때문에 표시되는 속도에 차이가 있을 수 있습니다.

9. 다음 단계

자세한 내용은 다음 링크를 참고하세요.

• tfhub.dev의 ML 모델 결합과 호환되는 다른 TFLite 모델 사용해 보기
• tensorflow.org 및 코드 저장소의 문서에서 TFLite에 관해 자세히 알아보세요.
• 음성 핫워드 감지기 및 스마트 답장의 기기 내 버전을 비롯한 다른 TFLite 선행 학습된 모델 사용해 보기
• 시작하기 문서를 통해 TensorFlow의 일반적인 내용을 자세히 알아보세요.