1. Introdução
O Kit de ML é um SDK para dispositivos móveis que leva a experiência em aprendizado de máquina do Google para apps Android em um pacote eficiente e fácil de usar. Não importa se você é novo ou experiente em aprendizado de máquina, é possível implementar a funcionalidade necessária com apenas algumas linhas de código. Não é preciso ter um conhecimento profundo de redes neurais ou otimização de modelos para começar.
Como funciona?
O Kit de ML facilita a aplicação de técnicas de ML nos seus apps ao reunir as tecnologias de ML do Google, como Mobile Vision e TensorFlow Lite, em um único SDK. Seja para aproveitar os recursos em tempo real dos modelos no dispositivo da Mobile Vision ou a flexibilidade dos modelos personalizados do TensorFlow Lite, o Kit de ML permite isso com apenas algumas linhas de código.
Este codelab vai orientar você em etapas simples para adicionar reconhecimento de texto, identificação de idioma e tradução do feed da câmera em tempo real ao seu app Android. Ele também vai destacar as práticas recomendadas para usar a CameraX com as APIs do Kit de ML.
O que você criará
Neste codelab, você vai criar um app Android com o ML Kit. O app vai usar a API Text Recognition no dispositivo do Kit de ML para reconhecer texto do feed da câmera em tempo real. Ele vai usar a API ML Kit Language Identification para identificar o idioma do texto reconhecido. Por fim, o app vai traduzir esse texto para qualquer idioma escolhido entre 59 opções usando a API de tradução do Kit de ML.
No final, você vai ver algo parecido com a imagem abaixo.
O que você vai aprender
- Como usar o SDK do Kit de ML para adicionar recursos de aprendizado de máquina a qualquer app Android.
- Reconhecimento de texto do Kit de ML, identificação de idiomas, APIs Translation e os respectivos recursos.
- Como usar a biblioteca CameraX com as APIs do Kit de ML.
O que é necessário
- Uma versão recente do Android Studio (v4.0 ou mais recente)
- Um dispositivo Android físico
- Código de amostra
- Conhecimento básico de desenvolvimento para Android em Kotlin
Este codelab é focado no Kit de ML. Conceitos não relevantes e blocos de código já foram fornecidos e implementados para você.
2. Etapas da configuração
Fazer o download do código
Clique no link abaixo para fazer o download de todo o código para este codelab:
Descompacte o arquivo ZIP transferido por download. Isso vai descompactar uma pasta raiz (mlkit-android) com todos os recursos necessários. Para este codelab, você só vai precisar dos recursos no subdiretório translate.
O subdiretório translate no repositório mlkit-android contém o seguinte diretório:
starter: código inicial que você vai usar como base neste codelab.
3. Importar o projeto e verificar as dependências do Kit de ML e da CameraX
Importe o projeto inicial para o Android Studio. No arquivo app/build.gradle, verifique se as dependências necessárias do Kit de ML e da CameraX estão incluídas:
// CameraX dependencies
def camerax_version = "1.0.0-beta05"
implementation "androidx.camera:camera-core:${camerax_version}"
implementation "androidx.camera:camera-camera2:${camerax_version}"
implementation "androidx.camera:camera-lifecycle:${camerax_version}"
implementation "androidx.camera:camera-view:1.0.0-alpha12"
// ML Kit dependencies
implementation 'com.google.android.gms:play-services-mlkit-text-recognition:16.0.0'
implementation 'com.google.mlkit:language-id:16.0.0'
implementation 'com.google.mlkit:translate:16.0.0'
4. Executar o app inicial
Agora que você importou o projeto para o Android Studio e verificou as dependências do ML Kit, está tudo pronto para executar o app pela primeira vez. Clique em Run ( 
) na barra de ferramentas do Android Studio.
O app será iniciado no seu dispositivo, e você poderá apontar a câmera para vários textos para conferir um feed ao vivo, mas a funcionalidade de reconhecimento de texto ainda não foi implementada.
5. Adicionar reconhecimento de texto
Nesta etapa, vamos adicionar uma funcionalidade ao app para reconhecer texto da câmera de vídeo.
Criar uma instância do detector de texto do Kit de ML
Substitua o TODO na parte de cima de TextAnalyzer.kt para instanciar TextRecognition. É assim que você cria um identificador para que o reconhecedor de texto use nas etapas posteriores. Também precisamos adicionar o detector como um observador do ciclo de vida para fechá-lo corretamente quando ele não for mais necessário.
TextAnalyzer.kt
private val detector = TextRecognition.getClient(TextRecognizerOptions.DEFAULT_OPTIONS)
init {
lifecycle.addObserver(detector)
}
Executar o reconhecimento de texto em uma imagem de entrada (criada com buffer da câmera)
A biblioteca CameraX fornece um stream de imagens da câmera pronto para análise. Substitua o método recognizeText() na classe TextAnalyzer para usar o reconhecimento de texto do Kit de ML em cada frame de imagem.
TextAnalyzer.kt
private fun recognizeText(
image: InputImage
): Task<Text> {
// Pass image to an ML Kit Vision API
return detector.process(image)
.addOnSuccessListener { text ->
// Task completed successfully
result.value = text.text
}
.addOnFailureListener { exception ->
// Task failed with an exception
Log.e(TAG, "Text recognition error", exception)
val message = getErrorMessage(exception)
message?.let {
Toast.makeText(context, message, Toast.LENGTH_SHORT).show()
}
}
}
A linha a seguir mostra como chamamos o método acima para começar a realizar o reconhecimento de texto. Adicione a seguinte linha ao final do método analyze(). É necessário chamar imageProxy.close quando a análise for concluída na imagem. Caso contrário, o feed da câmera em tempo real não vai poder processar mais imagens para análise.
TextAnalyzer.kt
recognizeText(InputImage.fromBitmap(croppedBitmap, 0)).addOnCompleteListener {
imageProxy.close()
}
Executar o app no seu dispositivo
Agora clique em Run ( ) na barra de ferramentas do Android Studio. Depois que o app for carregado, ele vai começar a reconhecer o texto da câmera em tempo real. Aponte a câmera para qualquer texto para confirmar. Se o app não reconhecer nenhum texto, tente "reiniciar" a detecção apontando a câmera para um espaço em branco antes de apontar para o texto.
6. Adicionar identificação de idioma
Criar uma instância do identificador de idioma do Kit de ML
MainViewModel.kt está localizado na pasta principal. Acesse o arquivo e adicione o seguinte campo a MainViewModel.kt. É assim que você consegue um identificador de idioma para usar na próxima etapa.
MainViewModel.kt
private val languageIdentifier = LanguageIdentification.getClient(TextRecognizerOptions.DEFAULT_OPTIONS)
Além disso, você também precisa garantir que os clientes sejam encerrados corretamente quando não forem mais necessários. Para fazer isso, substitua o método onCleared() da ViewModel.
MainViewModel.kt
override fun onCleared() {
languageIdentifier.close()
translators.evictAll()
}
Executar a identificação de idioma no dispositivo no texto detectado
Use o Identificador de idioma do Kit de ML para saber o idioma do texto detectado na imagem.
Substitua o TODO na definição do campo sourceLang em MainViewModel.kt pelo código abaixo. Esse snippet chama o método de identificação de idioma e atribui o resultado se ele não estiver indefinido ("und"). Um idioma indefinido significa que a API não conseguiu identificar o idioma com base na lista de idiomas compatíveis.
MainViewModel.kt
val sourceLang = Transformations.switchMap(sourceText) { text ->
val result = MutableLiveData<Language>()
languageIdentifier.identifyLanguage(text)
.addOnSuccessListener { languageCode ->
if (languageCode != "und")
result.value = Language(languageCode)
}
result
}
Executar o app no seu dispositivo
Agora clique em Run ( ) na barra de ferramentas do Android Studio. Depois que o app for carregado, ele vai começar a reconhecer o texto da câmera e identificar o idioma do texto em tempo real. Aponte a câmera para qualquer texto para confirmar.
7. Adicionar tradução
Substitua a função translate() em MainViewModel.kt pelo código a seguir. Essa função recebe o valor do idioma de origem, o valor do idioma de destino e o texto de origem e realiza a tradução. Se o modelo de idioma de destino escolhido ainda não foi transferido para o dispositivo, chamamos downloadModelIfNeeded() para fazer isso e prosseguimos com a tradução.
MainViewModel.kt
private fun translate(): Task<String> {
val text = sourceText.value
val source = sourceLang.value
val target = targetLang.value
if (modelDownloading.value != false || translating.value != false) {
return Tasks.forCanceled()
}
if (source == null || target == null || text == null || text.isEmpty()) {
return Tasks.forResult("")
}
val sourceLangCode = TranslateLanguage.fromLanguageTag(source.code)
val targetLangCode = TranslateLanguage.fromLanguageTag(target.code)
if (sourceLangCode == null || targetLangCode == null) {
return Tasks.forCanceled()
}
val options = TranslatorOptions.Builder()
.setSourceLanguage(sourceLangCode)
.setTargetLanguage(targetLangCode)
.build()
val translator = translators[options]
modelDownloading.setValue(true)
// Register watchdog to unblock long running downloads
Handler().postDelayed({ modelDownloading.setValue(false) }, 15000)
modelDownloadTask = translator.downloadModelIfNeeded().addOnCompleteListener {
modelDownloading.setValue(false)
}
translating.value = true
return modelDownloadTask.onSuccessTask {
translator.translate(text)
}.addOnCompleteListener {
translating.value = false
}
}
Executar o app no simulador
Agora clique em Run ( ) na barra de ferramentas do Android Studio. Quando o app for carregado, ele vai ficar parecido com a imagem em movimento abaixo, mostrando o reconhecimento de texto e os resultados de idioma identificados, além do texto traduzido para o idioma escolhido. Você pode escolher qualquer um dos 59 idiomas.
8. Parabéns!
Parabéns! Você acabou de adicionar reconhecimento de texto, identificação de idioma e tradução no dispositivo ao seu app usando o Kit de ML. Agora você pode reconhecer o texto e o idioma dele no feed ao vivo da câmera e traduzir esse texto para o idioma que você escolher, tudo em tempo real.
O que vimos
- Como adicionar o Kit de ML ao seu app Android
- Como usar o reconhecimento de texto no dispositivo no Kit de ML para reconhecer texto em imagens
- Como usar a identificação de idioma no dispositivo no Kit de ML para identificar o idioma do texto
- Como usar a tradução no dispositivo no Kit de ML para traduzir texto dinamicamente para 59 idiomas
- Como usar o CameraX com as APIs do Kit de ML.
Próximas etapas
- Use o Kit de ML e o CameraX no seu próprio app Android.