1. Introduzione
ML Kit è un SDK mobile che offre le competenze di machine learning di Google alle app per Android e iOS in un pacchetto potente, ma facile da utilizzare. Che tu abbia esperienza o meno con il machine learning, puoi implementare facilmente la funzionalità di cui hai bisogno in poche righe di codice. Per iniziare non è necessaria una conoscenza approfondita delle reti neurali o dell'ottimizzazione dei modelli.
Se riscontri problemi (bug nel codice, errori grammaticali, formulazioni poco chiare e così via) durante l'utilizzo di questo codelab, segnalali tramite il link Segnala un errore nell'angolo in basso a sinistra del codelab.
Come funziona?
ML Kit semplifica l'applicazione delle tecniche di ML nelle tue app combinando in un unico SDK le tecnologie di ML di Google, come Mobile Vision e TensorFlow Lite. Che tu abbia bisogno delle funzionalità in tempo reale dei modelli on-device di Mobile Vision o della flessibilità dei modelli TensorFlow Lite personalizzati, ML Kit è la soluzione che fa per te.
Questo codelab ti guiderà nella creazione della tua app per Android in grado di rilevare automaticamente il testo e i tratti del viso in un'immagine.
Che cosa creerai
In questo codelab, creerai un'app per Android con ML Kit. La tua app sarà in grado di:
|
|
Cosa imparerai a fare
- Come utilizzare l'SDK ML Kit per aggiungere facilmente funzionalità di machine learning avanzate come il riconoscimento del testo e il rilevamento dei tratti del viso
Che cosa ti serve
- Una versione recente di Android Studio (v3.0 o successiva)
- L'emulatore Android Studio o un dispositivo Android fisico
- Il codice di esempio
- Conoscenza di base dello sviluppo di Android in Java
- Conoscenza di base dei modelli di machine learning
Questo codelab è incentrato su ML Kit. Concetti e blocchi di codice non pertinenti sono trattati solo superficialmente e sono forniti solo per operazioni di copia e incolla.
2. Preparazione
Scarica il codice
Fai clic sul link seguente per scaricare tutto il codice di questo codelab:
Apri il file ZIP scaricato. Verrà scompattata una cartella principale (mlkit-android-master) con tutte le risorse necessarie. Per questo codelab, ti serviranno solo le risorse nella sottodirectory vision.
La sottodirectory vision nel repository mlkit-android-master contiene due directory:
starter: il codice di avvio su cui lavorare in questo codelab.- final: codice completo per l'app di esempio completata.
3. Controlla le dipendenze di ML Kit
Verificare le dipendenze per ML Kit
Le seguenti righe dovrebbero essere già aggiunte alla fine del file build.gradle nella directory app del progetto (controlla per confermare):
build.gradle
dependencies {
// Face features
implementation 'com.google.mlkit:face-detection:16.0.0'
// Text features
implementation 'com.google.android.gms:play-services-mlkit-text-recognition:16.0.0'
}
Queste sono le dipendenze specifiche di ML Kit necessarie per implementare le funzionalità in questo codelab.
4. Esegui l'app di avvio
Ora che hai importato il progetto in Android Studio e controllato le dipendenze per ML Kit, puoi eseguire l'app per la prima volta. Avvia l'emulatore Android Studio e fai clic su Esegui ( 
) nella barra degli strumenti di Android Studio.
L'app dovrebbe avviarsi sull'emulatore. A questo punto, dovresti vedere un layout di base con un campo a discesa che ti consente di scegliere tra tre immagini. Nella sezione successiva aggiungerai il riconoscimento del testo alla tua app per identificare il testo nelle immagini.
5. Aggiungere il riconoscimento del testo sul dispositivo
In questo passaggio aggiungeremo alla tua app la funzionalità di riconoscimento del testo nelle immagini.
Configurare ed eseguire il riconoscimento del testo sul dispositivo su un'immagine
Aggiungi quanto segue al metodo runTextRecognition della classe MainActivity:
MainActivity.java
private void runTextRecognition() {
InputImage image = InputImage.fromBitmap(mSelectedImage, 0);
TextRecognizer recognizer = TextRecognition.getClient();
mTextButton.setEnabled(false);
recognizer.process(image)
.addOnSuccessListener(
new OnSuccessListener<Text>() {
@Override
public void onSuccess(Text texts) {
mTextButton.setEnabled(true);
processTextRecognitionResult(texts);
}
})
.addOnFailureListener(
new OnFailureListener() {
@Override
public void onFailure(@NonNull Exception e) {
// Task failed with an exception
mTextButton.setEnabled(true);
e.printStackTrace();
}
});
}
Il codice riportato sopra configura il rilevatore di riconoscimento del testo e chiama la funzione processTextRecognitionResult con la risposta.
Elaborare la risposta del riconoscimento del testo
Aggiungi il seguente codice a processTextRecognitionResult nella classe MainActivity per analizzare i risultati e visualizzarli nella tua app.
MainActivity.java
private void processTextRecognitionResult(Text texts) {
List<Text.TextBlock> blocks = texts.getTextBlocks();
if (blocks.size() == 0) {
showToast("No text found");
return;
}
mGraphicOverlay.clear();
for (int i = 0; i < blocks.size(); i++) {
List<Text.Line> lines = blocks.get(i).getLines();
for (int j = 0; j < lines.size(); j++) {
List<Text.Element> elements = lines.get(j).getElements();
for (int k = 0; k < elements.size(); k++) {
Graphic textGraphic = new TextGraphic(mGraphicOverlay, elements.get(k));
mGraphicOverlay.add(textGraphic);
}
}
}
}
Eseguire l'app sull'emulatore
Ora fai clic su Esegui ( ) nella barra degli strumenti di Android Studio. Una volta caricata l'app, assicurati che sia selezionata l'opzione Test Image 1(Text) nel campo a discesa e fai clic sul pulsante FIND TEXT.
L'app ora dovrebbe avere l'aspetto dell'immagine riportata di seguito, con i risultati del riconoscimento del testo e riquadri di delimitazione sovrapposti all'immagine originale.
Foto: Kai Schreiber / Wikimedia Commons / CC BY-SA 2.0
Congratulazioni, hai appena aggiunto il riconoscimento del testo on-device alla tua app utilizzando ML Kit. Il riconoscimento del testo sul dispositivo è ideale per molti casi d'uso, in quanto funziona anche quando l'app non ha connettività a internet ed è abbastanza veloce da utilizzare su immagini fisse e fotogrammi di video in diretta.
6. Aggiungere il rilevamento del contorno del viso sul dispositivo
In questo passaggio aggiungeremo alla tua app la funzionalità di riconoscimento dei contorni dei volti nelle immagini.
Configurare ed eseguire il rilevamento del contorno del viso sul dispositivo su un'immagine
Aggiungi quanto segue al metodo runFaceContourDetection della classe MainActivity:
MainActivity.java
private void runFaceContourDetection() {
InputImage image = InputImage.fromBitmap(mSelectedImage, 0);
FaceDetectorOptions options =
new FaceDetectorOptions.Builder()
.setPerformanceMode(FaceDetectorOptions.PERFORMANCE_MODE_FAST)
.setContourMode(FaceDetectorOptions.CONTOUR_MODE_ALL)
.build();
mFaceButton.setEnabled(false);
FaceDetector detector = FaceDetection.getClient(options);
detector.process(image)
.addOnSuccessListener(
new OnSuccessListener<List<Face>>() {
@Override
public void onSuccess(List<Face> faces) {
mFaceButton.setEnabled(true);
processFaceContourDetectionResult(faces);
}
})
.addOnFailureListener(
new OnFailureListener() {
@Override
public void onFailure(@NonNull Exception e) {
// Task failed with an exception
mFaceButton.setEnabled(true);
e.printStackTrace();
}
});
}
Il codice riportato sopra configura il rilevatore del contorno del viso e chiama la funzione processFaceContourDetectionResult con la risposta.
Elaborare la risposta al rilevamento del contorno del viso
Aggiungi il seguente codice a processFaceContourDetectionResult nella classe MainActivity per analizzare i risultati e visualizzarli nella tua app.
MainActivity.java
private void processFaceContourDetectionResult(List<Face> faces) {
// Task completed successfully
if (faces.size() == 0) {
showToast("No face found");
return;
}
mGraphicOverlay.clear();
for (int i = 0; i < faces.size(); ++i) {
Face face = faces.get(i);
FaceContourGraphic faceGraphic = new FaceContourGraphic(mGraphicOverlay);
mGraphicOverlay.add(faceGraphic);
faceGraphic.updateFace(face);
}
}
Eseguire l'app sull'emulatore
Ora fai clic su Esegui ( ) nella barra degli strumenti di Android Studio. Una volta caricata l'app, assicurati che nel campo del menu a discesa sia selezionata l'opzione Test Image 2 (Face) e fai clic sul pulsante FIND FACE CONTOUR.
L'app ora dovrebbe avere l'aspetto dell'immagine di seguito, mostrando i risultati del rilevamento del contorno del viso e i contorni del viso come punti sovrapposti all'immagine originale.
Complimenti, hai appena aggiunto il rilevamento dei contorni del volto sul dispositivo alla tua app utilizzando ML Kit. Il rilevamento dei contorni del volto sul dispositivo è ottimo per molti casi d'uso, in quanto funziona anche quando l'app non dispone di connessione a internet ed è abbastanza veloce da essere utilizzata su immagini fisse e fotogrammi video in diretta.
7. Complimenti!
Hai utilizzato correttamente ML Kit per aggiungere facilmente funzionalità avanzate di machine learning alla tua app.
Argomenti trattati
- Come aggiungere ML Kit alla tua app per Android
- Come utilizzare il riconoscimento del testo on-device in ML Kit per trovare il testo nelle immagini
- Come utilizzare il contorno del viso on-device in ML Kit per identificare i tratti del viso nelle immagini
Passaggi successivi
- Usa ML Kit nella tua app per Android.