1. Обзор
API преобразования речи в текст позволяет разработчикам преобразовывать аудио в текст на более чем 125 языках и их вариантах, применяя мощные модели нейронных сетей в простом в использовании API.
В этом руководстве вы сосредоточитесь на использовании API преобразования речи в текст с Python.
Что вы узнаете
- Как настроить свою среду
- Как расшифровать аудиофайлы на английском языке
- Как расшифровать аудиофайлы со словесными временными метками
- Как расшифровать аудиофайлы на разных языках
Что вам понадобится
Опрос
Как вы будете использовать этот урок?
Как бы вы оценили свой опыт работы с Python?
Как бы вы оценили свой опыт работы с сервисами Google Cloud?
2. Настройка и требования
Самостоятельная настройка среды
- Войдите в Google Cloud Console и создайте новый проект или повторно используйте существующий. Если у вас еще нет учетной записи Gmail или Google Workspace, вам необходимо ее создать .
- Имя проекта — это отображаемое имя для участников этого проекта. Это строка символов, не используемая API Google. Вы всегда можете обновить его.
- Идентификатор проекта уникален для всех проектов Google Cloud и является неизменяемым (невозможно изменить после его установки). Cloud Console автоматически генерирует уникальную строку; обычно тебя не волнует, что это такое. В большинстве лабораторий кода вам потребуется указать идентификатор проекта (обычно идентифицируемый как
PROJECT_ID). Если вам не нравится сгенерированный идентификатор, вы можете создать другой случайный идентификатор. Альтернативно, вы можете попробовать свой собственный и посмотреть, доступен ли он. Его нельзя изменить после этого шага и он сохраняется на протяжении всего проекта. - К вашему сведению, есть третье значение — номер проекта , которое используют некоторые API. Подробнее обо всех трех этих значениях читайте в документации .
- Затем вам необходимо включить выставление счетов в Cloud Console, чтобы использовать облачные ресурсы/API. Прохождение этой кодовой лаборатории не будет стоить много, если вообще что-то стоить. Чтобы отключить ресурсы и избежать выставления счетов за пределами этого руководства, вы можете удалить созданные вами ресурсы или удалить проект. Новые пользователи Google Cloud имеют право на участие в программе бесплатной пробной версии стоимостью 300 долларов США .
Запустить Cloud Shell
Хотя Google Cloud можно управлять удаленно с вашего ноутбука, в этой лаборатории вы будете использовать Cloud Shell , среду командной строки, работающую в облаке.
Активировать Cloud Shell
- В Cloud Console нажмите «Активировать Cloud Shell».
.
Если вы запускаете Cloud Shell впервые, вы увидите промежуточный экран с описанием того, что это такое. Если вам был представлен промежуточный экран, нажмите «Продолжить» .
Подготовка и подключение к Cloud Shell займет всего несколько минут.
Эта виртуальная машина загружена всеми необходимыми инструментами разработки. Он предлагает постоянный домашний каталог объемом 5 ГБ и работает в Google Cloud, что значительно повышает производительность сети и аутентификацию. Большую часть, если не всю, работу в этой лаборатории кода можно выполнить с помощью браузера.
После подключения к Cloud Shell вы увидите, что вы прошли аутентификацию и что для проекта установлен идентификатор вашего проекта.
- Выполните следующую команду в Cloud Shell, чтобы подтвердить, что вы прошли аутентификацию:
gcloud auth list
Вывод команды
Credentialed Accounts
ACTIVE ACCOUNT
* <my_account>@<my_domain.com>
To set the active account, run:
$ gcloud config set account `ACCOUNT`
- Выполните следующую команду в Cloud Shell, чтобы убедиться, что команда gcloud знает о вашем проекте:
gcloud config list project
Вывод команды
[core] project = <PROJECT_ID>
Если это не так, вы можете установить его с помощью этой команды:
gcloud config set project <PROJECT_ID>
Вывод команды
Updated property [core/project].
3. Настройка среды
Прежде чем начать использовать API преобразования речи в текст, выполните следующую команду в Cloud Shell, чтобы включить API:
gcloud services enable speech.googleapis.com
Вы должны увидеть что-то вроде этого:
Operation "operations/..." finished successfully.
Теперь вы можете использовать API преобразования речи в текст!
Перейдите в свой домашний каталог:
cd ~
Создайте виртуальную среду Python, чтобы изолировать зависимости:
virtualenv venv-speech
Активируйте виртуальную среду:
source venv-speech/bin/activate
Установите IPython и клиентскую библиотеку API преобразования речи в текст:
pip install ipython google-cloud-speech
Вы должны увидеть что-то вроде этого:
... Installing collected packages: ..., ipython, google-cloud-speech Successfully installed ... google-cloud-speech-2.25.1 ...
Теперь вы готовы использовать клиентскую библиотеку API преобразования речи в текст!
На следующих шагах вы будете использовать интерактивный интерпретатор Python под названием IPython , который вы установили на предыдущем шаге. Запустите сеанс, запустив ipython в Cloud Shell:
ipython
Вы должны увидеть что-то вроде этого:
Python 3.9.2 (default, Feb 28 2021, 17:03:44) Type 'copyright', 'credits' or 'license' for more information IPython 8.18.1 -- An enhanced Interactive Python. Type '?' for help. In [1]:
Вы готовы сделать свой первый запрос...
4. Расшифруйте аудиофайлы
В этом разделе вы будете расшифровывать английский аудиофайл.
Скопируйте следующий код в свой сеанс IPython:
from google.cloud import speech
def speech_to_text(
config: speech.RecognitionConfig,
audio: speech.RecognitionAudio,
) -> speech.RecognizeResponse:
client = speech.SpeechClient()
# Synchronous speech recognition request
response = client.recognize(config=config, audio=audio)
return response
def print_response(response: speech.RecognizeResponse):
for result in response.results:
print_result(result)
def print_result(result: speech.SpeechRecognitionResult):
best_alternative = result.alternatives[0]
print("-" * 80)
print(f"language_code: {result.language_code}")
print(f"transcript: {best_alternative.transcript}")
print(f"confidence: {best_alternative.confidence:.0%}")
Уделите время изучению кода и посмотрите, как он использует метод recognize клиентской библиотеки для расшифровки аудиофайла*.* Параметр config указывает, как обрабатывать запрос, а параметр audio указывает аудиоданные, которые необходимо распознать.
Отправить запрос:
config = speech.RecognitionConfig(
language_code="en",
)
audio = speech.RecognitionAudio(
uri="gs://cloud-samples-data/speech/brooklyn_bridge.flac",
)
response = speech_to_text(config, audio)
print_response(response)
Вы должны увидеть следующий вывод:
-------------------------------------------------------------------------------- language_code: en-us transcript: how old is the Brooklyn Bridge confidence: 98%
Обновите конфигурацию, чтобы включить автоматическую пунктуацию и отправить новый запрос:
config.enable_automatic_punctuation = True
response = speech_to_text(config, audio)
print_response(response)
Вы должны увидеть следующий вывод:
-------------------------------------------------------------------------------- language_code: en-us transcript: How old is the Brooklyn Bridge? confidence: 98%
Краткое содержание
На этом этапе вы смогли расшифровать аудиофайл на английском языке, используя разные параметры, и распечатать результат. Подробнее о расшифровке аудиофайлов можно прочитать здесь.
5. Получите временные метки слов
Преобразование речи в текст может обнаруживать временные смещения (временные метки) для транскрибируемого звука. Смещения по времени показывают начало и конец каждого произнесенного слова в поставляемом аудио. Значение смещения времени представляет собой количество времени, прошедшее с начала звука, с шагом 100 мс.
Чтобы расшифровать аудиофайл с временными метками слов, обновите свой код, скопировав следующее в сеанс IPython:
def print_result(result: speech.SpeechRecognitionResult):
best_alternative = result.alternatives[0]
print("-" * 80)
print(f"language_code: {result.language_code}")
print(f"transcript: {best_alternative.transcript}")
print(f"confidence: {best_alternative.confidence:.0%}")
print("-" * 80)
for word in best_alternative.words:
start_s = word.start_time.total_seconds()
end_s = word.end_time.total_seconds()
print(f"{start_s:>7.3f} | {end_s:>7.3f} | {word.word}")
Найдите минутку, чтобы изучить код и посмотреть, как он расшифровывает аудиофайл с временными метками слов*.* Параметр enable_word_time_offsets сообщает API, что нужно возвращать смещения времени для каждого слова (более подробную информацию см. в документации ).
Отправить запрос:
config = speech.RecognitionConfig(
language_code="en",
enable_automatic_punctuation=True,
enable_word_time_offsets=True,
)
audio = speech.RecognitionAudio(
uri="gs://cloud-samples-data/speech/brooklyn_bridge.flac",
)
response = speech_to_text(config, audio)
print_response(response)
Вы должны увидеть следующий вывод:
-------------------------------------------------------------------------------- language_code: en-us transcript: How old is the Brooklyn Bridge? confidence: 98% -------------------------------------------------------------------------------- 0.000 | 0.300 | How 0.300 | 0.600 | old 0.600 | 0.800 | is 0.800 | 0.900 | the 0.900 | 1.100 | Brooklyn 1.100 | 1.400 | Bridge?
Краткое содержание
На этом этапе вы смогли расшифровать аудиофайл на английском языке с временными метками слов и распечатать результат. Узнайте больше о получении временных меток слов .
6. Транскрибируйте разные языки
API преобразования речи в текст распознает более 125 языков и их вариантов! Список поддерживаемых языков вы можете найти здесь .
В этом разделе вы расшифруете французский аудиофайл.
Чтобы расшифровать французский аудиофайл, обновите свой код, скопировав в сеанс IPython следующее:
config = speech.RecognitionConfig(
language_code="fr-FR",
enable_automatic_punctuation=True,
enable_word_time_offsets=True,
)
audio = speech.RecognitionAudio(
uri="gs://cloud-samples-data/speech/corbeau_renard.flac",
)
response = speech_to_text(config, audio)
print_response(response)
Вы должны увидеть следующий вывод:
-------------------------------------------------------------------------------- language_code: fr-fr transcript: Maître corbeau sur un arbre perché Tenait dans son bec un fromage maître Renard par l'odeur alléché lui tint à peu près ce langage et bonjour monsieur du corbeau. confidence: 94% -------------------------------------------------------------------------------- 0.000 | 0.700 | Maître 0.700 | 1.100 | corbeau 1.100 | 1.300 | sur 1.300 | 1.600 | un 1.600 | 1.700 | arbre 1.700 | 2.000 | perché 2.000 | 3.000 | Tenait 3.000 | 3.000 | dans 3.000 | 3.200 | son 3.200 | 3.500 | bec 3.500 | 3.700 | un 3.700 | 3.800 | fromage ... 10.800 | 11.800 | monsieur 11.800 | 11.900 | du 11.900 | 12.100 | corbeau.
Краткое содержание
На этом этапе вы смогли расшифровать французский аудиофайл и распечатать результат. Вы можете прочитать больше о поддерживаемых языках .
7. Поздравляем!
Вы узнали, как использовать API преобразования речи в текст с помощью Python для выполнения различных видов транскрипции аудиофайлов!
Очистить
Чтобы очистить среду разработки из Cloud Shell:
- Если вы все еще находитесь в сеансе IPython, вернитесь в оболочку:
exit - Прекратите использовать виртуальную среду Python:
deactivate - Удалите папку виртуальной среды:
cd ~ ; rm -rf ./venv-speech
Чтобы удалить проект Google Cloud из Cloud Shell:
- Получите текущий идентификатор проекта:
PROJECT_ID=$(gcloud config get-value core/project) - Убедитесь, что это именно тот проект, который вы хотите удалить:
echo $PROJECT_ID - Удалить проект:
gcloud projects delete $PROJECT_ID
Узнать больше
- Проверьте демо-версию в своем браузере: https://cloud.google.com/speech-to-text.
- Документация по преобразованию речи в текст: https://cloud.google.com/speech-to-text/docs.
- Python в Google Cloud: https://cloud.google.com/python
- Облачные клиентские библиотеки для Python: https://github.com/googleapis/google-cloud-python.
Лицензия
Эта работа распространяется под лицензией Creative Commons Attribution 2.0 Generic License.