간소화된 마스터 데이터 관리: 일치 및 생성형 AI와 병합하세요

1. 개요

마스터 데이터 관리란 무엇인가요?

마스터 데이터 관리 (MDM)는 조직의 가장 중요한 데이터에 대한 단일하고 신뢰할 수 있는 정보 소스를 만드는 것입니다. 모든 도서 (데이터 포인트)에 올바른 라벨이 지정되고 최신 상태이며 쉽게 찾을 수 있는 꼼꼼하게 정리된 도서관을 상상해 보세요.

마스터 데이터는 회사 운영에 필수적인 핵심적인 비즈니스 항목을 나타냅니다. 마스터 데이터의 주요 요소는 다음과 같습니다.

  • 비즈니스 항목: 비즈니스의 핵심 명사인 고객, 제품, 공급업체, 위치, 직원과 같은 항목
  • 식별자: 시스템 전반에서 각 항목을 구분하고 추적할 수 있는 고유 식별자
  • 속성: 고객 주소, 제품 가격 등 각 항목을 설명하는 특성입니다.

마스터 데이터를 더 잘 이해할 수 있도록 마스터 데이터를 거래 데이터와 비교해 보겠습니다. 거래 데이터는 개별 이벤트 (구매, 배송 등)를 포착합니다. 반면 마스터 데이터는 관련 항목을 정의하여 이러한 이벤트의 컨텍스트를 제공합니다. 예를 들어 판매 거래는 고객, 제품, 영업사원의 마스터 데이터에 연결됩니다.

강력한 MDM을 구현하는 것은 전략적 의사결정에 필수적이지만 복잡하고 리소스 집약적일 수 있습니다. 바로 이 지점에서 생성형 AI의 변혁적 힘, 특히 Gemini 1.0 Pro, Gemini 1.0 Pro Vision, Gemini 1.5 Pro와 같은 모델이 위력을 발휘합니다.

2. 목표

이 Codelab에서는 Gemini 1.0 Pro가 BigQuery 공개 데이터 세트에서 사용 가능한 citibike_stations 데이터의 보강 및 중복 삭제와 같은 마스터 데이터 관리 애플리케이션을 간소화하는 방법을 보여줍니다.

사용하는 기능

  1. BigQuery 공개 데이터 세트 bigquery-public-data.new_york_citibike
  2. Gemini 함수 호출 (citibike_stations 데이터에서 사용 가능한 좌표에 대해 역방향 Geocoding API를 사용하여 주소 정보를 가져오는 Java Cloud 함수)
  3. BigQuery의 Vertex AI Embeddings API 및 벡터 검색을 사용하여 중복을 식별합니다.

빌드할 항목

  1. 사용 사례에 맞는 BigQuery 데이터 세트를 만듭니다. 이 데이터 세트에서는 공개 데이터 세트 테이블 bigquery-public-data.new_york_citibike.citibike_stations의 데이터로 방문 테이블을 만듭니다.
  2. 주소 표준화를 위한 Gemini 함수 호출이 포함된 Cloud 함수를 배포합니다.
  3. 이 데모에 제공된 두 가지 소스의 보강된 주소 데이터를 방문 테이블에 저장합니다.
  4. 주소 데이터에 대해 BigQuery에서 Vertex AI Embeddings API를 호출합니다.
  5. BigQuery 벡터 검색을 사용하여 중복 레코드를 식별합니다.

다음 다이어그램은 데이터 흐름과 구현에 포함된 단계를 나타냅니다.

사용 사례의 대략적인 흐름

3. 요구사항

  • 브라우저(Chrome 또는 Firefox 등)
  • 결제가 사용 설정된 Google Cloud 프로젝트.

4. 시작하기 전에

  1. Google Cloud 콘솔의 프로젝트 선택기 페이지에서 Google Cloud 프로젝트를 선택하거나 만듭니다.
  2. Cloud 프로젝트에 결제가 사용 설정되어 있어야 하므로 프로젝트에 결제가 사용 설정되어 있는지 확인하는 방법을 알아보세요 .
  3. bq가 미리 로드되어 제공되는 Google Cloud에서 실행되는 명령줄 환경인 Cloud Shell을 사용합니다. Google Cloud 콘솔 상단에서 Cloud Shell 활성화를 클릭합니다.

Cloud Shell 활성화 버튼 이미지

  1. Cloud Shell에 연결되면 다음 명령어를 사용하여 이미 인증되었는지, 프로젝트가 프로젝트 ID로 설정되어 있는지 확인합니다.
gcloud auth list
  1. Cloud Shell에서 다음 명령어를 실행하여 gcloud 명령어가 프로젝트를 알고 있는지 확인합니다.
gcloud config list project
  1. 프로젝트가 설정되지 않은 경우 다음 명령어를 사용하여 설정합니다.
gcloud config set project <YOUR_PROJECT_ID>
  1. Google Cloud용 Gemini Marketplace로 이동하여 API를 사용 설정합니다. Cloud Shell 터미널에서 다음 명령어를 사용할 수도 있습니다.
gcloud services enable cloudaicompanion.googleapis.com --project PROJECT_ID
  1. BigQuery, BigQuery Connection, Cloud Functions, Cloud Run, Vertex AI, Cloud Build API가 사용 설정되어 있는지 확인합니다. gcloud 명령어 대신 이 링크를 사용하여 콘솔을 통해서도 할 수 있습니다.

gcloud 명령어 및 사용법은 문서를 참조하세요.

5. BigQuery 데이터 세트 및 외부 연결 만들기

먼저 데이터 세트와 Cloud 리소스 연결을 만들어 보겠습니다.

BigQuery의 데이터 세트는 애플리케이션의 모든 테이블과 객체를 위한 컨테이너입니다.

데이터 세트를 만들려면 다음 단계를 따르세요.

  1. Google Cloud 콘솔에서 BigQuery 페이지로 이동합니다.
  2. 탐색기 패널에서 데이터 세트를 만들 프로젝트를 선택합니다.
  3. 작업 옵션 (세로 생략 기호 아이콘)을 펼치고 데이터 세트 만들기를 클릭합니다.

작업 메뉴 및 데이터 세트 만들기 옵션 이미지

  1. 데이터 세트 ID 필드에 mdm_gemini를 입력합니다.
  2. 위치 유형을 Multi-region로 설정하고 기본값인 US(multiple regions in United States.을 수락합니다.
  3. 데이터 세트 만들기를 클릭합니다.
  4. 데이터 세트가 생성되었는지 확인하고 탐색기 창의 프로젝트 ID 아래에 나열되어 있는지 확인합니다.

Cloud 함수와 상호작용하려면 BigQuery 연결이 필요합니다. 원격 함수를 만들려면 BigQuery 연결을 만들어야 합니다. 이 Codelab에서는 BigLake 연결을 사용하여 Cloud 함수를 통해 BigQuery에서 모델에 액세스합니다. BigLake 연결을 사용하면 세분화된 BigQuery 액세스 제어 및 보안을 유지하면서 외부 데이터 소스를 연결할 수 있습니다. 여기에서는 Vertex AI Gemini Pro API입니다.

BigLake 연결을 만들려면 다음 단계를 따르세요.

  1. BigQuery 페이지의 탐색기 창에서 추가를 클릭합니다.

외부 연결을 추가하기 위한 추가 버튼이 강조 표시된 BigQuery 콘솔

  1. 외부 데이터 소스에 연결을 클릭합니다.
  2. '연결 유형' 목록에서 Vertex AI 원격 모델, 원격 함수, BigLake (Cloud 리소스)를 선택합니다.
  3. 연결 ID 필드에 연결 이름을 gemini-bq-conn로 입력합니다.
  4. 위치 유형을 Multi-region로 설정하고 기본값인 US(multiple regions in United States.을 수락합니다.
  5. 연결 만들기를 클릭합니다.
  6. 연결로 이동을 클릭한 다음 연결 정보 창에서 서비스 계정 ID를 복사합니다.

연결 정보 스크린샷

  1. IAM 및 관리자 페이지로 이동하여 액세스 권한 부여를 클릭합니다.
  2. 새 주 구성원 필드에 서비스 계정 ID를 붙여넣습니다.
  3. 역할 목록에서 Vertex AI user 역할을 선택한 다음 저장을 클릭합니다.

서비스 계정 스크린샷에 대한 액세스 권한 부여

이제 데이터 세트와 BigQuery 연결을 만들었습니다.

6. Gemini 함수 호출 배포 (Java Cloud 함수)

Gemini 함수 호출이 포함된 Java Cloud 함수를 배포하려면 다음 단계를 따르세요.

  1. 다음 명령어를 사용하여 Cloud Shell 터미널에서 github 저장소를 클론합니다.
git clone https://github.com/AbiramiSukumaran/GeminiFunctionCalling
  1. 자리표시자 YOUR_API_KEY 및 YOUR_PROJECT_ID를 값으로 바꿉니다.

여기의 블로그를 읽어보면 함수 호출 구현에서 역 Geocoding API를 사용한다는 것을 알 수 있습니다. 여기의 안내에 따라 API_KEY를 직접 만들 수 있습니다.

  1. Cloud Shell 터미널에서 새로 클론한 프로젝트 디렉터리 GeminiFunctionCalling으로 이동하여 다음 문을 실행하여 Cloud 함수를 빌드하고 배포합니다.
gcloud functions deploy gemini-fn-calling --gen2 --region=us-central1 --runtime=java11 --source=. --entry-point=cloudcode.helloworld.HelloWorld --trigger-http

'인증되지 않은 호출 허용' 메시지가 표시되면 'y'를 말합니다. 권장사항에 따라 엔터프라이즈 애플리케이션에 인증을 설정하는 것이 좋습니다. 하지만 이 앱은 데모 앱이므로 인증되지 않은 상태로 진행합니다.

출력은 다음 형식의 REST URL입니다.

https://us-central1-YOUR_PROJECT_ID.cloudfunctions.net/gemini-fn-calling

  1. 터미널에서 다음 명령어를 실행하여 이 Cloud 함수를 테스트합니다.
gcloud functions call gemini-fn-calling --region=us-central1 --gen2 --data '{"calls":[["40.714224,-73.961452"]]}'

무작위 샘플 프롬프트에 대한 응답:

 '{"replies":["{ \"DOOR_NUMBER\": \"277\", \"STREET_ADDRESS\": \"Bedford Ave\", \"AREA\":
 null, \"CITY\": \"Brooklyn\", \"TOWN\": null, \"COUNTY\": \"Kings County\", \"STATE\":
 \"NY\", \"COUNTRY\": \"USA\", \"ZIPCODE\": \"11211\", \"LANDMARK\": null}}```"]}'

이 Cloud 함수의 요청 및 응답 매개변수는 BigQuery의 원격 함수 호출과 호환되는 방식으로 구현됩니다. BigQuery 데이터에서 직접 사용할 수 있습니다. 즉, 데이터 입력 (위도 및 경도 데이터)이 BigQuery에 있는 경우 데이터에서 원격 함수를 호출하고 BigQuery 내에서 직접 저장하거나 처리할 수 있는 함수 응답을 가져올 수 있습니다.

  1. BigQuery에서 다음 DDL을 실행하여 배포된 Cloud 함수를 호출하는 원격 함수를 만듭니다.
CREATE OR REPLACE FUNCTION
 `mdm_gemini.MDM_GEMINI` (latlng STRING) RETURNS STRING
 REMOTE WITH CONNECTION `us.gemini-bq-conn`
 OPTIONS (
   endpoint = 'https://us-central1-YOUR_PROJECT_ID.cloudfunctions.net/gemini-fn-calling', max_batching_rows = 1
 );

생성된 새 원격 함수를 사용하는 테스트 쿼리:

SELECT mdm_gemini.MDM_GEMINI(latlong) from mdm_gemini.CITIBIKE_STATIONS limit 1;

BigQuery에서 만든 새 원격 함수를 사용하는 테스트 쿼리가 Cloud Functions 권한 문제로 인해 실패하면 Google Cloud 콘솔에서 Cloud Functions로 이동하여 'gemini-fn-calling'이라는 이름의 배포된 Cloud 함수를 찾습니다. 권한 탭으로 이동하여 주 구성원을 'allUsers'로 추가하고 'Cloud Functions 호출자' 역할을 부여하여 모든 사용자가 Cloud Functions에 액세스할 수 있도록 합니다 (데모 앱이기 때문에만).

7. 해결 방법 시도

어떤 이유로든 역지오코딩 함수 호출 접근 방식에 필요한 API_KEY가 없거나 Cloud 함수가 배포되어 있지 않은 경우 다음을 대신 수행할 수 있습니다.

  1. 저장소에서 CITIBIKE_STATIONS.csv 파일을 Cloud Shell 프로젝트 폴더로 다운로드하고 해당 폴더로 이동합니다.
  2. Cloud Shell 터미널에서 다음 명령어를 사용하여 csv의 데이터를 새 BigQuery 데이터 세트 mdm_gemini로 내보냅니다.
bq load --source_format=CSV --skip_leading_rows=1 mdm_gemini.CITIBIKE_STATIONS ./CITIBIKE_STATIONS.csv \ name:string,latlng:string,capacity:numeric,num_bikes_available:numeric,num_docks_available:numeric,last_reported:timestamp,full_address_string:string

8. 테이블 만들기 및 주소 데이터 보강

1단계: 테이블 만들기

중요: 이미 테이블을 만들었기 때문에 해결 방법을 사용한 경우 이 단계를 건너뜁니다.

해결 방법을 사용하지 않은 경우 BigQuery SQL 편집기에서 다음 DDL을 실행합니다.

CREATE TABLE mdm_gemini.CITIBIKE_STATIONS as (
select  name, latitude || ',' || longitude as latlong, capacity, num_bikes_available, num_docks_available,last_reported,
'' as full_address_string
from bigquery-public-data.new_york_citibike.citibike_stations) ;

이제 테이블에 있는 위도 및 경도 좌표에서 원격 함수를 호출하여 주소 데이터를 보강해 보겠습니다. 데이터에 다음 조건을 설정합니다.

  • 2024년에 신고함
  • 이용 가능한 자전거 수 > 0
  • 용량이 100을 초과함

다음 쿼리를 실행합니다.

update `mdm_gemini.CITIBIKE_STATIONS`
set full_address_string = `mdm_gemini.MDM_GEMINI`(latlong)
where EXTRACT(YEAR FROM last_reported) = 2024 and num_bikes_available > 0 and capacity > 100;

2단계: 자전거 스테이션 위치 데이터의 두 번째 소스 만들기

해결 방법을 사용하여 테이블을 만든 경우에도 이 단계를 건너뛰지 마세요.

이 단계에서는 이 Codelab의 목적을 위해 자전거 스테이션 위치 데이터의 두 번째 소스를 만듭니다. MDM이 여러 소스의 데이터를 가져와서 유효한 정보를 파악하고 있음을 보여주기 위한 것입니다.

BigQuery SQL 편집기에서 다음 DDL을 실행하여 레코드가 2개인 두 번째 위치 데이터 소스를 만듭니다. 이 테이블의 이름을 mdm_gemini.CITIBIKE_STATIONS_SOURCE2로 지정하고 레코드 2개를 삽입해 보겠습니다.

CREATE TABLE mdm_gemini.CITIBIKE_STATIONS_SOURCE2 (name STRING(55), address STRING(1000), embeddings_src ARRAY<FLOAT64>);

insert into mdm_gemini.CITIBIKE_STATIONS_SOURCE2 VALUES ('Location broadway and 29','{ "DOOR_NUMBER": "1593", "STREET_ADDRESS": "Broadway", "AREA": null, "CITY": "New York", "TOWN": null, "COUNTY": "New York County", "STATE": "NY", "COUNTRY": "USA", "ZIPCODE": "10019", "LANDMARK": null}', null);

insert into mdm_gemini.CITIBIKE_STATIONS_SOURCE2 VALUES ('Allen St & Hester','{ "DOOR_NUMBER": "36", "STREET_ADDRESS": "Allen St", "AREA": null, "CITY": "New York", "TOWN": null, "COUNTY": "New York County", "STATE": "NY", "COUNTRY": "USA", "ZIPCODE": "10002", "LANDMARK": null}', null);

9. 주소 데이터의 임베딩 생성

임베딩은 텍스트 또는 오디오 파일의 일부와 같이 특정 항목을 나타내는 고차원의 숫자 벡터입니다. 머신러닝 (ML) 모델은 임베딩을 사용하여 이러한 항목에 대한 시맨틱스를 인코딩함으로써 손쉽게 추론하고 비교할 수 있도록 합니다. 예를 들어 클러스터링, 분류, 추천 모델에서 일반적인 작업은 임베딩 공간에서 벡터 간 거리를 측정하여 의미론적으로 가장 유사한 항목을 찾는 것입니다. Vertex AI 텍스트 임베딩 API를 사용하면 Vertex AI에서 생성형 AI를 사용하여 텍스트 임베딩을 만들 수 있습니다. 텍스트 임베딩은 단어와 구문 간의 관계를 포착하는 텍스트의 수치적 표현입니다. Vertex AI 텍스트 임베딩에 대해 자세히 알아보려면 여기를 참고하세요.

  1. 아래 DDL을 실행하여 Vertex AI 텍스트 임베딩 API의 원격 모델을 만듭니다.
CREATE OR REPLACE MODEL `mdm_gemini.CITIBIKE_STATIONS_ADDRESS_EMB`
REMOTE WITH CONNECTION `us.gemini-bq-conn`
OPTIONS (ENDPOINT = 'textembedding-gecko@latest');
  1. 이제 원격 임베딩 모델이 준비되었으므로 다음 쿼리를 사용하여 첫 번째 소스의 임베딩을 생성하고 테이블에 저장해 보겠습니다.
CREATE TABLE `mdm_gemini.CITIBIKE_STATIONS_SOURCE1` AS (
SELECT *
FROM ML.GENERATE_EMBEDDING(
 MODEL `mdm_gemini.CITIBIKE_STATIONS_ADDRESS_EMB`,
 ( select name, full_address_string as content from `mdm_gemini.CITIBIKE_STATIONS`
 where full_address_string is not null )
  )
);

새 테이블을 만드는 대신 앞서 만든 것과 동일한 mdm_gemini.CITIBIKE_STATIONS 테이블에 임베딩 결과 필드를 저장할 수도 있습니다.

  1. CITIBIKE_STATIONS_SOURCE2 테이블의 주소 데이터에 대한 임베딩을 생성하려면 다음 쿼리를 실행합니다.
update `mdm_gemini.CITIBIKE_STATIONS_SOURCE2` a set embeddings_src =
(
SELECT  ml_generate_embedding_result
FROM ML.GENERATE_EMBEDDING(
 MODEL `mdm_gemini.CITIBIKE_STATIONS_ADDRESS_EMB`,
 ( select name, address as content from `mdm_gemini.CITIBIKE_STATIONS_SOURCE2` ))
where name = a.name) where name is not null;

그러면 두 번째 소스의 임베딩이 생성됩니다. 동일한 테이블 CITIBIKE_STATIONS_SOURCE2에 임베딩 필드를 만들었습니다.

  1. 소스 데이터 테이블 1과 2에 대해 생성된 임베딩을 시각화하려면 다음 쿼리를 실행합니다.
select name,address,embeddings_src from `mdm_gemini.CITIBIKE_STATIONS_SOURCE2`;
select name,content,ml_generate_embedding_result from `mdm_gemini.CITIBIKE_STATIONS_SOURCE1`;

이제 벡터 검색을 실행하여 중복을 식별해 보겠습니다.

10. 중복 주소 신고에 대한 벡터 검색 실행

이 단계에서는 mdm_gemini.CITIBIKE_STATIONS_SOURCE1 테이블의 주소 임베딩 ml_generate_embedding_result 열에서 mdm_gemini.CITIBIKE_STATIONS_SOURCE2 테이블의 embeddings_src 열에 있는 각 데이터 행과 일치하는 상위 두 개의 임베딩을 검색합니다.

이렇게 하려면 다음 쿼리를 실행합니다.

select query.name name1,base.name name2,
/* (select address from mdm_gemini.CITIBIKE_STATIONS_SOURCE2 where name = query.name) content1, base.content content2, */
distance
from VECTOR_SEARCH(
 TABLE mdm_gemini.CITIBIKE_STATIONS_SOURCE1,
 'ml_generate_embedding_result',
 (SELECT * FROM mdm_gemini.CITIBIKE_STATIONS_SOURCE2),
 'embeddings_src',
 top_k => 2
) where query.name <> base.name
order by distance desc;

쿼리하는 테이블: ml_generate_embedding_result 필드의 mdm_gemini.CITIBIKE_STATIONS_SOURCE1

기준으로 사용하는 테이블: embeddings_src 필드의 mdm_gemini.CITIBIKE_STATIONS_SOURCE2

top_k: 반환할 최근접 이웃 수를 지정합니다. 기본값은 10입니다. 음수 값은 무한대로 취급되므로 모든 값이 이웃으로 계산되어 반환됩니다.

distance_type: 두 벡터 간의 거리를 계산하는 데 사용할 측정항목 유형을 지정합니다. 지원되는 거리 유형은 유클리드 및 코사인입니다. 기본값은 유클리드입니다.

쿼리 결과는 다음과 같습니다.

결과 집합

보시다시피 CITIBIKE_STATIONS_SOURCE1의 CITIBIKE_STATIONS_SOURCE2 행에 가장 가까운 두 이웃 (즉, 가장 가까운 중복)이 표시되었습니다. distance_type가 지정되지 않으므로 유클리드라고 가정하고 거리는 두 소스 간의 주소 TEXT 값의 거리로 읽습니다. 거리가 가장 짧을수록 주소 텍스트가 가장 유사합니다.

다음 쿼리를 사용하여 distance_type를 Cosine으로 설정해 보겠습니다.

select query.name name1,base.name name2,
/* (select address from mdm_gemini.CITIBIKE_STATIONS_SOURCE2 where name = query.name) content1, base.content content2, */
distance
from VECTOR_SEARCH(
 TABLE mdm_gemini.CITIBIKE_STATIONS_SOURCE1,
 'ml_generate_embedding_result',
 (SELECT * FROM mdm_gemini.CITIBIKE_STATIONS_SOURCE2),
 'embeddings_src',
 top_k => 2,distance_type => 'COSINE'
) where query.name <> base.name
order by distance desc;

쿼리 결과는 다음과 같습니다.

결과 집합 2

두 거리 유형의 두 쿼리 모두 거리 내림차순으로 정렬됩니다. 즉, 거리가 감소하는 순서로 결과를 표시하려는 것입니다. 하지만 두 번째 쿼리의 거리 순서가 반전된 것을 볼 수 있습니다. 이유를 추측해 보실 수 있나요?

잘했습니다. 정답을 고르셨습니다! 코사인 유사성에서 숫자가 클수록 유사성이 높고 거리가 짧습니다. 유클리드 거리에서 숫자가 클수록 값 간의 거리가 큽니다.

MDM에 대한 이해와 유클리드와 코사인의 차이점 및 적용에 관한 도움말은 블로그를 참고하세요.

11. 삭제

이 게시물에서 사용한 리소스의 비용이 Google Cloud 계정에 청구되지 않도록 하려면 다음 단계를 따르세요.

  1. Google Cloud 콘솔에서 리소스 관리 페이지로 이동합니다.
  2. 프로젝트 목록에서 삭제할 프로젝트를 선택하고 삭제를 클릭합니다.
  3. 대화상자에서 프로젝트 ID를 입력하고 종료를 클릭하여 프로젝트를 삭제합니다.
  4. 프로젝트를 유지하려면 위 단계를 건너뛰고 Cloud Functions로 이동하여 함수 목록에서 삭제하려는 함수를 선택하고 삭제를 클릭하여 Cloud 함수를 삭제합니다.

12. 축하합니다

축하합니다. Gemini 1.0 Pro 및 함수 호출을 사용하여 간소화되었지만 강력하고 결정론적이며 안정적인 생성형 AI 기능으로 몇 가지 MDM 활동을 변환하는 방법을 알아봤습니다. 이제 동일한 사용 사례 또는 기타 MDM 기능을 구현하는 다른 방법을 자유롭게 찾아보세요. 검증할 수 있는 데이터 세트, 메우고자 하는 정보 공백, 생성형 AI 대답 내에 삽입된 구조화된 호출로 자동화할 수 있는 태스크가 있나요? 자세한 안내는 Vertex AI, BigQuery 원격 함수, Cloud Functions, 임베딩, 벡터 검색 문서를 참고하세요. 이 프로젝트의 GitHub 저장소입니다. 이 학습 내용을 바탕으로 빌드한 결과물을 알려주세요.