GCP(구글클라우드)에서 받은 인증키로 로컬하고 빅쿼리 연동하기

GCP에서 JSON형식의 인증키 파일을 받았다. 

로컬에서 어떻게 활용하는 지 살펴보자 .

그리고 그 전에 필요한 라이브러리는 

pip install jupyterlab google-cloud-bigquery pandas-gbq

 

이렇게 설치하고 시작 ㄱㄱ 

위와같이 해주면 되는데 

코드는 아래와 같다. 

from google.cloud import bigquery 
from google.oauth2 import service_account 

# Local에 저장된 json 파일 불러오기 (인증키파일)
credentials = service_account.Credentials.from_service_account_file(r'인증키파일명.json')

# GCP 프로젝트
project_id = 'GCP프로젝트 명'
client = bigquery.Client(credentials = credentials, project=project_id)

df = client.query('''
  SELECT *
  FROM `GCP프로젝트명.데이터셋명.테이블명` LIMIT 1000''').to_dataframe()

print(df.info())

연동이 된 것을 확인할 수 있다. 

이제 빅쿼리에 있는 필요한 데이터를 로컬로 쿼리문으로 불러와서 

필요에 맞게 가공해서 작업하면 된다. 다시 빅쿼리로 가공한 데이터를 보내고 싶을 떈

위와같이 하면 된다. 

코드는 아래와 같다. 

project_id = 'GCP프로젝트명'
table_id = '데이터셋이름.가공한테이블이름' 

df2.to_gbq(table_id, project_id=project_id, if_exists = "replace")
#df2는 일단 필자가 가공한 데이터 객체명임

이걸 실행하면 빅쿼리 데이터셋에 가공한테이블이 하나 추가된 걸 확인할 수 있다. 

(데이터 가공은 본인이 해야함) (해당 포스팅에 데이터가공한 코드는 올리지 않았음)