구글코랩(GoogleColab)과 빅쿼리(Bigquery)연동하기

빅쿼리에서 데이터 작업하는 걸 구글 코랩과 연동하는 법을 올려보겠습니다.

1. 데이터 가져오기(빅쿼리 --> 구글코랩)

일단 빅쿼리에서 프로젝트를 만들고 테스트 데이터셋을 업로드한 상태에서 시작합니다.

위와 같이 코드를 작성해줍니다.

from google.colab import auth
auth.authenticate_user()
print('Authenticated')

from google.cloud import bigquery

project_id = '빅쿼리에있는 프로젝트이름'
client = bigquery.Client(project=project_id)

df = client.query('''
  SELECT *
FROM `mulcamp-project-8108.kaggle.train`;''').to_dataframe()

쿼리문은 필요에 맞게 수정하시기 바랍니다.

 

이와 같이 데이터가 연동된 것을 확인할 수 있다.

 

2. 데이터 내보내기(구글코랩 --> 빅쿼리)

import pandas_gbq
pandas_gbq.__version__

코랩에서 pandas_gbq를 임포트해주자

가져왔던 데이터를 필요에 맞게 가공해본다. 그 다음에

project_id = '빅쿼리프젝이름'
table_id = 'yourbigqueryproject.yourdatasetname.만들테이블명'
pandas_gbq.to_gbq(df2, table_id, project_id=project_id)

이렇게 입력해주되 'df2'는 위에서 제가 

가공한 데이터 테이블명이니 본인이 가공한 테이블명으로 넣어주고 

위와같이 빅쿼리에 코랩에서 가공한 테이블이 업로드 된 것을 확인할 수 있다.