case-kの備忘録

日々の備忘録です。データ分析とか基盤系に興味あります。

Jupyter NotebookでBigQueryを使う方法

JupyterからBigQueryを使うことがよくあるので備忘録として残しておきます。
PythonクライアントライブラリをインストールすることでJupyterから実行できます。

# auth
gcloud auth application-default login
# install python client
pip install --upgrade google-cloud-bigquery


以下コードです。

from google.cloud import bigquery
import pandas as pd
import warnings
warnings.filterwarnings('ignore')
sql = """
  SELECT
    pickup_datetime, pickup_longitude, pickup_latitude, dropoff_longitude,
    dropoff_latitude, passenger_count, trip_distance, tolls_amount, 
    fare_amount, total_amount 
  FROM `nyc-tlc.yellow.trips`
  LIMIT 10
"""
client = bigquery.Client()
trips = client.query(sql).to_dataframe()
trips.head()

cloud.google.com
cloud.google.com