備忘録です。BigQueryの集計結果をサーバで扱いたい場合、以下の方法が考えられます。gsutilだと一度GCSにデータを保存する必要があるので手っ取り早く手元にデータを落としたい場合、BQコマンドは便利です。データサイズが大きい場合や取得に時間がかかるので一度GCSに落としてからgsutilで取得した方が早いです。
- gsutil
- bq
出力結果が大きくならない場合、BQコマンドの方が楽なので自分用のメモとして残しておきます。
(※ レコード数の上限を指定するのが個人的には？なところだったりします)
データ取得
bq query -q -n 10000000 --use_legacy_sql=false --format=csv "[query]" > [output file name]
実行結果の書き込み
bq --location=US query \ --destination_table project id:dataset.table \ --use_legacy_sql=false 'query'
