case-kの備忘録

日々の備忘録です。最近はGCPやデータ分析系のことを呟きます

BQコマンドデータ取得

備忘録です。BigQueryの集計結果をサーバで扱いたい場合、以下の方法が考えられます。gsutilだと一度GCSにデータを保存する必要があるので手っ取り早く手元にデータを落としたい場合、BQコマンドは便利です。データサイズが大きい場合や取得に時間がかかるので一度GCSに落としてからgsutilで取得した方が早いです。

  • gsutil
  • bq

出力結果が大きくならない場合、BQコマンドの方が楽なので自分用のメモとして残しておきます。
(※ レコード数の上限を指定するのが個人的には?なところだったりします)

bq query -q -n 10000000 --use_legacy_sql=false --format=csv "[query]" > [output file name]