case-kの備忘録

備忘録です。

BigQueryにタブ区切りのTSVファイル[テキスト]を全件ロードする方法

ただの備忘録です。業務でタブ区切りの8万のTSVファイル(テキスト)をBigQueryに全件ロードする方法を探してた際のtipsです。ログデータを扱う場合、タブ区切りになっていることがあるかと思います。bqコマンド使ったロード方法やサポートされているデータ形式は公式サイト通りで、ロード方法も書いてありますが、タブ区切りのロード方法は書いてなかったので備忘録として投稿します。ロードしたいデータはGCSにおいた状態で書いてます。

# サポートされているデータ形式
・CSV
・JSON(改行区切りのみ)
・Avro
・Parquet
・ORC
# tsv load
bq load --source_format=CSV --encoding=UTF-8 --field_delimiter="\t" [dataset.table] [gs://*******************/*]

GBQにロードされてることが確認できると思います。
「--field_delimiter="\t"」を書けばロードできるよって話でした。
読んでいただきありがとうございました。

参考
BigQuery へのデータの読み込みの概要  |  BigQuery  |  Google Cloud