PostgreSQLベースのBIツールの参照DBをBigQueryに移行したことで、 パフォーマンスが大きく改善(30分待っても終わらない -> 10秒で完了)したので、その時の知見をメモとして残しておきたいと思います。 経緯 BigQueryの選定理由 1. 現行がRDBベース 2. 集計…

分析基盤をBigQueryに移行させた時の知見

最近Reactを学び始めたのでビルド系のツールを触り始めました。 Babelを使ってみたので備忘録がてら記事にしました。 Babelとは BabelはJavaScriptの仕様の差異を吸収してくるモジュールです。 Babelを使うことで現在一般的に使われているJavaScriptに変換す…

Babel

Google Compute Engine(GCE)にJupyterで必要最低限の分析環境を作る入門者向けの記事です。 インスタンス構築(GCE) IP制限の設定 Dockerインストール Jupyter環境構築(Docker) Jupyter環境構築(Dockerを使わない) インスタンス構築(GCE) GCPコンソール画面の…

入門記事：GCE (Google Compute Engine) で作るJupyter分析環境

Kaggleの地震コンペに参戦しました。結果は銅メダル圏内のPublic順位346位からPrivate順位885位落ち、メダルは取れませんでした。orz..... (Publicで銅メダル圏に入った時はテンション上がりました。はい。) ソリューションでもなんでもないんですが、備忘録…

Kaggle備忘録 地震コンペ

Dockerを理解する上で個人的に参考にさせて頂いた記事を自分用にまとめました。いい記事があれば随時追記していきたいと思ってます。 Docker 概要の理解であればこれだけ見ればいい気がします。とってもわかりやすいです。 y-ohgi.comDockerfileを作る際参考…

備忘録 Docker&Kubernetes良記事

BIgQueryでカンマ区切りのデータを分割する方法をご紹介します。データはここに置いておきます。 github.comサンプルの中身はカンマ区切りのデータとなっています。 SQLを実行して、以下のようにカンマ区切りのデータ項目を分割することが本記事の目的です。…

BigQueryでカンマ区切りのデータを分割してみた

この記事では説明変数3つ以上の偏相関係数算出方法をPythonで行います。実際のコードはこちらにあげておきます。 github.com 偏相関係数とは 偏相関係数とは変数間の交互作用を取り除いた純粋な相関係数と言えます。 多変量である場合、個々の説明変数が互い…

Pythonで多変量解析、3変数以上の偏相関係数を算出してみた

データ分析する場合BigQueryで集計し、集計結果をGCSに出力、Jupyterで分析することが多いかと思います。 集計結果が大きいとそのままCloud Storageに出力することはできません。集計結果をBigQueryのテーブルに出力し、Cloud Storageへエクスポートを選ぶと…

BigQueryでサイズの大きいデータをGCSに出力してみた

時系列データでタイムスタンプがJSTでないことはまあまああるかと思います。BigQueryでJSTに変換する方法を記事にしました。 UTC - > JSTとEST -> JST変換をします。データは以下の形式ならそのままクエリ実行できると思います。 「2018-05-12 21:02:20」 Bi…

BigQueryで標準時(UTC・EST)をJSTに変換してみた

JupyterでGCSにあるファイルを読み込み、DataFrameとして扱う方法を紹介します。サーバにいちいちデータを落としたくない場合やディスク容量がない場合に使えるかもしれません。いつも通り完全に備忘録です。 from google.cloud import storage as gcs bucke…

GCS上のファイルをDataFrameで読み込んでみた。

ただの備忘録です。業務でタブ区切りの８万のTSVファイル(テキスト)をBigQueryに全件ロードする方法を探してた際のtipsです。ログデータを扱う場合、タブ区切りになっていることがあるかと思います。bqコマンド使ったロード方法やサポートされているデータ形…

BigQueryにタブ区切りのTSVファイル[テキスト]を全件ロードしてみた

今回はGit Hubアカウント作成方法から、作成したプログラムやドキュメントををGItにPushするための一連の流れを記事にしてみました。 また、Gitあるあるな認証エラーの対応も備忘録も兼ねてまとめてみました。 本記事の目的 アカウント作成 認証作業 リポジ…

GIt Hub アカウント登録 & 認証エラー対応

Dockerを実際に触ったことがなかったので、Dockerの概要や実際の扱い方について備忘録も兼ねて記事にしてみました。追記： 本記事ではVM環境をMAC上に構築し、VM環境の上でDockerを使いましたが、VM環境を構築する方法だと、構築にリソースを使ってしまうた…

Docker環境構築入門してみた

今回はGCPが提供するGoogle BIgQueryに関する記事を書きます。データ読み込み・出力方法やクエリ検索まで備忘録も兼ねて記事を書きます。 この記事の目的 BigQueryとは BigQueryのメリット・デメリット メリット デメリット クエリ備忘録 集計関数 条件付き…

【GCP入門】Google BigQuery　データセット作成からデータ抽出までハンズオン形式で行います

今回はPythonで機械学習を行うために必要な環境構築の一連の流れを記事にしました。Pythonのバージョン管理を行うpyenvコマンドを活用し、機械学習を行うパッケージ「Anaconda」のインストールと分析可視化環境「Jupyter Notebook」を構築してみます。 本記…

pyenvでPython分析環境を構築してみた「Anaconda & Jupyter Notebook」

今回は、GCPの可視化分析ツールDatalab [Goolge Cloud Datalab] の環境構築に関する記事を書いてみました。 Dataproc [Goolge Cloud Dataproc]クラスタ上でDatalabを構築するメリットを実際のユースケースも考慮して書いてみます。 本記事の目的 Datalabとは…

【GCP入門】大規模データの前処理に！Dataprocクラスタ上で、Datalabを活用したデータ分析環境構築

今回はDataproc クラスタ上でジョブを実行し、GCS内のデータを加工したいと思います。 本記事の目的 本記事の用途 事前準備[ Dataprocクラスタ, GCSバケット ] PySparkで簡単なジョブを実行 Pig ジョブの実行 出力ファイルの取得 GCS内のデータを活用してPyS…

【GCP入門】大規模データの前処理に！DataprocでPySparkジョブを実行し、GCS内のデータを加工する

今回はGoogle Cloud Dataprocで環境構築をしてみました。Dataproc入門者を対象に記事を書きたいと思います。 本記事の目的 Google Cloud Dataprocとは Dataprocメリット・デメリット クラスタ構築 CLIでクラスタを管理 本記事の目的 ・Google Cloud Dataproc…

【GCP入門】Google Cloud Dataprocで環境構築してみる

今回はモデルの性能を向上させるための手法、グリッドサーチの記事を書いてみました。 本記事の目的 グリッドサーチとは 単純なグリッドサーチ 単純なグリッドサーチの問題点 単純なグリッドサーチの解決策について 交差検証を用いたグリッドサーチ 本記事の…

モデルのパラメータ探索手法、「グリッドサーチ」ってなんだ

今回はモデルの汎化性を評価するための統計手法である交差検証について記事を書いてみました。 本記事の目的 交差検証とは 交差検証のメリット・デメリット k分割交差検証(k-fold cross-validation)とは 層化k分割交差検証とは 活用用途 本記事の目的 ・交差…

モデルの汎化性を評価する「交差検証」について、Pythonで学んでみた

ランダムフォレストで癌の良性・悪性を分類分類予測してみました。以前にChainerで同様の癌の分類問題を行ったので、比較してみたいと思います。 ランダムフォレストとは ランダムフォレストのメリット・デメリット メリット デメリット 実装編 ランダムフォ…

ランダムフォレストで癌の良性・悪性を分類予測してみた

代表的確率分布の一つである、ポアソン分布について記事を書きました。ポアソン分布の概要や実際の例題を解きながら理解を深めていきたいと思います。 ポアソン分布とは 例題 二項分布とポアソン分布の関係 ポアソン分布とは 「単位時間あたりに平均 λ 回起…

Pythonで学ぶポアソン分布とは

Chainerで癌の良性・悪性の分類予測を試してみたいと思います。 Chainerとは Chainerのメリット Chainer構造理解 実装編 Chainerで計算できるデータ形式に変換 Chainerで使用するデータセットの形式 モデルの定義 モデルの定義 Optimizerの定義 Iteratorの定…

Chainerで癌の良性・悪性を分類予測してみた

異なるグループ間の比較方法として「標準化」と呼ばれる統計的手法があります。同じテストの結果を比較することはは容易ですが、異なる科目のテスト結果の比較は点数だけでは判断できません。このような場合「標準化」は有益です。今回は「標準化」の関連用…

Pythonで学ぶ標準化とは

代表的な確率分布として正規分布や二項分布、ポアソン分布があります。本記事では二項分布と正規分布の関係性について、実際にPythonで例題を解きながら理解していきたいと思います。二項分布については以下よりご確認ください。 case-k.hatenablog.com この…

Pythonで学ぶ二項分布と正規分布の関係性

代表的確率分布の1つである二項分布について、実際にPythonで例題を解きながら理解したいと思います。 この記事の目的 二項分布とは ベルヌーイ試行とは ベルヌーイ分布に従う場合の確率・期待値・分散 活用用途 例題 例題 (1) 例題 (2) 例題 (3) この記事の…

Pythonで学ぶ二項分布とは

今更ではあるのですが、分散処理について記事を書いてみました。大規模データを扱うために、HadoopやSparkといった並列分散処理に特化したミドルウェアがありますが、いまいち誕生背景など理解できてなかったので記事にしました。 分散処理とは CPUの基礎知…

【環境構築入門】分散処理から理解する、並列分散処理の誕生背景

今回はニューラルネットワークの概念を理解し、Pythonでニューラルネットワーク構造を実装し理解したいと思います。 本記事の目的 ニューラルネットワークとは ニューラルネットワークの活用用途 ニューラルネットワークの学習方法 誤差伝播法の概念 実装編 …

Pythonで学ぶニューラルネットワークとは

記事を見て頂きありがとうございます。今回は中心極限定理について記事を書いてみました。中心極限定理について二項分布・正規分布・ポアソン分布を用いて説明します。 本記事の目的 中心極限定理とは 中心極限定理のシュミレーション 確率分布 正規分布とは…

中心極限定理をPythonで証明してみた

今回は地域と時間を説明変数に重回帰分析で地域ごとの気温を重回帰分析で予測します。 本記事の目的 重回帰分析とは 実施手順 1. サンプルデータの作成 2. 標本分布の確認 3. モデルの学習と評価 4. 交差検証で評価 本記事の目的 本記事は以下を目的としてい…

地域の気温をPythonで重回帰分析して予測してみた