case-kの備忘録

日々の備忘録です。データ分析とか基盤系に興味あります。

Digdagを使ってBigQueryのジョブを実行してみる

業務でDigdagを使う機会かあったので、DigDagを使ってBigQueryのジョブを実行してみました。 事前準備 JDK 8u72をインストール DigDagをインストール サービスアカウントキーを発行 データセットをつくる DigDagを使ってみる ジョブ 依存関係を定義 ディレク…

書籍メモ:効果検証入門 3章 傾向スコアを用いた分析

本記事は効果検証入門3章の備忘録となります。 概要 傾向スコアとは 活用用途について 傾向スコアマッチング IPW 実践 事前準備 傾向スコアマッチング マッチング後のデータで効果の推定 IPW 傾向スコアと回帰分析はどちらを使うべきか 所感 概要 傾向スコア…

書籍メモ:効果検証入門 2章 介入効果を測るための回帰分析 

効果検証の2章では回帰モデルを使い、介入変数の説明力から因果関係を解釈します。www.case-k.jp 概要 実践 データ項目 RCTでデータを絞り込む。 バイアスのあるデータを作る 回帰分析 分析結果のレポート 回帰分析におけるセレクションバイアスと解決策 セ…

書籍メモ:効果検証入門 1章 セレクションバイアスとRCT

本記事は効果検証入門1章の備忘録となります。gihyo.jp 概要 セレクションバイアスとは RCTとは RCTの状態をつくりだすにはコストがかかる 実践編 データ項目 RCTと効果検証 バイアスのあるデータの効果検証 概要 セレクションバイアスとは 比較しているグ…

Cloud BuildでGKEのデプロイ作業を自動化させる

Cloud Buildを使いアプリのデプロイ作業を自動化してみました。Cloud Source RepositoriesへのpushをトリガーにDockerfileをビルド、イメージをContainer Registry に登録、登録したイメージをGKEのクラスタにデプロイさせます。 Cloud Buildの基本操作 マニ…

Google Kubernetes Engineにアプリをデプロイする方法

Google Kubernetes Engine上にコンテナ化した株価アプリをデプロイしてみました。 アプリの構成 セットアップ GKEのクラスタを作成 DockerfileをGoogle Cloud Registoryにpushする マニフェストファイルの作成 Deploymentを定義(React+Nginx)ーreact-app-dep…

Google Container Registryの概要と実践

GKE上にアプリをデプロイさせる上でこれまで作ったアプリのイメージをレジストリに登録します。レジストリにはGCPのGoogle Container Registryを使ってみたいと思います。 概要 Container Registry とは 実践 Container Registry の認証 イメージをビルドす…

アプリをコンテナ化したのでローカルの開発環境をdocker-composeで整備した

アプリをコンテナ化したのでローカルの開発環境をdocker-composeで作りました。 構成 アプリの構成は次のようになっています。 React 役割:フロントエンド(Express APIから取得データの描画) Express 役割:バックエンド(BigQueryからのデータ取得) Nginx …

株価アプリをコンテナ化させる(React/Express)

株価アプリをコンテナ化して行きます。次のアプリのDockerfileを作りdocker-composeでコンテナ間通信させます。 www.case-k.jp Dockerfile Express モジュールのインストールと動作確認 Dockerfile作成 React モジュールのインストールと動作確認 Dockerfile…

entrykitのテンプレート機能を使い、Nginxの設定を環境変数で制御する

entrykitのテンプレート機能を使ってNginxのDockerfileを作ります。 Code entrykitとは Nginxのイメージを取得 コンテナ内の設定ファイルを確認 環境変数を制御 設定ファイルを作成 ログ:etc/nginx/conf.d/log.conf バックエンドサーバ振り分けーetc/nginx/…