case-kの備忘録

日々の備忘録です。データ分析とか基盤系に興味あります。

JavaScript

Material UIを使って株価アプリの見栄えをよくする

Material UIを使って見栄えをよくしたいと思います。 Material UIとは セットアップ Material UIを使うまえ Material UIを使ったあと Material UIとは ReactJSで人気のあるUIコンポーネントで、マテリアルデザインと呼ばれるGoogleが推奨するデザイン手法の…

React-ReduxとExpressでBigQueryからデータを取得するAPIを作る

React-ReduxとExpressでBigQueryからデータを取得するAPIを作りました。株価のアプリを作ろうと思い、その過程を記事にしている備忘録となります。 セットアップ 必要なモジュール 前提 サービスアカウントキー クライアントライブラリでAPIを作る アクショ…

Highcharts Reactで日経平均株価を表示する

Highchartsでグラフを描画するコンポーネントを作ってみました。株価のアプリを作ろうと思ってるので日経平均を表示させてみたいと思います。 完成イメージ セットアップ コンポーネントを作る コンポーネントを使う 完成イメージ 日経平均株価を表示するコ…

React-ReduxとExpressでイベント一覧を取得表示する

前回作成したExpressサーバからイベントデータを取得して、Reactで一覧表示させてみます。 www.case-k.jp バックエンドは前回作成したExpressサーバを使いフロントエンドをReactで作ります。 React:localhost:3000, Express:localhost:3001 Code セットア…

Express + Node.jsでイベント一覧を返すAPIを作る

Node.jsのフレームワークExpressで簡単にイベント一覧を返すAPIを作ります。 Expressのセットアップ イベント一覧を返すAPIを作る Expressのセットアップ まず、Node.jsとyarnコマンドをインストールします。yarnは2016年にFaceBookが公開したJavaScriptのパ…

JavaScript / 配列に含まれるJSONを文字列変換しSQLで使う

配列ないのJSONをパースし文字列に変換します。変換させた文字列はSQLのWhere句で使ったりします。 import _ from 'lodash' // json in array const jsonList = [ {'key':1}, {'key':2}, {'key':3} ] // from json to array const valueLsit = _.map(jsonLis…

Googleが提供するDataflowテンプレートを使う方法

Googleが事前に用意してくれてるDataFlowのテンプレートを使い、GCS上に配置したテキストファイルをDataflowで加工し、BigQueryのテーブルに書き込みます。 code Dataflowを実行するための選択肢 Googleの提供するテンプレートを使う code バケットの配下に…

分析基盤をPostgreSQLからBigQueryに移行させた時の知見

PostgreSQLベースのBIツールの参照DBをBigQueryに移行したことで、 パフォーマンスが大きく改善(30分以上 -> 10秒)したので、その時の知見をメモとして残しておきたいと思います。 経緯 BigQueryの選定理由 1. 現行がRDBベース 2. 集計結果のデータサイズが…