case-kの備忘録

備忘録です。

Python

Pythonで多変量解析、3変数以上の偏相関係数を算出してみた

この記事では説明変数3つ以上の偏相関係数算出方法をPythonで行います。実際のコードはこちらにあげておきます。 github.com 偏相関係数とは 偏相関係数とは変数間の交互作用を取り除いた純粋な相関係数と言えます。 多変量である場合、個々の説明変数が互い…

GCS上のファイルをDataFrameで読み込んでみた。

JupyterでGCSにあるファイルを読み込み、DataFrameとして扱う方法を紹介します。サーバにいちいちデータを落としたくない場合やディスク容量がない場合に使えるかもしれません。いつも通り完全に備忘録です。 from google.cloud import storage as gcs bucke…

【GCP入門】大規模データの前処理に!Dataprocクラスタ上で、Datalabを活用したデータ分析環境構築

今回は、GCPの可視化分析ツールDatalab [Goolge Cloud Datalab] の環境構築に関する記事を書いてみました。 Dataproc [Goolge Cloud Dataproc]クラスタ上でDatalabを構築するメリットを実際のユースケースも考慮して書いてみます。 本記事の目的 Datalabとは…

【GCP入門】大規模データの前処理に!DataprocでPySparkジョブを実行し、GCS内のデータを加工する

今回はDataproc クラスタ上でジョブを実行し、GCS内のデータを加工したいと思います。 本記事の目的 本記事の用途 事前準備[ Dataprocクラスタ, GCSバケット ] PySparkで簡単なジョブを実行 Pig ジョブの実行 出力ファイルの取得 GCS内のデータを活用してPyS…

モデルのパラメータ探索手法、「グリッドサーチ」ってなんだ

今回はモデルの性能を向上させるための手法、グリッドサーチの記事を書いてみました。 本記事の目的 グリッドサーチとは 単純なグリッドサーチ 単純なグリッドサーチの問題点 単純なグリッドサーチの解決策について 交差検証を用いたグリッドサーチ 本記事の…

モデルの汎化性を評価する「交差検証」について、Pythonで学んでみた

今回はモデルの汎化性を評価するための統計手法である交差検証について記事を書いてみました。 本記事の目的 交差検証とは 交差検証のメリット・デメリット k分割交差検証(k-fold cross-validation)とは 層化k分割交差検証とは 活用用途 本記事の目的 ・交差…

ランダムフォレストで癌の良性・悪性を分類予測してみた

ランダムフォレストで癌の良性・悪性を分類分類予測してみました。以前にChainerで同様の癌の分類問題を行ったので、比較してみたいと思います。 ランダムフォレストとは ランダムフォレストのメリット・デメリット メリット デメリット 実装編 ランダムフォ…

Pythonで学ぶポアソン分布とは

代表的確率分布の一つである、ポアソン分布について記事を書きました。ポアソン分布の概要や実際の例題を解きながら理解を深めていきたいと思います。 ポアソン分布とは 例題 二項分布とポアソン分布の関係 ポアソン分布とは 「単位時間あたりに平均 λ 回起…

Chainerで癌の良性・悪性を分類予測してみた

Chainerで癌の良性・悪性の分類予測を試してみたいと思います。 Chainerとは Chainerのメリット Chainer構造理解 実装編 Chainerで計算できるデータ形式に変換 Chainerで使用するデータセットの形式 モデルの定義 モデルの定義 Optimizerの定義 Iteratorの定…

Pythonで学ぶ標準化とは

異なるグループ間の比較方法として「標準化」と呼ばれる統計的手法があります。同じテストの結果を比較することはは容易ですが、異なる科目のテスト結果の比較は点数だけでは判断できません。このような場合「標準化」は有益です。今回は「標準化」の関連用…

Pythonで学ぶ二項分布と正規分布の関係性

代表的な確率分布として正規分布や二項分布、ポアソン分布があります。本記事では二項分布と正規分布の関係性について、実際にPythonで例題を解きながら理解していきたいと思います。二項分布については以下よりご確認ください。 case-k.hatenablog.com この…

Pythonで学ぶ二項分布とは

代表的確率分布の1つである二項分布について、実際にPythonで例題を解きながら理解したいと思います。 この記事の目的 二項分布とは ベルヌーイ試行とは ベルヌーイ分布に従う場合の確率・期待値・分散 活用用途 例題 例題 (1) 例題 (2) 例題 (3) この記事の…

Pythonで学ぶニューラルネットワークとは

今回はニューラルネットワークの概念を理解し、Pythonでニューラルネットワーク構造を実装し理解したいと思います。 本記事の目的 ニューラルネットワークとは ニューラルネットワークの活用用途 ニューラルネットワークの学習方法 誤差伝播法の概念 実装編 …

中心極限定理をPythonで証明してみた

記事を見て頂きありがとうございます。今回は中心極限定理について記事を書いてみました。中心極限定理について二項分布・正規分布・ポアソン分布を用いて説明します。 本記事の目的 中心極限定理とは 中心極限定理のシュミレーション 確率分布 正規分布とは…

地域の気温をPythonで重回帰分析して予測してみた

今回は地域と時間を説明変数に重回帰分析で地域ごとの気温を重回帰分析で予測します。 本記事の目的 重回帰分析とは 実施手順 1. サンプルデータの作成 2. 標本分布の確認 3. モデルの学習と評価 4. 交差検証で評価 本記事の目的 本記事は以下を目的としてい…

広告施策効果のt検定をPythonでしてみた

今回は対応のあるt検定について記事を書きたいと思います。対応のあるt検定は因果など調べる際に便利な統計手法です。広告施策の効果検証を施策前後のアクセス数の変化から判断したいケースがあると思います。 実施してみてWEBサイトのアクセス数が増えてい…

最小二乗法の傾きが0でないことをPythonでt検定してみた

データを分析して実際に偶然ではなく本当に確からしいのか確かめる方法として仮説検定があります。仮説検定とはある仮説に対して、本当にそれが確からしいか調べるための統計学手法です。 今回は仮説検定の1つである1変量データに対するt検定[両側]で問題を…