statistics [情報量][Statistics]情報量とは何か？
情報量
情報量やエントロピー (entropy)は、確率の用語として用いる場合、「ある事象がどれほど起こりにくいか」を表す尺度である。
数式での定義
ある事象が起こる確率を\(p\)としたとき、事象が起こったことを知ると...
statistics
statistics 
statistics [Books][読書][Statistics][データサイエンス]因果推論の科学
因果推論の科学
Judea Perlによる一般向け統計書。もともと電気科学からAI研究、そしてベイジアンネットワークの研究を経て因果推論に深く関わるようになった研究者。この本は重要な本なので、読みながらまとめていく。
...
FX [Statistics][Foreign Exchange]水曜日のドル円は上昇する、あるいは7月のドル円は下落する
使用データ
引き続き時系列データの解析を行う。便利なので、ドル円の始値、高値などのデータを再度用いる。
一気に解析・図示
大した内容ではないので、一気にプロットまで。
import pandas as pd
imp...
python [Python][Statistics]様々な確率分布から、データが最もフィットするものを選ぶ方法
データの分布
手持ちデータの分布は、統計解析を行う上で重要であるが、暗黙の内に正規分布が採用されることが多いと思う。
以前の記事では、正規性の検定を行ったが、それでは、正規性が仮定できないとき、データがどのような分布に従うのか...
statistics [Statistics][感度・特異度]検査の感度・特異度・陽性尤度比・陰性尤度比について理解する
感度・特異度
検査の感度・特異度を語る上で欠かせないのは分割表を記載することに尽きる。
病気あり病気なし検査陽性\(a\)\(b\)検査陰性\(c\)\(d\)分割表
このように記載し、合計人数も書き込む。
病気あ...
FX [Statistics]変動値の従う分布について。正規分布と正規性の検定手法。
時系列データの正規性
国内総生産(GDP)やトヨタの株価などは時系列データと考えられる。時系列データの変動（一日のうちの値幅でもいいし、「高値」-「低値」でもいい）を考えた時、分布の仮定として正規分布を当てはまる事が多い。ところが、...
FX [python][Statistics]単位根検定とは？Pythonでの実装方法と結果の解釈について
単位根検定の基本：なぜ重要なのか
単位根検定は、時系列データが定常か非定常かを判断するための統計的手法である。時系列データの特性を理解するためには、そのデータが定常性を持っているかどうかを知ることが重要で、その理由は以下の通りである...
statistics [Statistics][Instrumental variant]操作変数法とはなにか？
操作変数法(Instrumental variables (IV) estimation)とは
曝露が統制できないとき、つまり、処置がランダムに割り当てられないときに、因果推論を行うための手法である。
図1: 操作変数法の説明...
plink [plink][genetics]遺伝子解析ソフトPLINKで行うQuality control
PLINK
以下のコード中では、"--"（ハイフン\(2\)つ）と"-"（ハイフン\(1\)つ）の違いには十分注意。
データのQuality controlのプロトコル
こちらの記事を参考に。
必要...
statistics [Statistics][Mendelian randomisation]メンデルランダム法とはなにか。
出典
BMJの記事から。
また、Tylerの解説記事も参照した。
また、実際の手順については以下のprotocol記事を参照した。
さらに、Rのpackageについてはこちら。
...