エントロピー

情報量 情報量やエントロピー (entropy)は、確率の用語として用いる場合、「ある事象がどれほど起こりにくいか」を表す尺度である。 数式での定義 ある事象が起こる確率を\(p\)としたとき、事象が起こったことを知ると...