Neblux 知識グラフ
情報理論
情報理論は、不確実性・符号化・通信路における信号伝送を数学的に探究する学問分野である。
概要
シャノンの 1948 年の枠組みは、意味ではなく統計的不確実性を測る。離散無記憶通信路では、容量を下回る符号化率で適切な符号を選ぶことにより、符号長の増加とともに復号誤りの確率を任意に小さくできる。これは指定されたモデルでの結果であり、有限長のメッセージが必ず無誤りになるという保証ではない。
なぜ重要か
Strong らはハエの視覚を研究し、エントロピーの推定から、スパイクの時刻が動く刺激についてどのような情報を運ぶかを調べた。統計的な情報尺度を実験記録に結び付ける例であり、結論は刺激と標本の取り方に依存する。