基礎情報理論

信号処理につづいて、情報理論です。
字が細かくてなかなか読みにくそうな本だなーという第一印象に反して、読みやすい本でした。

安田講堂がバリケード封鎖されていた頃に出版?
写真が汚いのは、この本が過酷な環境にさらされていたためです。
(所持してる本のコーヒーかかってる率の高いこと・・・)

全体を通して、丁寧な本です。
途中計算がわからない部分がありませんでした。
斬新なアプローチも見られました。(斬新といいつつ、古いのですが)

6割くらいしか読めませんでしたが、続きは夏休みに必ず読みたい。
興味の範囲とは随分ずれているにも関わらず。
そんな感じの良い本でした。

「基礎情報理論」

1章 情報理論の背景
 初めて海底電線を敷くことになったときの話。
 長距離なので信号が減衰してしまう。
 だから、送信機は大電力で、受信機は高感度で、信号を送ることにした。
 確かに信号は受信できたが波形が歪んでしまって情報を伝えることはできなかった。
 ・・・つまり、周波数特性を考えなきゃいけないのだということ。

2章 情報量の定量化
 確率pの事象の情報量を、-log(1/p)とする。
 底は2、単位はbit。

 1/pと逆数にするのは、起こる確率の低い事象ほど情報量が大きいため。
 対数にするのは、確率の積を情報量の和にしたいため。
 底を2とした理由は分かりません。
 でも、2進数で情報を扱うことを予言していたのかな・・・。

3章 確率過程からの情報
 サイコロは6種類。
 何回もふって出た目を並べたとします。
 ある時の出た目は、それ以前に出た目と関係があるか・・・?

 ありません。
 今までの目がなんだろうと、次に出る目は1/6ずつです。

 アルファベットは26種類。(大文字と小文字の区別は無視します。)
 文章を書くときは何文字も並べます。
 ある文字は、それ以前に書いた文字と関係があるか・・・?

 あります。
 Eの後にRが来る確率って高そう。
 (her、where、center・・・)
 こういう確率過程をマルコフ過程という。 

 いろんな英文からアルファベットに関する統計をとります。

 ただの確率過程(0重マルコフ過程)として、アルファベットを並べます。
 つまり使う情報は、Aは何パーセントの確率で出る、Bは何パーセントの確率で出る・・・という情報のみ。
 
 すると。
 OCRO HLI RGWR NMIELIS EU LL
 ただの暗号です。

 次に、単純マルコフ過程として、アルファベットを並べます。
 上の情報に加えて、Aの次にAが出る確率は何パーセント、Aの次にBが出る確率は・・・という情報も考える場合です。

 すると。
 ONE IE ANTSOUTINYS ARE T
 なんか英語らしくなったような・・・。

 さらに、2重マルコフ過程とすれば。
 IN NO IST LAT WHEY CRA TICT
 ずいぶん英語らしくなります。

4章 エントロピー
 エントロピーは情報量の平均のこと。
 それぞれの事象が起こる確率が等しいとき最大になる。
 
 晴れになる確率と、雨になる確率が全く同じだったら、毎日天気予報チェックしますよね。
 確率が等しいとエントロピーは最大。
 だいたい毎日晴れだったら、天気予報見なくてもいいやってなります。
 確率に大きな差があるとエントロピーは小さい。

5章 通信路
 単位時間当たりに送れる情報量を通信速度。
 通信速度の最大値を、通信路容量といいます。
 求めるときは、通報の伝達時間から高次方程式を解く。

6章 符号化
 シャノンの符号化と、ハフマンの符号化について。

 ハミング距離は符号のうち何桁が変化しているかということ。
 たとえば3桁の場合を考えます。
 ハミング距離が1だと、000 001 010 011 100 101 110 111。
 ハミング距離が2だと、000 011 110 101。
 ハミング距離が3だと、000 111。

 ハミング距離が大きくなるほど使える符号が少なくなります。
 その代りに、もしビットに誤りが生じても検出したり訂正したりできるようになります。
 ハミング距離が1だと、誤りの検出はできません。
 ハミング距離が2だと、1個の誤りが検出できます。
 ハミング距離が3だと、2個の誤りが検出でき、1個の誤りが訂正できます。

7章 連続確率関数の情報量
 確率関数が連続になった場合の情報量も類推で考えれば良いです。
 S/N比という言葉を耳にしたことがありますが、信号に対する雑音の比のことでした。

8章 周波数スペクトラム
 この章が、なかなか衝撃的でした。
 フーリエ変換の説明なのですが、アプローチが違う。

 今までのテキストの説明。
 周期関数は高調波の和として表現でき、つまりフーリエ級数として表現できる。
 さらに、非周期関数は、周期Tを無限にしたフーリエ級数として考える。
 これがフーリエ変換。

 新しい(実は古い)アプローチ。
 三角関数と非周期関数(つまり普通の関数)にどれくらいの相関関係があるかをフーリエ変換という。
 ここから発展させて、周期関数の周波数スペクトラムをフーリエ係数とします。
 そして、フーリエ級数になるという説明。
 つまり、全く逆の順序でした。

9章 標本化定理
 (1)離散関数が与えられたとき
 (2)離散関数から、フーリエ係数が得られる
 (3)フーリエ係数から、フーリエ変換が得られる
 (4)フーリエ変換から、連続関数が得られる(逆フーリエ変換による)
 サンプリング定理は、この手順が実行できることを意味します。

コメント

タイトルとURLをコピーしました