Độ đo thông tin:
log
1
() = − log ()
Đơn vị đo: bit (lb), nat (ln), hart (lg)
1 nat = log2(e) = 1.4427 bit
1 hart = log2(10) = 3.3219 bit
Lượng tin riêng của 1 tin rởi rạc:
() = log
1
() = − log () (đơn vị tt)
Lượng tin riêng của 1 nguồn rời rạc:
() = (). log (1 )
=[r]