信息论三大定理？
香农第一定理又称为无失真信源编码定理或变长码信源编码定理。
香农第一定理的意义：将原始信源符号转化为新的码符号，使码符号尽量服从等概分布，从而每个码符号所携带的信息量达到最大，进而可以用尽量少的码符号传输信源信息。
信息论基础码集怎么算？
1.将信源符号按概率从大到小的顺序排列，假定p(x1)≥ p(x2)… ≥ p(xn)
2.给两个概率最小的信源符号p(xn-1)， p(xn)各分配一个码位"0"和"1"，将这两个信源符号合并成一个新符号，并用这两个最小的概率之和作为新符号的概率，结果得到一个只包含(n-1)个信源符号的新信源。称为信源的第一次缩减信源，用S1表表达。
信息论的基本内容有哪些呢？
信息以某种非同一般的方式运作。一般来说，当它被有抉择地分享时，它的价值就增加。它不会因为使用而贬值，尽管它可以过时。最为奇异的是，你可以在不舍弃信息的情状下将其分发。因此，它与货币或其他形式的能源，或物质在本质上截然不同。香农的信息概念建立在热力学熵的等式的基础上，并将信息的测度单位定为比特。比特的一个重要优点是：它能够为领域极其广泛的“物质-能量”所使用。
信息论的创始人香农提出了信息传播中“噪音”的概念，即是指由于技术故障或技术不完美造成的骚乱，并使得发出信号与接受信号之间出现信息失真，造成传播的阻碍。
信息论基础信源实际熵是什么？
信源X的熵为信源发送一个符号的平均信息量(期看)
H(X)=E[I(X)]=∑i=1np(xi)I(xi)=−∑i=1np(xi)logp(xi)H(X)=E[I(X)]=∑i=1np(xi)I(xi)=−∑i=1np(xi)logp(xi)
0