论文部分内容阅读
麻省理工学院40届科学硕士、博士克劳德·香农曾经给信息理论学的先驱们提出了一个无法抗拒的挑战。一位年轻的研究生虽然很快便挑战成功，但他的解决方案却被世人忽视了几十年。
早在1948年，世界还处于一个模拟信号时代。CandidCamera(一档在美国颇受欢迎的电视节目)和埃德·沙利文(ED Sullivan，美国娱乐作家及电视节目主持人，以主持电视节目The Ed Sullivan Show闻名)才刚刚开始在电视屏幕上崭露头角；杰克·本尼(美国电影戏剧演员及广播家)的广播节目拥有上千万的听众。但信号不良却是不争的事实，电磁干扰、电视塔和接收器之间的物理障碍，以及其他被工程师称为“干扰”的各种来源，常常会打断本尼滔滔不绝的独白或沙利文的嘉宾表演。在很多地方，至少是在一些车站，人们面对“雪花”图像或受静电干扰的声音也只能发出一声叹息。
然而就在那一年，麻省理工学院的40届科学硕士、博士克劳德·香农(Claude Shannon)发表了一篇具有里程碑意义的论文。在论文中，他用数学方法证明了：即使是在大量噪音的干扰下，信息的零错误传输也是可能实现的。尽管那时的世界还是一个模拟信号时代，但这个令人瞠目结舌的结论源于香农能够数字化地思考问题。香农认为，任何媒介中的信息，都可以使用二进制数字，或者称为“比特”(bit)来表示。“比特”这个单词正是通过香农的论文被全世界熟知的。他解释道，尽管通信信道中的噪音会干扰比特的传输，但是利用已知算法对原始比特添加相关的附加位，即纠错码，就能够推算出原始比特的正确序列。
信道的干扰越多，需要的附加信息也就越多，以达到纠正错误的目的。而附加信息越多，传输速度也就越慢。香农解释了如何计算保证最小出错率的附加比特的最小值，这样也就计算出了信息零错误传输的最大概率。但当时他没能提出一个实际的编码方案。
研究人员用45年的时间找到了这样一个编码方案。1993年，两名法国工程师宣布了一套代码，即Turbo码，它使数据传输率接近达到香农提出的理论极限。人们最初的反应是怀疑，但随后的调查研究消除了这些怀疑。Turbo码的提出还使一个更加惊人的事实浮出水面：早在30年前，罗伯特·加拉格尔(Robert Gallager)(57届科学硕士、60届科学博士)在其麻省理工学院博士论文中，就已经提出一种和Turbo码不相伯仲的编码方案，这两种编码甚至还使用了同一类数学技巧。加拉格尔的代码被忽视了几十年后才终于有了用武之地，它们被用于卫星电视和无线数据的传输，商业手机中也有专门的芯片用于加拉格尔代码的解码。
信息理论的诞生
1956年，加拉格尔进入麻省理工学院深造，而香农则在这一年成为麻省理工学院的一名教授，在此之前，香农已经在贝尔实验室工作了15个年头。加拉格尔同时申请了麻省理工学院和耶鲁大学的研究生，但他当时选择麻省理工学院的原因并不是因为看中了与香农在一起工作的前景。“我当时在军队里做一些毫无意义的事，实在是厌烦了那种生活。麻省理工学院的开学日比耶鲁早一个礼拜，而我又迫切想离开军队，这就是我选择麻省理工学院的唯一原因。”加拉格尔在取得博士学位后留校任教40余年，到现在还作为荣誉教授指导电子研究实验室里的研究生。
香农在1948年的论文中引出了信息理论这个新学科，但在刚进入麻省理工学院的时候，加拉格尔甚至都不确定他是否想要学习这个新学科。在加入美国陆军通信兵团之前，加拉格尔也在贝尔实验室工作过几年，在那里，他曾经每星期花三天时间来学习电子工程学的最新进展。尽管他从未与香农谋面，那段经历却让他了解了香农的巨大成就。“在我眼里他都有点像上帝一样了。”加拉格尔说。
事实上，香农最初任教于麻省理工学院之时，已经是小有名气了。早在1953年，《财富》杂志上一篇关于信息理论的文章就曾宣称，“毫不夸张地说，不管是在和平时期的人类进步，还是在战争时期的人身安全，都更多依赖于信息理论富有成效的各种应用，而非爱因斯坦的著名方程式在制造炸弹或电厂方面的实际应用。”
抓住人们想象力的是，所有形式的信息，无论是文本、视频或音频，都能最终归结为只有1和0这两个数字的一组序列。商业数字设备在那时还没有出现，因此，001001010101000101011101这样的序列能够代表一段交响乐，或一段电影，或一种颜色，或一本书中的一行字等等，这就足以震撼人心了。但是正如香农在其论文中指出，他在贝尔实验室的同事拉尔夫·哈特利(Ralph Hartley)早在20年前就提出过相似的观点。这篇论文一直以来都吸引着信息工程师、并继续吸引香农及其工程师们的原因在于，在证明一定有某种编码能够传输零错误数据且接近满足信道容量这一命题时，他所使用的巧妙方法。
要想理解纠错码的工作原理，可以想象在一个有干扰的信道中传输一个四位信息。如果干扰导致其中一位翻转到对面，而接收端无法获知此错误，那么简单地重复这个四位信息，如将0011变成00110011，所以，若其中一位翻转到对面位置，接收端就会知道信息出错了，因为这个信息的两个版本不一致。但是这种方法不能确定哪个版本才是正确的，因此一个更好的编码方式是，使用四个附加位来代表四个原始信息位的相关信息：比如，第五位来表示一二位是否是相同值；第六位来表示三四位是否是相同值，第七位表示一三位的值是否相同，第八位表示二四位的值是否相同。如果前四位中的一位出现错位，后四位就能发现这个错误；如果后四位中的一位出现错位，其他的三位可以通过足够信息来弥补这一错误。
然而，香农的论文避开了现实中如何构建代码这个主题。他只是通过对完全随机选取的代码的一般特性作统计分析，来层层靠近纠错这一主题。要想大致了解香农的方法，我们可以将它应用于我们假定的对四位信息进行编码的八位序列。
一个四位信息有16种组成序列。香农为每种序列指定了只属于此序列的、随机选择的八位序列号，即“码字”。接收端与发送端都配备有一本码书，将16种四位信息和16个随机选择的8位码字对应起来。因为8位信息有256种组成序列，因此有240种序列没有出现在码书里。若接收端收到的是这240种序列之一，就能断定数据出错了。但只要16种被认可的码字之间的差异足够大，那么其中应该只有一个与出现错误的序列最近似。比如，若00000001和11111110都是有效码字，而00000011不是的话，那么接收端在收到00000011时就可以认定正确的码字最可能是00000001，而非11111110。
当然，在实际情况中，四位信息的传输问题根本不值一提。但是利用统计分析法，香农能够判断任何长度的编码信息，且不管信道中干扰的多少。特别是，他还能够严格地量化随机选择的码字的差异度，以及与错误序列最近似的码字 只有一种的可能性。尽管两个八位序列的近似可能性相对较大，但香农证明了若将码字加长，相似的可能性会呈指数递减。事实上，最令人惊讶的研究结果之一是，对于长信息来说，大多数随机分配的码字之间的差异度是极大的。这就意味着基本上任何编码方案，即生成码字的任何方式，都能够最大程度地保证信息在受干扰通道中的零错误传输。
“可以这样认为，一个理想的随机码一般而言可能也会是一个不错的代码，尽管这个想法的直觉成分比较多。”大卫·福尼(David Forney)(63届科学硕士、65届科学博士)说。福尼是Codex公司和摩托罗拉公司的前副总裁，1996年回到麻省理工学院任兼职教授。“结果是，这一想法极大地简化了香农的分析，现在我们可以认为那只是一个一般性的分析。”福尼停顿了一会儿，接着说，“这并不是说香农的分析十分简单，如果不是一个数学分支的话，他至少要发明出一些定理来。”对此，加拉格尔表示同意，对于香农1948年的论文，他说，“你研究一两年之后，就会发现它特别简单。因此很多人会告诉你，‘它其实非常简单’，事实也的确如此。”
难以抗拒的挑战
香农对信息的数学描述有很多个分支。他1948年的论文还引进了数据压缩的概念，即用较少的位表示相同的信息。WinZip或Stuffit等压缩程序可以将文件缩小一部分，这样文件不至于使电子邮件服务器过载，压缩技术还可用于节省硬盘空间等。信息理论还将密码学的研究放在了一个更为安全的数学平台上。事实上，加拉格尔认为，正是由于香农在贝尔实验室时期的密码研究，将他引向了全新的通信理念。
然而，到他再次回到麻省理工学院之时，香农已经开始感觉到围绕着信息理论的热情远远超出了这一理论本身的重大价值。在他1956年名为《浪潮》(The Bandwagon)的文章中，曾提到一些试图应用信息理论的领域，如“生物学、心理学、语言学、基础物理、经济学、组织理论和很多其他领域”，并提醒“这些应用应适度才好”。
香农不喜欢成为众人注目的焦点，这种不喜欢基本上近乎自我封闭。麻省理工学院79届毕业生、美国圣何塞州立大学商学院的教授乔尔·韦斯特(Joel West)正在写一本关于信息理论发展史的书，其中提到香农在麻省理工学院工作的22年里只带过7个研究生。“香农非常害羞腼腆，因此如果你想让他做你的导师，真得积极点儿才行。”加拉格尔说道，“我也是个害羞的人，甚至没有足够的自信走过去跟他说话。”
作为老师，香农对那些单调乏味的旧知识没有半点耐心。“他对新知识更感兴趣。”加州大学伯克利分校的数学荣誉教授埃尔温·伯莱坎普(Elwyn Berlekamp)(62届科学硕士、64届博士)说。伯莱坎普和加拉格尔是香农发表的最后一篇论文的合著者。“他不会讲得太多。”加拉格尔说，“但是他讲课就像是在做研究报告。我记得他曾经讲过的一门课，那个学期的25次课上，每次课都讲了一个新的研究成果。他一个接一个地讲着新的研究课题，而且每个课题都非常有趣。那真是段很棒的时光。”
“在我看来，香农有点不适合待在学术界。”苏黎世联邦理工大学的荣誉教授、信息理论家詹姆斯·L·莫赛(60届科学硕士、62届博士)认为，“他属于独立研究者的类型，应该用他那种特立独行的方式做研究。”
香农可能只是不习惯别人的奉承。据伯利坎普回忆，IEEE信息理论学会曾在1973年邀请香农到以色列本部发表演讲并接受首个香农奖(sharmon Award)，“我从来没见过比他还紧张的人。开讲前五分钟，他还倚在栏杆旁，看上去情绪很低沉。他很害怕站在讲台上让众人失望。因为台下的人期待看到上帝似的香农，尽管香农对我们来说的确是上帝，但他知道自己无法表现得像上帝。”
虽然说香农算不上是信息理论系学生的直接导师，他却给学生们设置了一个难以抗拒的挑战。随机编码在现实中根本无法实现：信息每增加一位，香农的假想码书大小就增加一倍。在网络中流通的一个1000位的数据包对应的码书中的条目比整个宇宙中的原子总数还要多。但任何一种更实际一点的编码机制，如重复原始信息，或使用附加位描述信息位，都等同于某种类型的随机编码方案，原因是它们会生成相同的码字。香农在证明绝大部分随机编码方案都能接近信道容量的同时，也为所有更加现实的编码方案增添了一些希望。
难以琢磨的代码
切合实际的编码方案不是使用码书来匹配码字和信息，而是使用一种通过计算从码字中提取信息的方法。使用一系列最大准确性的数学运算，能够判断和纠正受干扰的信道中可能受损的序列中的错误。
纠错码的特性之一是，一个好的编码算法不一定是一个好的解码算法。使用统计分析法(类似于香农的方法)，编码理论家们可以证明一个给定的代码是近似通道容量的，即此代码可以将码字之间的差异最大化。但这并不表示他们有解码的有效方法。
从香农的论文发表直到20世纪90年代早期，研究员们找到了越来越好的代码和解码算法。但是一个切合实际的近似通道容量的代码还是无法得出。福尼说，“编码理论家们曾经流传着一句话，基本上任何代码都是好代码，除了我们已知的那些。”
加拉格尔在他1960年的博士论文中提出的代码，保留了香农的假想系统中的部分随机性，并且没有牺牲解码的效率。和很多早期代码一样，加拉格尔使用了所谓的校验位，校验位用来表示其他的一些信息组的和是奇数还是偶数。但早期的代码使用了系统方法来生成校验位：第一个校验位可能表示第1～3个信息位的和是否为偶数；下一个校验位可能表示的是第2～4个信息位，如此类推。对比来看，加拉格尔的代码中，校验位和信息位之间的关联是随机的：第一个校验位可能描述，比如说，第4、第27和第83个信息位的和，下一个校验位可能描述的是第19、第42和第65个信息位。
加拉格尔能够用数学方法证明，对于长信息来说，其“假随机”代码是近似信道容量的。“但是我们也知道其他的近似通道容量的代码。”他说，“问题从来不是哪些代码是好代码，而是你能想出哪些解码算法。”
在这一点上，加拉格尔有了突破性的进展。他使用了迭代解码，意味着解码器将不止一次地通读数据，且每次都会对每个位做越来越精确的猜测。比如，如果校验位描述的位是每三个一组，那么其中任何两位的可靠信息都可以表达出第三个位的信息。加拉格尔的迭代解码算法是现今最常用的一种解码法，不仅用于解码加拉格尔自己发明的代码，也常用于解码Turbo码，还应用于人工智能系统中的统计推理。
“迭代技术是指先猜测一个接收位的值，并衡量这个值的可靠性大小。”福尼说，“因为它与其他位一起组成了校验码，因此你能得到更多关于这个位的信息。这样你就对其可靠性有了一个更优的评估。”最终，这些猜测能够完成对信息中所有位的连续解码。 尽管加拉格尔那时没能鼓起勇气去找香农做他的导师，但他说自己在写论文期间确实跟香农说过“三四次话”。“只不过跟香农说三四次话就像跟其他人说50次一样，他能非常非常快地理解你的想法。他不是特别擅长技术细节，但在纵观某个事物的整体结构方面，在这个事物是否行得通，怎样使其更好地工作方面，他肯定是我遇见过的最聪明的人。”
香农没有预见到加拉格尔代码的成功。“我记得香农说我的代码很有趣，但我没感觉他有任何兴奋之情。”加拉格尔知道这是为什么。加拉格尔代码越长，就越接近通信容量；但当代码越长时，解码过程也会变得越复杂——对那时的计算机来说可谓过于复杂。当然，编码研究员们知道计算机设备会越来越先进，但没有人知道计算机的发展会更适于哪些代码。
尽管如此，麻省理工学院还是马上聘用了加拉格尔。之后，尽管他的编码方案渐渐被人们淡忘，但他教导了大批的优秀学生，包括莫赛、福尼和伯利坎普，这些人对编码理论的贡献比加拉格尔有更直接更实际的影响。
然而，不管是他的代码长期受人忽视，还是这些代码最近又被人们想起，加拉格尔都泰然处之，这或许是因为他总是从长远的角度考虑。“他发明的东西可能会埋没了几十年之后让人们突然意识到那其实是个好东西。”麻省理工学院电气工程学教授文森·陈(Vincent Chan)说。陈至今仍然在自己的办公桌上摆放着曾与香农共用的办公室的门牌号。他回想到最近访问的一家大型软件公司的实验室，在那里一个研究员正在夸夸其谈一种新的压缩技术能够将视频软件压缩到原来的百分之一。陈当时就想指出，早在1974年加拉格尔就提到过这种技术。“很多理论我们都花了很长的时间来做全面认证。”他说，“当认证它们时，有很多很多种选择，你必须认真细心地思考很长一段时间，才能确定哪种才是正确选择。鲍勃(加拉格尔的昵称)做了很多这种工作。”
麻省理工学院电子研究实验室的信息理论家穆列尔·梅达尔(Muriel Meadard)对此表示同意，“鲍勃没有怕被别人抢先而四处奔波地要发表论文。”梅达尔回想起加拉格尔和一个年轻有为的信息理论家的谈话，理论家在描述自己的研究时谈到了一个刚被证明不久的定理。“鲍勃开始翻箱倒柜地找东西，他平时都是这个样子。”梅达尔说。最后他找出了自己的一篇论文的复印件，上面有多年前他提出的一些论点，没想到多年后，其中的论点已被其他人提出，并已发展为重要的科学定理。加拉格尔在科学领域的先知先觉无人能及。
现在，最接近一个给定信道的最大数据传输率的编码方法都是以加拉格尔代码为基础的。除了在电信方面的应用，加拉格尔代码还开始取代用于保护硬盘和其他存储设备中数据的旧代码。
对于像福尼一样在编码理论“黄金时期”工作在麻省理工学院的人来说，香农1948年的论文中所提的挑战得到解决，从某种程度上来说，可谓苦乐参半。“对于我们这些了解和热爱编码的人来说，我们不愿认为这个问题已经全部解决。但大多数人确实已经转移研究方向了。”福尼说。
“1950至1965年间，麻省理工学院是信息理论的温床。”乔尔’韦斯特表示，“那确实是个黄金年代。”
早在1948年，世界还处于一个模拟信号时代。CandidCamera(一档在美国颇受欢迎的电视节目)和埃德·沙利文(ED Sullivan，美国娱乐作家及电视节目主持人，以主持电视节目The Ed Sullivan Show闻名)才刚刚开始在电视屏幕上崭露头角；杰克·本尼(美国电影戏剧演员及广播家)的广播节目拥有上千万的听众。但信号不良却是不争的事实，电磁干扰、电视塔和接收器之间的物理障碍，以及其他被工程师称为“干扰”的各种来源，常常会打断本尼滔滔不绝的独白或沙利文的嘉宾表演。在很多地方，至少是在一些车站，人们面对“雪花”图像或受静电干扰的声音也只能发出一声叹息。
然而就在那一年，麻省理工学院的40届科学硕士、博士克劳德·香农(Claude Shannon)发表了一篇具有里程碑意义的论文。在论文中，他用数学方法证明了：即使是在大量噪音的干扰下，信息的零错误传输也是可能实现的。尽管那时的世界还是一个模拟信号时代，但这个令人瞠目结舌的结论源于香农能够数字化地思考问题。香农认为，任何媒介中的信息，都可以使用二进制数字，或者称为“比特”(bit)来表示。“比特”这个单词正是通过香农的论文被全世界熟知的。他解释道，尽管通信信道中的噪音会干扰比特的传输，但是利用已知算法对原始比特添加相关的附加位，即纠错码，就能够推算出原始比特的正确序列。
信道的干扰越多，需要的附加信息也就越多，以达到纠正错误的目的。而附加信息越多，传输速度也就越慢。香农解释了如何计算保证最小出错率的附加比特的最小值，这样也就计算出了信息零错误传输的最大概率。但当时他没能提出一个实际的编码方案。
研究人员用45年的时间找到了这样一个编码方案。1993年，两名法国工程师宣布了一套代码，即Turbo码，它使数据传输率接近达到香农提出的理论极限。人们最初的反应是怀疑，但随后的调查研究消除了这些怀疑。Turbo码的提出还使一个更加惊人的事实浮出水面：早在30年前，罗伯特·加拉格尔(Robert Gallager)(57届科学硕士、60届科学博士)在其麻省理工学院博士论文中，就已经提出一种和Turbo码不相伯仲的编码方案，这两种编码甚至还使用了同一类数学技巧。加拉格尔的代码被忽视了几十年后才终于有了用武之地，它们被用于卫星电视和无线数据的传输，商业手机中也有专门的芯片用于加拉格尔代码的解码。
信息理论的诞生
1956年，加拉格尔进入麻省理工学院深造，而香农则在这一年成为麻省理工学院的一名教授，在此之前，香农已经在贝尔实验室工作了15个年头。加拉格尔同时申请了麻省理工学院和耶鲁大学的研究生，但他当时选择麻省理工学院的原因并不是因为看中了与香农在一起工作的前景。“我当时在军队里做一些毫无意义的事，实在是厌烦了那种生活。麻省理工学院的开学日比耶鲁早一个礼拜，而我又迫切想离开军队，这就是我选择麻省理工学院的唯一原因。”加拉格尔在取得博士学位后留校任教40余年，到现在还作为荣誉教授指导电子研究实验室里的研究生。
香农在1948年的论文中引出了信息理论这个新学科，但在刚进入麻省理工学院的时候，加拉格尔甚至都不确定他是否想要学习这个新学科。在加入美国陆军通信兵团之前，加拉格尔也在贝尔实验室工作过几年，在那里，他曾经每星期花三天时间来学习电子工程学的最新进展。尽管他从未与香农谋面，那段经历却让他了解了香农的巨大成就。“在我眼里他都有点像上帝一样了。”加拉格尔说。
事实上，香农最初任教于麻省理工学院之时，已经是小有名气了。早在1953年，《财富》杂志上一篇关于信息理论的文章就曾宣称，“毫不夸张地说，不管是在和平时期的人类进步，还是在战争时期的人身安全，都更多依赖于信息理论富有成效的各种应用，而非爱因斯坦的著名方程式在制造炸弹或电厂方面的实际应用。”
抓住人们想象力的是，所有形式的信息，无论是文本、视频或音频，都能最终归结为只有1和0这两个数字的一组序列。商业数字设备在那时还没有出现，因此，001001010101000101011101这样的序列能够代表一段交响乐，或一段电影，或一种颜色，或一本书中的一行字等等，这就足以震撼人心了。但是正如香农在其论文中指出，他在贝尔实验室的同事拉尔夫·哈特利(Ralph Hartley)早在20年前就提出过相似的观点。这篇论文一直以来都吸引着信息工程师、并继续吸引香农及其工程师们的原因在于，在证明一定有某种编码能够传输零错误数据且接近满足信道容量这一命题时，他所使用的巧妙方法。
要想理解纠错码的工作原理，可以想象在一个有干扰的信道中传输一个四位信息。如果干扰导致其中一位翻转到对面，而接收端无法获知此错误，那么简单地重复这个四位信息，如将0011变成00110011，所以，若其中一位翻转到对面位置，接收端就会知道信息出错了，因为这个信息的两个版本不一致。但是这种方法不能确定哪个版本才是正确的，因此一个更好的编码方式是，使用四个附加位来代表四个原始信息位的相关信息：比如，第五位来表示一二位是否是相同值；第六位来表示三四位是否是相同值，第七位表示一三位的值是否相同，第八位表示二四位的值是否相同。如果前四位中的一位出现错位，后四位就能发现这个错误；如果后四位中的一位出现错位，其他的三位可以通过足够信息来弥补这一错误。
然而，香农的论文避开了现实中如何构建代码这个主题。他只是通过对完全随机选取的代码的一般特性作统计分析，来层层靠近纠错这一主题。要想大致了解香农的方法，我们可以将它应用于我们假定的对四位信息进行编码的八位序列。
一个四位信息有16种组成序列。香农为每种序列指定了只属于此序列的、随机选择的八位序列号，即“码字”。接收端与发送端都配备有一本码书，将16种四位信息和16个随机选择的8位码字对应起来。因为8位信息有256种组成序列，因此有240种序列没有出现在码书里。若接收端收到的是这240种序列之一，就能断定数据出错了。但只要16种被认可的码字之间的差异足够大，那么其中应该只有一个与出现错误的序列最近似。比如，若00000001和11111110都是有效码字，而00000011不是的话，那么接收端在收到00000011时就可以认定正确的码字最可能是00000001，而非11111110。
当然，在实际情况中，四位信息的传输问题根本不值一提。但是利用统计分析法，香农能够判断任何长度的编码信息，且不管信道中干扰的多少。特别是，他还能够严格地量化随机选择的码字的差异度，以及与错误序列最近似的码字 只有一种的可能性。尽管两个八位序列的近似可能性相对较大，但香农证明了若将码字加长，相似的可能性会呈指数递减。事实上，最令人惊讶的研究结果之一是，对于长信息来说，大多数随机分配的码字之间的差异度是极大的。这就意味着基本上任何编码方案，即生成码字的任何方式，都能够最大程度地保证信息在受干扰通道中的零错误传输。
“可以这样认为，一个理想的随机码一般而言可能也会是一个不错的代码，尽管这个想法的直觉成分比较多。”大卫·福尼(David Forney)(63届科学硕士、65届科学博士)说。福尼是Codex公司和摩托罗拉公司的前副总裁，1996年回到麻省理工学院任兼职教授。“结果是，这一想法极大地简化了香农的分析，现在我们可以认为那只是一个一般性的分析。”福尼停顿了一会儿，接着说，“这并不是说香农的分析十分简单，如果不是一个数学分支的话，他至少要发明出一些定理来。”对此，加拉格尔表示同意，对于香农1948年的论文，他说，“你研究一两年之后，就会发现它特别简单。因此很多人会告诉你，‘它其实非常简单’，事实也的确如此。”
难以抗拒的挑战
香农对信息的数学描述有很多个分支。他1948年的论文还引进了数据压缩的概念，即用较少的位表示相同的信息。WinZip或Stuffit等压缩程序可以将文件缩小一部分，这样文件不至于使电子邮件服务器过载，压缩技术还可用于节省硬盘空间等。信息理论还将密码学的研究放在了一个更为安全的数学平台上。事实上，加拉格尔认为，正是由于香农在贝尔实验室时期的密码研究，将他引向了全新的通信理念。
然而，到他再次回到麻省理工学院之时，香农已经开始感觉到围绕着信息理论的热情远远超出了这一理论本身的重大价值。在他1956年名为《浪潮》(The Bandwagon)的文章中，曾提到一些试图应用信息理论的领域，如“生物学、心理学、语言学、基础物理、经济学、组织理论和很多其他领域”，并提醒“这些应用应适度才好”。
香农不喜欢成为众人注目的焦点，这种不喜欢基本上近乎自我封闭。麻省理工学院79届毕业生、美国圣何塞州立大学商学院的教授乔尔·韦斯特(Joel West)正在写一本关于信息理论发展史的书，其中提到香农在麻省理工学院工作的22年里只带过7个研究生。“香农非常害羞腼腆，因此如果你想让他做你的导师，真得积极点儿才行。”加拉格尔说道，“我也是个害羞的人，甚至没有足够的自信走过去跟他说话。”
作为老师，香农对那些单调乏味的旧知识没有半点耐心。“他对新知识更感兴趣。”加州大学伯克利分校的数学荣誉教授埃尔温·伯莱坎普(Elwyn Berlekamp)(62届科学硕士、64届博士)说。伯莱坎普和加拉格尔是香农发表的最后一篇论文的合著者。“他不会讲得太多。”加拉格尔说，“但是他讲课就像是在做研究报告。我记得他曾经讲过的一门课，那个学期的25次课上，每次课都讲了一个新的研究成果。他一个接一个地讲着新的研究课题，而且每个课题都非常有趣。那真是段很棒的时光。”
“在我看来，香农有点不适合待在学术界。”苏黎世联邦理工大学的荣誉教授、信息理论家詹姆斯·L·莫赛(60届科学硕士、62届博士)认为，“他属于独立研究者的类型，应该用他那种特立独行的方式做研究。”
香农可能只是不习惯别人的奉承。据伯利坎普回忆，IEEE信息理论学会曾在1973年邀请香农到以色列本部发表演讲并接受首个香农奖(sharmon Award)，“我从来没见过比他还紧张的人。开讲前五分钟，他还倚在栏杆旁，看上去情绪很低沉。他很害怕站在讲台上让众人失望。因为台下的人期待看到上帝似的香农，尽管香农对我们来说的确是上帝，但他知道自己无法表现得像上帝。”
虽然说香农算不上是信息理论系学生的直接导师，他却给学生们设置了一个难以抗拒的挑战。随机编码在现实中根本无法实现：信息每增加一位，香农的假想码书大小就增加一倍。在网络中流通的一个1000位的数据包对应的码书中的条目比整个宇宙中的原子总数还要多。但任何一种更实际一点的编码机制，如重复原始信息，或使用附加位描述信息位，都等同于某种类型的随机编码方案，原因是它们会生成相同的码字。香农在证明绝大部分随机编码方案都能接近信道容量的同时，也为所有更加现实的编码方案增添了一些希望。
难以琢磨的代码
切合实际的编码方案不是使用码书来匹配码字和信息，而是使用一种通过计算从码字中提取信息的方法。使用一系列最大准确性的数学运算，能够判断和纠正受干扰的信道中可能受损的序列中的错误。
纠错码的特性之一是，一个好的编码算法不一定是一个好的解码算法。使用统计分析法(类似于香农的方法)，编码理论家们可以证明一个给定的代码是近似通道容量的，即此代码可以将码字之间的差异最大化。但这并不表示他们有解码的有效方法。
从香农的论文发表直到20世纪90年代早期，研究员们找到了越来越好的代码和解码算法。但是一个切合实际的近似通道容量的代码还是无法得出。福尼说，“编码理论家们曾经流传着一句话，基本上任何代码都是好代码，除了我们已知的那些。”
加拉格尔在他1960年的博士论文中提出的代码，保留了香农的假想系统中的部分随机性，并且没有牺牲解码的效率。和很多早期代码一样，加拉格尔使用了所谓的校验位，校验位用来表示其他的一些信息组的和是奇数还是偶数。但早期的代码使用了系统方法来生成校验位：第一个校验位可能表示第1～3个信息位的和是否为偶数；下一个校验位可能表示的是第2～4个信息位，如此类推。对比来看，加拉格尔的代码中，校验位和信息位之间的关联是随机的：第一个校验位可能描述，比如说，第4、第27和第83个信息位的和，下一个校验位可能描述的是第19、第42和第65个信息位。
加拉格尔能够用数学方法证明，对于长信息来说，其“假随机”代码是近似信道容量的。“但是我们也知道其他的近似通道容量的代码。”他说，“问题从来不是哪些代码是好代码，而是你能想出哪些解码算法。”
在这一点上，加拉格尔有了突破性的进展。他使用了迭代解码，意味着解码器将不止一次地通读数据，且每次都会对每个位做越来越精确的猜测。比如，如果校验位描述的位是每三个一组，那么其中任何两位的可靠信息都可以表达出第三个位的信息。加拉格尔的迭代解码算法是现今最常用的一种解码法，不仅用于解码加拉格尔自己发明的代码，也常用于解码Turbo码，还应用于人工智能系统中的统计推理。
“迭代技术是指先猜测一个接收位的值，并衡量这个值的可靠性大小。”福尼说，“因为它与其他位一起组成了校验码，因此你能得到更多关于这个位的信息。这样你就对其可靠性有了一个更优的评估。”最终，这些猜测能够完成对信息中所有位的连续解码。 尽管加拉格尔那时没能鼓起勇气去找香农做他的导师，但他说自己在写论文期间确实跟香农说过“三四次话”。“只不过跟香农说三四次话就像跟其他人说50次一样，他能非常非常快地理解你的想法。他不是特别擅长技术细节，但在纵观某个事物的整体结构方面，在这个事物是否行得通，怎样使其更好地工作方面，他肯定是我遇见过的最聪明的人。”
香农没有预见到加拉格尔代码的成功。“我记得香农说我的代码很有趣，但我没感觉他有任何兴奋之情。”加拉格尔知道这是为什么。加拉格尔代码越长，就越接近通信容量；但当代码越长时，解码过程也会变得越复杂——对那时的计算机来说可谓过于复杂。当然，编码研究员们知道计算机设备会越来越先进，但没有人知道计算机的发展会更适于哪些代码。
尽管如此，麻省理工学院还是马上聘用了加拉格尔。之后，尽管他的编码方案渐渐被人们淡忘，但他教导了大批的优秀学生，包括莫赛、福尼和伯利坎普，这些人对编码理论的贡献比加拉格尔有更直接更实际的影响。
然而，不管是他的代码长期受人忽视，还是这些代码最近又被人们想起，加拉格尔都泰然处之，这或许是因为他总是从长远的角度考虑。“他发明的东西可能会埋没了几十年之后让人们突然意识到那其实是个好东西。”麻省理工学院电气工程学教授文森·陈(Vincent Chan)说。陈至今仍然在自己的办公桌上摆放着曾与香农共用的办公室的门牌号。他回想到最近访问的一家大型软件公司的实验室，在那里一个研究员正在夸夸其谈一种新的压缩技术能够将视频软件压缩到原来的百分之一。陈当时就想指出，早在1974年加拉格尔就提到过这种技术。“很多理论我们都花了很长的时间来做全面认证。”他说，“当认证它们时，有很多很多种选择，你必须认真细心地思考很长一段时间，才能确定哪种才是正确选择。鲍勃(加拉格尔的昵称)做了很多这种工作。”
麻省理工学院电子研究实验室的信息理论家穆列尔·梅达尔(Muriel Meadard)对此表示同意，“鲍勃没有怕被别人抢先而四处奔波地要发表论文。”梅达尔回想起加拉格尔和一个年轻有为的信息理论家的谈话，理论家在描述自己的研究时谈到了一个刚被证明不久的定理。“鲍勃开始翻箱倒柜地找东西，他平时都是这个样子。”梅达尔说。最后他找出了自己的一篇论文的复印件，上面有多年前他提出的一些论点，没想到多年后，其中的论点已被其他人提出，并已发展为重要的科学定理。加拉格尔在科学领域的先知先觉无人能及。
现在，最接近一个给定信道的最大数据传输率的编码方法都是以加拉格尔代码为基础的。除了在电信方面的应用，加拉格尔代码还开始取代用于保护硬盘和其他存储设备中数据的旧代码。
对于像福尼一样在编码理论“黄金时期”工作在麻省理工学院的人来说，香农1948年的论文中所提的挑战得到解决，从某种程度上来说，可谓苦乐参半。“对于我们这些了解和热爱编码的人来说，我们不愿认为这个问题已经全部解决。但大多数人确实已经转移研究方向了。”福尼说。
“1950至1965年间，麻省理工学院是信息理论的温床。”乔尔’韦斯特表示，“那确实是个黄金年代。”