1916 年,第一次世界大戰(zhàn)激戰(zhàn)正酣。
在這一年的 4 月 30 日,遠離戰(zhàn)場的美國密歇根州佩托斯基(Petoskey),一個男嬰呱呱墜地。這個男嬰,就是我們這篇文章的主角 —— 香農(nóng)。
香農(nóng)的全名,叫做克勞德?艾爾伍德?香農(nóng)(ClaudeElwoodShannon)。他是美國著名數(shù)學(xué)家、發(fā)明家、密碼學(xué)家,也是信息論的創(chuàng)始人。
換句話說,我們現(xiàn)在所有 IT 人和通信人的共同祖師爺,就是他。
香農(nóng)從小就在一個名叫蓋洛德(Gaylord)的小鎮(zhèn)生活。他的父親,是這個小鎮(zhèn)的法官,名字叫克勞德?艾爾伍德?香農(nóng)(沒錯,他老爹給兒子取了和自己一毛一樣的名字)。
香農(nóng)的母親,是小鎮(zhèn)的中學(xué)校長,名叫梅布爾?沃爾夫?香農(nóng)(Mabel Wolf Shannon)。
父親是法官,母親是校長,這樣的知識分子家庭,教育氛圍當(dāng)然不會差。
讀書時候的香農(nóng),已經(jīng)表現(xiàn)出驚人的數(shù)學(xué)天賦。在 8 歲的時候,他就輔導(dǎo)他姐姐做高等數(shù)學(xué)作業(yè)。后來,他姐姐大學(xué)畢業(yè),成為了數(shù)學(xué)教授……
除了數(shù)學(xué)之外,小香農(nóng)特別喜歡搞發(fā)明創(chuàng)造,其中就包括電報機、電動船,以及各種機械動物。
這個興趣愛好,估計和他的爺爺有很大的關(guān)系。他爺爺是一位農(nóng)場主兼發(fā)明家,發(fā)明過洗衣機和很多農(nóng)用機械。
值得一提的是,香農(nóng)還有一個遠房親戚,也很喜歡搞發(fā)明。這位親戚的名字,叫愛迪生。
1936 年,20 歲的香農(nóng)從密歇根大學(xué)本科畢業(yè),順利拿到了數(shù)學(xué)和電子工程雙學(xué)位。隨后,他進入麻省理工學(xué)院繼續(xù)深造。
兩年后,香農(nóng)完成了他的碩士論文 ——《繼電器與開關(guān)電路的符號分析》。
在論文中,他首次提出,可以用布爾代數(shù)來描述電路。他將布爾代數(shù)的 "真" 與 "假" 和電路系統(tǒng)的 "開" 與 "關(guān)" 對應(yīng)起來,并用了數(shù)學(xué)中最簡單的兩個數(shù)字 ——“1”和“0”來表示。
香農(nóng)的這篇論文,雖然僅僅是碩士論文,但具有劃時代的意義。它奠定了數(shù)字電路的理論基礎(chǔ)。后來出現(xiàn)的計算機等設(shè)備,都以此為設(shè)計思路。
后來,著名計算機科學(xué)家赫爾曼?哥爾斯坦評價這篇論文是“有史以來最重要的一篇碩士論文”,“從藝術(shù)到科學(xué)上改變了電路的設(shè)計。”
因為這篇論文,香農(nóng)獲得了電子工程界的大獎 —— 美國 Alfred Noble 協(xié)會美國工程師獎。
正當(dāng)世人以為這位電子工程天才會繼續(xù)大展拳腳的時候,他卻沒了下文。直到兩年后,他發(fā)出了自己的博士論文 ——《理論遺傳學(xué)的代數(shù)學(xué)》,并憑此獲得了麻省理工的數(shù)學(xué)博士學(xué)位。
是的,這家伙玩了個跨界,竟然從電子工程學(xué)跨到了生物遺傳學(xué)……
此后,香農(nóng)去普林斯頓高等研究院待了一年,與愛因斯坦、馮?諾依曼等大師級人物有過交集。他的研究方向,變成了機械模擬計算機。
1941 年,香農(nóng)發(fā)表了新的論文 ——《微分分析器的數(shù)學(xué)理論》,通過機械式計算機來求解微分方程。
同年,香農(nóng)加入了著名的貝爾實驗室(此后一直工作到 1972 年)。
最開始進入貝爾實驗室的時候,香農(nóng)是去的數(shù)學(xué)部,從事和戰(zhàn)爭相關(guān)的工作 —— 研究火力控制系統(tǒng)和密碼學(xué)。
他所在的密碼破譯團隊,主要負(fù)責(zé)追蹤納粹德國的飛機和火箭。他還用數(shù)學(xué)手段,推導(dǎo)了 X 系統(tǒng)的安全性。這個 X 系統(tǒng),就是指英國首相丘吉爾和美國總統(tǒng)羅斯福之間的專用電話線路。
1943 年,英國著名數(shù)學(xué)家、密碼學(xué)家阿蘭?圖靈訪問貝爾實驗室,并與香農(nóng)共進午餐。
鑒于兩人的特殊工作性質(zhì),他們并沒有進行密碼學(xué)的交流,反而更多的是討論人造思維機器(也就是后來的 AI 人工智能)。
當(dāng)時,香農(nóng)告訴圖靈,他不僅僅滿足于向這臺“大腦”里輸入數(shù)據(jù),還希望把文化的東西灌輸進去。
這個想法震驚了阿蘭?圖靈,他感到非常不可思議,驚呼道:“他(香農(nóng))想給它來點音樂!”
后來,隨著對密碼研究的不斷深入,香農(nóng)逐漸形成了一套完整的密碼學(xué)理論。與此同時,他開始思考有效通信系統(tǒng)的問題?,F(xiàn)代信息論的思想雛形,逐漸在他的腦海里形成。
1945 年,他向貝爾實驗室提交了一份備忘錄 ——《密碼學(xué)的一個數(shù)學(xué)理論》。
1948 年 6 月至 10 月,香農(nóng)在《貝爾系統(tǒng)技術(shù)雜志》連載了那篇改變?nèi)祟惿鐣l(fā)展軌跡的論文 ——《通信的數(shù)學(xué)理論》。次年,香農(nóng)又在該雜志發(fā)表了另一篇著名論文 ——《噪聲下的通信》。
在這兩篇論文中,香農(nóng)給出了通信系統(tǒng)的基本模型,提出了信息熵的概念以及數(shù)學(xué)表達式。
大家如果是工科出身且還記得通信原理的話,就知道,一條信息的信息量大小,和它的不確定性有直接關(guān)系。
舉個例子:如果我告訴你,世界是圓的。這種非常確定的內(nèi)容,信息量是 0(等于一句廢話)。如果我告訴你,XX 樹下埋了一百萬美金,那這個信息量就很大。上面那個公式,就是根據(jù)確定性大小算信息量的,考研必考題。
香農(nóng)指出,信息是可以被量化的,用數(shù)字編碼可以代表任何類型的信息。信息進行數(shù)字化后,可以經(jīng)壓縮再傳輸,極大地減少傳輸時間和傳輸成本。
香農(nóng)還推出了比特的概念(他將發(fā)明這個詞的榮譽歸功于自己的同事約翰?圖基),將其稱為“用于測量信息的單位”。
眾所周知,比特后來成為了信息時代的基石。我們今天在互聯(lián)網(wǎng)上所有的信息,都在用它來表達。
除了信息熵之外,香農(nóng)還在論文中提出了大名鼎鼎的香農(nóng)公式。
簡單來說,信息熵討論的是信息量及數(shù)據(jù)壓縮的臨界值。而香農(nóng)公式,則是討論通信速率的極限值。
具體細(xì)節(jié)我們就不討論了哈,不然人都跑光了。
我們只需要知道,直到現(xiàn)在的 5G,我們還沒有逃脫香農(nóng)公式的“魔爪”。有些人一輩子干的事,就是無限逼近香農(nóng)公式的極限。
兩篇論文的發(fā)表,奠定了信息論的基礎(chǔ),對學(xué)術(shù)界造成了巨大的震動,影響力絲毫不亞于 1947 年 12 月世界上第一個晶體管的發(fā)明(同樣來自貝爾實驗室)。
當(dāng)時,因為信息論的觀點非常超前,還引起了一些質(zhì)疑和反對。后來,隨著時間的推移,信息技術(shù)迅速發(fā)展,信息論的價值越發(fā)顯現(xiàn),香農(nóng)也確立了自己“信息和通信雙料祖師爺”的地位。
忘了說了,發(fā)表論文時的香農(nóng),才 33 歲。
1949 年,香農(nóng)在備忘錄《密碼學(xué)的一個數(shù)學(xué)理論》的基礎(chǔ)上,又發(fā)表一篇重要論文 ——《保密系統(tǒng)的通信理論》。
這篇論文再次震驚學(xué)術(shù)界。波士頓環(huán)球報稱:“這一發(fā)現(xiàn)將密碼從藝術(shù)變成為科學(xué)”。
論文開辟了用信息論來研究密碼學(xué)的新思路,奠定了現(xiàn)代密碼理論的基礎(chǔ)。香農(nóng)也憑此成為近代密碼理論的奠基者和先驅(qū)。
1949 年 3 月 27 日,香農(nóng)迎娶了自己在貝爾實驗室的同事,瑪麗?伊麗莎白?摩爾(Mary Elizabeth Moore),然后繼續(xù)從事自己熱愛的科學(xué)研究工作。
1952 年,香農(nóng)夫婦共同推出了著名的“會走迷宮的老鼠”—— 忒修斯。
這是一只木制的、帶有銅須的玩具老鼠。它能通過不停地隨機試錯,穿過一座由金屬墻組成的迷宮,直到在出口處找到一塊金屬的“奶酪”。
最厲害也最具獨創(chuàng)性的是:“忒修斯”能夠記住這條路線,甚至在下一次任務(wù)中,迷宮的墻壁有所移動,都難不倒它。
當(dāng)時,香農(nóng)還專門拍攝了一段影像,制作成電視節(jié)目,展示這只老鼠。這個節(jié)目引起了公眾的極大興趣,在人們看來,這就是一只“會思考”的老鼠啊。
其實,走迷宮的秘訣并不在老鼠身上,而是在迷宮上。迷宮各處隱藏了 75 個繼電器開關(guān),通過這些簡單的只具有開關(guān)功能的設(shè)備,最終實現(xiàn)了老鼠的所謂“智能”。
1956 年,香農(nóng)成為麻省理工學(xué)院(MIT)的客座教授。1958 年,成為終生教授。
1961 年,香農(nóng)和同事索普做出一個香煙盒大小的小型計算機,小盒子藏在口袋里,用大腳趾控制藏在鞋子里的開關(guān)。這個設(shè)備用來干什么呢?用來預(yù)測賭場的輪盤賭結(jié)果,計算小球落在輪盤不同位置的概率。
憑借這個設(shè)備,他們倆還真的在拉斯維加斯贏到了錢。后來,因為被盯上,所以趕緊放棄并離開了。
香農(nóng)另一個著名的發(fā)明,是一個會下國際象棋的機器。這個機器用了 150 個繼電器開關(guān),具備不錯的計算能力。1965 年,香農(nóng)帶著這個機器跑去挑戰(zhàn)當(dāng)時的世界冠軍 Mikhail Botvinnik。雖然最后還是輸了,但表現(xiàn)不賴。
1973 年,在以色列阿什凱隆召開的信息論國際研討會上,IEEE 命名了香農(nóng)獎,并把這一獎項授于香農(nóng)本人。這種自己領(lǐng)自己名字命名的獎的做法,后來被人戲稱為“香農(nóng)套路”。
1985 年,在英格蘭布萊頓舉行的“國際信息理論研討會”上,香農(nóng)突然現(xiàn)身,引起了全場轟動。參加會議的年輕學(xué)者簡直不敢相信自己的眼睛,竟然親眼看見了信息理論的祖師爺!更讓人瞠目結(jié)舌的是,香農(nóng)竟然在會場上表演起了拋物雜耍,讓整個會場更加沸騰。。。
香農(nóng)當(dāng)年還是投資大師、炒股高手,擅于采用套利的手法,迅速賺取財富。
1986 年 8 月 11 日,著名的《巴倫周刊》曾匯總了 1026 家共同基金的近期表現(xiàn),香農(nóng)排名第一。。。
剛才我們提到香農(nóng)在會場表揚拋物雜耍。其實,香農(nóng)終身都熱愛雜耍。在很年輕的時候,他就學(xué)會了騎獨輪車和拋接球。當(dāng)年在貝爾實驗室上班的時候,他經(jīng)常特立獨行地騎獨輪車去上下班,成為一道靚麗的風(fēng)景線。
到了晚年時期,香農(nóng)對雜耍的熱愛簡直到了癡迷的地步。他花了很多時間刻苦練習(xí),不斷提高雜耍水平。他甚至還擁有一張雜耍學(xué)博士證書,視為至寶。
除了雜耍之外,他還熱衷于制造玩具。他建造了火焰噴射喇叭、火箭驅(qū)動飛盤、自動下棋機器人等各種奇怪的玩具。
在后來人工智能先驅(qū)馬文?閔斯基的啟發(fā)下,他設(shè)計了一個被稱為“終結(jié)機器”的機器人。當(dāng)你把開關(guān)撥到“開”,盒子打開并伸出一個機械手,它把開關(guān)撥回到“關(guān)”,然后機械手縮回到盒子里去。
“終極機器”……
在馬薩諸塞州溫徹斯特香農(nóng)的家中(香農(nóng)稱為“熵宅”),堆滿了他的小發(fā)明。他的車庫中存放了至少 30 輛奇特的獨輪車,其中包括一個沒有腳蹬的獨輪車,一個是方形的輪胎的獨輪車,一個特為兩個人騎的獨輪車。。。
香農(nóng)還把玩雜耍上升到理論的高度,開始撰寫《統(tǒng)一的雜耍場理論》。。。
遺憾的是,這篇作品還沒有完成,香農(nóng)就因阿爾茲海默癥于 2001 年 2 月 26 日去世了,享年 85 歲。
著名學(xué)者理查德?布拉胡特(Richard Blahut)教授在香農(nóng)雕像(位于香農(nóng)老家蓋洛德鎮(zhèn))的落成典禮上,是這么評價香農(nóng)的:
“在我看來,兩三百年之后,當(dāng)人們回過頭來看我們的時候,他們可能不會記得誰曾是美國的總統(tǒng)。他們也不會記得誰曾是影星或搖滾歌星。但是仍然會知曉香農(nóng)的名字。學(xué)校里仍然會教授信息論?!?/p>
致敬!偉大的信息論之父 —— 克勞德?艾爾伍德?香農(nóng)!
參考文獻:
1、香農(nóng)的信息論究竟牛在哪里,知乎,科言君
2、“信息時代之父”香農(nóng):用一只木老鼠奠定人工智能的基礎(chǔ),大科技雜志社
3、香農(nóng)傳:從 0 到 1 開創(chuàng)信息時代,中信出版社,吉米?索尼,羅博?古德曼
4、信息論,一個撬動地球的支點,坤鵬論
5、香農(nóng) Claude Shannon 有哪些奇聞軼事,知乎
6、信息論之父香農(nóng),丁玖
7、克勞德?艾爾伍德?香農(nóng),百度百科詞條
本文來自微信公眾號:鮮棗課堂 (ID:xzclasscom),作者:小棗君
廣告聲明:文內(nèi)含有的對外跳轉(zhuǎn)鏈接(包括不限于超鏈接、二維碼、口令等形式),用于傳遞更多信息,節(jié)省甄選時間,結(jié)果僅供參考,IT之家所有文章均包含本聲明。