今天是寫作松的Day6,本日閱讀章節為第十章。

  • 高度驚異(High Surpisal)

本章重點聚焦在夏農熵(Shannon entropy)、文字以及壓縮,以這三者進行連結。

作者開頭以他曾經打電話去訂一家摩鐵的談話經驗作為開頭,因為對方英國腔過重,導致根本聽不清楚在說什麼,但是最後卻順利的完成了一連串的對話並結束通話了,就好像根本不必聽對方講了什麼,僅靠對話模板就大致有辦法猜出她的問題以及可能的回覆,也用這段故事引述後續所要討論的主題─熵。

如果對ML有初步認識的朋友,對於entropy應該有基礎的了解,在電腦科學領域,大致上可以解釋為將資訊做量化的動作,而這個量值便是entropy,中文也可以說是「資訊熵」,作者提了一個可以量化分析英文的工具叫做「夏農遊戲」(Shannon Game),規則類似於猜字遊戲,猜測總數便是熵值。作者表示夏農遊戲提供了一種十分精緻的方法,讓人把「閱讀」理解成一連串及其快速的猜測,而這其中牽涉到的是資訊熵的多寡,作者在書中有其一套解釋與舉例,但那是英文的部份,至於在中文上我本人想也到一個有趣的例子,就是:
「研表究名,漢字序順並不定一影閱響讀」
很有趣對吧,把自己都給騙了,也很難想像我打這段字時有多辛苦XD,雖然我舉的例子跟作者還是有所出入,但本質上都是就算你沒聽過夏農熵,但腦子裡就是有這東西,讓你不假思索就知道要怎麼用它。
而後作者又提及了壓縮的概念,再將壓縮投射到文字的使用上,但是大多都是英文舉例,對我這個非母語人士來說,看雖看得懂,但還是需要思考一下,沒有茅塞頓開的驚喜感,這點還是比較可惜的。

每日短摘:

熵跟硬碟空間和頻寬不一樣,它並不完全不涉情緒。資料傳輸是溝通,驚異是經驗。在硬碟大小和能力間近乎矛盾的地帶是資訊熵,在生命長短和能力之間的地帶,是你的人生。

系列文連結

#寫作松 #人工智慧 #書本選讀







Related Posts

[ 筆記 ]資訊安全 - 雜湊密碼:hash

[ 筆記 ]資訊安全 - 雜湊密碼:hash

Command Line 指令 & Vim 心得筆記

Command Line 指令 & Vim 心得筆記

Progressive Web App 會是未來趨勢嗎?

Progressive Web App 會是未來趨勢嗎?




Sponsored



Comments