讀到保哥推薦的好文章: 從人工智慧、機器學習到深度學習，你不容錯過的人工智慧簡史 - INSIDE 硬塞的網路趨勢觀察
這一年來，人工智慧、機器學習、深度學習等名詞無所不在，一直開啟慈禧太后模式視若無睹充耳不聞也不是辦法，身為連院子都沒踏進的門外漢，讀完這篇文章算是有了概念摸到電鈴，未來聽人豪洨提及這些名詞不再一臉茫然。
簡單摘要如下:
- 「人工智慧」( Artificial Intelligence, AI )分為強人工智慧(會思考有意識，像科幻片裡會決定幹掉人類的那種)以及弱人工智慧(只模擬人類思維方式，無意識)
- 1950 年代，第一台通用電腦 EDVAC 問市十年，AI 概念首度在研討會上被提出引發熱議，在小說電影創作界也蔚為風氣，大家樂觀地預期 20-30 年內就能發展出與人腦智能程度相同的 AI
- 當年的 AI 受限電腦運算能力，侷限於用已知數學模型、演算法尋求答案，無法回答人類自己不知如何解答的問題
- 1970 年代，一些知名 AI 研究計劃結果不如預期，熱潮退去，政府企業研究單位紛紛收手，AI 第一次泡沫化
- 電腦硬體的運算能力依循摩爾定律(每兩年增強一倍)突飛猛進，比起 30 年前強大 100 萬倍，開始有機會實現以往不可能做到的事，例如: 機器學習
- 「機器學習」涵蓋電腦科學、統計學、機率論、博弈論，指用機器(電腦)分析大量資料(大數據)從中找出規律的「學習」過程，由於以資料為本，機器學習也是「資料科學」( Data Science )的熱門技術之一
- 機器學習理論有很多門派，例如：支援向量機(SVM，在垃圾信分類應用大放異彩)、決策樹( Decision Tree )、AdaBoost、隨機森林，其中有一派「類神經網路」( Neural Network )於 1980 年興起
- 類神經網路的概念是用電腦模擬人腦的運算模型，1986 年學者 Hinton 提出反向傳播算法可降低類神經網路所需的複雜運算量，但存在神經網路一旦超過3層就失效的瓶頸，跟 SVM、隨機森林等簡單有效的做法相比，類神經網路形同廢柴，一度被學術界鄙夷
- 儘管外界無人看好，Hinton 對神經網路不離不棄 30 年，在 2006 找到限制玻爾茲曼機(RBM)模型成功訓練多層神經網路，終於突破瓶頸。但因為神經網路的名聲之前臭掉了，Hinton 將多層神經網路( Deep Neural Network )重新命名為「深度學習」( Deep Learning )，把 SVM 等歸類為淺層學習( Shallow Learning )一吐怨氣
- 2006 年代深度學習使用 CPU 進行運算，速度不理想，跑一個模型要 5 天，發現有問題改一下又要再等五天，等訓練好不知等到猴年馬月。深度學習真正吸引世人目光，是 2012 年的事。
- ImageNet 圖像識別比賽自 2007 起年年在史丹佛舉辦，起吸引 Google、微軟、百度等大型企業角逐，歷年冠軍的錯誤率一直維持 28%-30% 難有突破，直到 2012 年 Hinton 帶領兩名學生推出具深度學習能力的 SuperVision 以 16.42% 錯誤率狂勝第二名的 26.22%，震驚世界
- 2013年 Google 人才收購了 Hinton 與他的學生，各家企業開始爭相投入深度學習領域。2015 年ImageNet 比賽由微軟拿下冠軍，3.5% 的錯誤率甚至比人類的 5% 還低
- 深度學習需要大量矩陣運算，SuperVision 2012 突破的關鍵在於採用「深度學習 + GPU」，原因在於 NVIDIA 於2006年推出全新運算架構CUDA，讓開發者有能力寫程式運用顯卡上的數百顆 GPU 進行運算，NVIDIA 自 GeForce 8 起全面支援 CUDA，GPU 運算能力被廣泛應用在深度學習、VR 及比特幣挖礦，股價一飛沖天。