mysql 微软 编程 centos 开源 Windows Python Firefox Ubuntu php java Android 程序员 shell nginx google 云计算 linux wordpress apache

Hinton親自講解迄今未發表工作:膠囊理論的核心概念到底是什麽?

雷鋒網AI科技評論消息:近日,在加拿大多倫多大學向量學院發起的“2017 - 2018年機器學習進展與應用”研討會上,神經網絡之父Geoffrey Hinton做了一場報告《What is wrong with convolutional neural nets?》,在報告中Hinton講解了他多年來一直在做的研究工作,他稱之為“膠囊理論”(capsules theory)。

Hinton亲自讲解迄今未发表工作:胶囊理论的核心概念到底是什么?

在報告中,他認為“標準神經網絡”與真實的大腦神經網絡相比有以下四個問題:

1、池化過程並沒有很好地模仿大腦中形狀知覺的心理過程——它不能解釋為什麽我們人類能將內在的坐標系映射到物體上,以及為什麽這些坐標系這麽重要;

2、池化解決的問題是錯的——我們想要的是信息的同變性而不是不變性,是理清信息而不是丟棄信息;

3、池化沒有利用底層線性結構——它沒有利用在圖形中能很好地處理方差最大來源的自然線形流形。

4、池化在處理動態路由時很差勁——我們需要將輸入信息的每一部分路由到知道如何處理它的神經元中,找到最佳的路徑就是在解析圖像。

Hinton亲自讲解迄今未发表工作:胶囊理论的核心概念到底是什么?

Hinton提出了他“膠囊”(capsules)的概念。簡單地說,這些“膠囊”就是在神經網絡中構建和抽象出的子網絡。什麽意思呢?一個標準的神經網絡,層與層之間是全連接的(也就是說,層1中的每個神經元都可以訪問層0中的每個神經元,並且其本身也可以被層2中每個神經元所訪問),但這些連接並不一定都是有用的。“膠囊理論”的方案是,神經網絡由n個子網絡(膠囊)構成,每個膠囊都專註於做一些單獨的任務,膠囊本身可能需要多個層網絡來實現。其輸出包括物體所屬類型的概率以及物體的狀態信息(比如位置、方向、大小、形變、速率、顏色等)。低層次膠囊輸出的參數會被轉換成高層級膠囊對實體狀態的預測,如果預測一致,則輸出這一層次的參數。

Hinton亲自讲解迄今未发表工作:胶囊理论的核心概念到底是什么?

一個典型的膠囊將從多個低層次的膠囊中獲得信息(多維預測向量),然後尋找一個預測的緊致束(tight cluster of predication)。如果它能夠找到這個緊致束,那麽它就會輸出實體在這個域內類型存在的較高的概率,以及生成狀態的重心(狀態平均值)。這種方式可以很好地過濾掉噪聲,因為較高維度的巧合發生的概率很小,所以膠囊的方法要比“標準的神經網絡”好很多。Hinton說,他這種“膠囊”的想法是受到腦科學中對“迷你列組織”(mini-column organization)研究的很大的啟發。

此外,據雷鋒網了解,關於“膠囊理論”的研究Hinton已在多個場合做過類似的報告,不過目前Hinton好想並沒有打算把他的研究成果發表出去,因為他覺得現在的研究還沒有讓他滿意——那麽,當他對這項研究滿意的時候,會不會再次成為“the Father of ……”  ?

延伸阅读

    评论