backpropagation發明者

① 反向傳播演算法的介紹

反向傳播演算法（英：Backpropagation algorithm，簡稱：BP演算法）是一種監督學習演算法，常被用來訓練多層感知機。 於1974年，Paul Werbos[1]首次給出了如何訓練一般網路的學習演算法，而人工神經網路只是其中的特例。不巧的，在當時整個人工神經網路社群中卻無人知曉Paul所提出的學習演算法。直到80年代中期，BP演算法才重新被David Rumelhart、Geoffrey Hinton及Ronald Williams[2][3]、David Parker[4]和Yann LeCun[5]獨立發現，並獲得了廣泛的注意，引起了人工神經網路領域研究的第二次熱潮。BP演算法是Delta規則的推廣，要求每個人工神經元（節點）所使用的激勵函數必須是可微的。BP演算法特別適合用來訓練前向神經網路。

② 什麼是反向傳播演算法

反向傳播演算法適合於多層神經元網路的一種學習演算法，它建立在梯度下降法的基礎上。反向傳播演算法網路的輸入輸出關系實質上是一種映射關系：一個n輸入m輸出的BP神經網路所完成的功能是從n維歐氏空間向m維歐氏空間中一有限域的連續映射，這一映射具有高度非線性。

反向傳播演算法主要由兩個環節(激勵傳播、權重更新)反復循環迭代，直到網路的對輸入的響應達到預定的目標范圍為止。

反向傳播演算法的信息處理能力來源於簡單非線性函數的多次復合，因此具有很強的函數復現能力。這是BP演算法得以應用的基礎。反向傳播演算法被設計為減少公共子表達式的數量而不考慮存儲的開銷。反向傳播避免了重復子表達式的指數爆炸。

(2)backpropagation發明者擴展閱讀：

BP演算法(即反向傳播演算法)適合於多層神經元網路的一種學習演算法，它建立在梯度下降法的基礎上。BP網路的輸入輸出關系實質上是一種映射關系：一個n輸入m輸出的BP神經網路所完成的功能是從n維歐氏空間向m維歐氏空間中一有限域的連續映射，這一映射具有高度非線性。它的信息處理能力來源於簡單非線性函數的多次復合，因此具有很強的函數復現能力。這是BP演算法得以應用的基礎。

③ 什麼是Error_Back－Propagation

誤差反向傳播演算法（Error Back Proragation, BP） 自從40年代 赫布 ( D.O. Hebb )提出的學習規則以來， 人們相繼提出了各種各樣的學習演算法。 其中以在1986年Rumelhart等提出的誤差反向傳播法， 即BP(error BackPropagation)法影響最為廣泛。直到今天， BP演算法仍然是自動 控制 上最重要、應用最多的有效演算法。 是用於多層 神經網路 訓練的著名演算法，有理論依據堅實、 推導過程嚴謹、物理概念清楚、通用性強等優點．但是， 人們在使用中發現BP演算法存在收斂速度緩慢、 易陷入局部極小等缺點．

④ 反向傳播演算法的演算法簡介

反向傳播演算法(BP演算法)主要由兩個環節(激勵傳播、權重更新)反復循環迭代，直到網路的對輸入的響應達到預定的目標范圍為止。

⑤ 如何理解CNN神經網路里的反向傳播backpropagation，bp演算法

類比來說類似於
幾個人站成一排
第一個人看一幅畫（輸入數據），描述給第二個人（隱層）……依此類推，到最後一個人（輸出）的時候，畫出來的畫肯定不能看了（誤差較大）。
反向傳播就是，把畫拿給最後一個人看（求取誤差），然後最後一個人就會告訴前面的人下次描述時需要注意哪裡（權值修正）。

⑥ 如何直觀的解釋back propagation演算法

BackPropagation演算法是多層神經網路的訓練中舉足輕重的演算法。
簡單的理解，它的確就是復合函數的鏈式法則，但其在實際運算中的意義比鏈式法則要大的多。
要回答題主這個問題「如何直觀的解釋back propagation演算法？」 需要先直觀理解多層神經網路的訓練。

機器學習可以看做是數理統計的一個應用，在數理統計中一個常見的任務就是擬合，也就是給定一些樣本點，用合適的曲線揭示這些樣本點隨著自變數的變化關系。

深度學習同樣也是為了這個目的，只不過此時，樣本點不再限定為(x, y)點對，而可以是由向量、矩陣等等組成的廣義點對(X,Y)。而此時，(X,Y)之間的關系也變得十分復雜，不太可能用一個簡單函數表示。然而，人們發現可以用多層神經網路來表示這樣的關系，而多層神經網路的本質就是一個多層復合的函數。借用網上找到的一幅圖[1]，來直觀描繪一下這種復合關系。

⑦ 反向傳播演算法的激勵傳播

每次迭代中的傳播環節包含兩步： (前向傳播階段)將訓練輸入送入網路以獲得激勵響應； (反向傳播階段)將激勵響應同訓練輸入對應的目標輸出求差，從而獲得隱層和輸出層的響應誤差。

⑧ 如何理解反向傳播演算法

反向傳播演算法（Backpropagation）是目前用來訓練人工神經網路（Artificial Neural Network，ANN）的最常用且最有效的演算法。其主要思想是：
（1）將訓練集數據輸入到ANN的輸入層，經過隱藏層，最後達到輸出層並輸出結果，這是ANN的前向傳播過程；
（2）由於ANN的輸出結果與實際結果有誤差，則計算估計值與實際值之間的誤差，並將該誤差從輸出層向隱藏層反向傳播，直至傳播到輸入層；
（3）在反向傳播的過程中，根據誤差調整各種參數的值；不斷迭代上述過程，直至收斂。

反向傳播演算法的思想比較容易理解，但具體的公式則要一步步推導，因此本文著重介紹公式的推導過程。

1. 變數定義

上圖是一個三層人工神經網路，layer1至layer3分別是輸入層、隱藏層和輸出層。如圖，先定義一些變數：
表示第層的第個神經元連接到第層的第個神經元的權重；
表示第層的第個神經元的偏置；
表示第層的第個神經元的輸入，即：

表示第層的第個神經元的輸出，即：

其中表示激活函數。

2. 代價函數
代價函數被用來計算ANN輸出值與實際值之間的誤差。常用的代價函數是二次代價函數（Quadratic cost function）：

其中，表示輸入的樣本，表示實際的分類，表示預測的輸出，表示神經網路的最大層數。

3. 公式及其推導
本節將介紹反向傳播演算法用到的4個公式，並進行推導。如果不想了解公式推導過程，請直接看第4節的演算法步驟。
首先，將第層第個神經元中產生的錯誤（即實際值與預測值之間的誤差）定義為：

本文將以一個輸入樣本為例進行說明，此時代價函數表示為：

公式1（計算最後一層神經網路產生的錯誤）：

其中，表示Hadamard乘積，用於矩陣或向量之間點對點的乘法運算。公式1的推導過程如下：

公式2（由後往前，計算每一層神經網路產生的錯誤）：

推導過程：

公式3（計算權重的梯度）：

推導過程：

公式4（計算偏置的梯度）：

推導過程：

4. 反向傳播演算法偽代碼

輸入訓練集

對於訓練集中的每個樣本x，設置輸入層（Input layer）對應的激活值：
前向傳播：
，

計算輸出層產生的錯誤：