最小二乘法發明背景

『壹』 畢業論文開題報告中的《最小二乘法的擬合與應用》的選題目的和意義 背景

最小二乘方法最早是有高斯提出的，他用這種方法解決了天文學方面的問題，特別是確定了某些行星和彗星的天體軌跡。這類天體的橢圓軌跡由5個參數確定，原則上，只要對它的位置做5次測量就足以確定它的整個軌跡。但由於存在測量誤差，由5次測量所確定的運行軌跡極不可靠，相反，要進行多次測量，用最小二乘法消除測量誤差，得到有關軌跡參數的更精確的值。最小二乘法近似將幾十次甚至上百次的觀察所產生的高維空間問題降到了橢圓軌跡模型的五維參數空間。
假如想了解某個地方的月降雨量，一個月的觀測當然不夠，任何一個月都可能是異常晴朗或異常多雨。相反，人們應該研究幾個月或至少一年甚至十年，並將所有數據加以平均。平均的結果對任何一個具體的月份並不一定能完全符合，但憑直覺，這個結果所給我們的標准降雨量圖形將比只研究一個月所得到的結果要准確得多。這個原理在觀察和實驗科學領域是通用的。它是通過多次測量消除測量誤差及隨機波動。木匠的格言「量兩次，再下手」也正是這個常識的一個例子。
在降雨的例子中，我們用一個數來代表或一定程度地近似整個測定數據的效果。更一般的，鑒於各種理論和實際的原因，常用低維來近似說明高維的對象。在下面幾種工作中都可以採用這個方法，象消除誤差或忽略無關細節，從干擾數據中提取信號或找出趨勢，將大量數據降低到可管理的數量或用簡單的近似來代替復雜函數。我們並不期望這個近似值多麼精確，事實上，在許多時候它也不用很精確。但盡管如此，我們還是希望它能保持對原始數據的相似之處。在線性代數領域，我們希望將一個高維空間的向量投影到低維子空間，完成這個工作的最普遍和最便於計算的方法之一就是最小二乘法。

『貳』 最小二乘法是什麼時候提出的

1801年，義大利天文學家朱賽普·皮亞齊發現了第一顆小行星穀神星。經過40天的跟蹤觀測後，由於穀神星運行至太陽背後，使得皮亞齊失去了穀神星的位置。隨後全世界的科學家利用皮亞齊的觀測數據開始尋找穀神星，但是根據大多數人計算的結果來尋找穀神星都沒有結果。時年24歲的高斯也計算了穀神星的軌道。奧地利天文學家海因里希·奧爾伯斯根據高斯計算出來的軌道重新發現了穀神星。

高斯使用的最小二乘法的方法發表於1809年他的著作《天體運動論》中。

法國科學家勒讓德於1806年獨立發明「最小二乘法」，但因不為世人所知而默默無聞。

勒讓德曾與高斯為誰最早創立最小二乘法原理發生爭執。

1829年，高斯提供了最小二乘法的優化效果強於其他方法的證明，因此被稱為高斯-馬爾可夫定理

『叄』 最小二乘法的基本原理是什麼

最小二乘法原理
在我們研究兩個變數(x, y)之間的相互關系時，通常可以得到一系列成對的數據(x1, y1、x2, y2... xm , ym)；將這些數據描繪在x -y直角坐標系中(如圖1), 若發現這些點在一條直線附近，可以令這條直線方程如(式1-1)。
Y計= a0 + a1 X (式1-1)
其中：a0、a1 是任意實數
為建立這直線方程就要確定a0和a1，應用《最小二乘法原理》，將實測值Yi與利用(式1-1)計算值(Y計=a0+a1X)的離差(Yi-Y計)的平方和〔∑(Yi - Y計)2〕最小為「優化判據」。
令: φ = ∑(Yi - Y計)2 (式1-2)
把(式1-1)代入(式1-2)中得:
φ = ∑(Yi - a0 - a1 Xi)2 (式1-3)
當∑(Yi-Y計)平方最小時，可用函數 φ 對a0、a1求偏導數，令這兩個偏導數等於零。
(式1-4)
(式1-5)
亦即：
m a0 + (∑Xi ) a1 = ∑Yi (式1-6)
(∑Xi ) a0 + (∑Xi2 ) a1 = ∑(Xi, Yi) (式1-7)
得到的兩個關於a0、 a1為未知數的兩個方程組，解這兩個方程組得出：
a0 = (∑Yi) / m - a1(∑Xi) / m (式1-8)
a1 = [∑Xi Yi - (∑Xi ∑Yi)] / [∑Xi2 - (∑Xi)2 )] (式1-9)
這時把a0、a1代入(式1-1)中, 此時的(式1-1)就是我們回歸的元線性方程即：數學模型。
在回歸過程中，回歸的關聯式是不可能全部通過每個回歸數據點(x1, y1、 x2, y2...xm,ym),為了判斷關聯式的好壞,可藉助相關系數「R」，統計量「F」，剩餘標准偏差「S」進行判斷；「R」越趨近於 1 越好；「F」的絕對值越大越好；「S」越趨近於 0 越好。
R = [∑XiYi - m (∑Xi / m)(∑Yi / m)]/ SQR{[∑Xi2 - m (∑Xi / m)2][∑Yi2 - m (∑Yi / m)2]} (式1-10) ＊
在(式1-1)中，m為樣本容量，即實驗次數；Xi、Yi分別任意一組實驗X、Y的數值。微積分應用課題一 最小二乘法
從前面的學習中, 我們知道最小二乘法可以用來處理一組數據, 可以從一組測定的數據中尋求變數之間的依賴關系, 這種函數關系稱為經驗公式. 本課題將介紹最小二乘法的精確定義及如何尋求 與 之間近似成線性關系時的經驗公式. 假定實驗測得變數之間的 個數據 , , …, , 則在 平面上, 可以得到 個點 , 這種圖形稱為「散點圖」, 從圖中可以粗略看出這些點大致散落在某直線近旁, 我們認為 與 之間近似為一線性函數, 下面介紹求解步驟.
考慮函數 , 其中 和 是待定常數. 如果 在一直線上, 可以認為變數之間的關系為 . 但一般說來, 這些點不可能在同一直線上. 記 , 它反映了用直線 來描述 , 時, 計算值 與實際值 產生的偏差. 當然要求偏差越小越好, 但由於 可正可負, 因此不能認為總偏差 時, 函數 就很好地反映了變數之間的關系, 因為此時每個偏差的絕對值可能很大. 為了改進這一缺陷, 就考慮用 來代替 . 但是由於絕對值不易作解析運算, 因此, 進一步用 來度量總偏差. 因偏差的平方和最小可以保證每個偏差都不會很大. 於是問題歸結為確定 中的常數 和 , 使 為最小. 用這種方法確定系數 , 的方法稱為最小二乘法.

『肆』 最小二乘法的意義

無限接近答案

『伍』 簡述最小二乘估計原理。

最小二乘估計的基本原理

對於x和y的n對觀察值，用於描述其關系的直線有多條，究竟用哪條直線來代表兩個變數之間的關系，需要有一個明確的原則。

這時用距離各觀測點最近的一條直線，用它來代表x與y之間的關系與實際數據的誤差比其它任何直線都小。根據這一思想求得直線中未知常數的方法稱為最小二乘法，即使因變數的觀察值與估計值之間的離差平方和達到最小來求得µº和µ¹的方法。

(5)最小二乘法發明背景擴展閱讀

例子

已知有一個這樣的方程組：

Ax=bAx=b

其中A∈Rm×nA∈Rm×n ; x∈Rn×kx∈Rn×k, b∈Rm×kb∈Rm×k

當 m=nm=n 時，且 ranA=nranA=n 時，這是一個適定方程組，有唯一解 x=A−1bx=A−1b

當 m<nm<n 時，或者 ranA<nranA<n 時，這是一個欠定方程組，有無窮多個解。對於這種情況，我們使用 ran(A)ran(A) 中與 bb 距離最近的向量對應的 xx 作為最小二乘解。

而相應的ran(A)ran(A) 中的這個向量就是 bb 在空間 ran(A)ran(A) 中的投影。

當 m>nm>n 時，即方程的個數大於未知數的個數，最小二乘超定系統問題。超定問題是最小二乘的關鍵，最小二乘的的意思就是最小化殘差(resial)的平方和。

給定 mm 個數據，(a1,b1)(a1,b1), (a2,b2)(a2,b2),…,(am,bm)(am,bm), 以及一個模型函數 b=f(a,x)b=f(a,x) ，其中{x1,x2,...,xn}{x1,x2,...,xn}就是要估計的參數，該參數的估計就是通過最小化如下殘差的平方和求得：

S=∑mi=1∥bi−f(ai,xi)∥2S=∑i=1m‖bi−f(ai,xi)‖2

其中殘差為 ri=bi−f(ai,xi)ri=bi−f(ai,xi) 根據殘差函數關於未知參數是否線性，可以最把小二乘分為線性最小二乘和非線性最小二乘。

『陸』 什麼是最小二乘法及其原理

我用括弧把層次分開,簡單的說就是:
讓(((采樣的點)跟(擬合的曲線)的距離)總和)最小.
樓上的說法有問題,不是非要直線不可,任何曲線都可以的.

最小二乘法
在我們研究兩個變數(x, y)之間的相互關系時，通常可以得到一系列成對的數據(x1, y1、x2, y2... xm , ym)；將這些數據描繪在x -y直角坐標系中(如圖1), 若發現這些點在一條直線附近，可以令這條直線方程如(式1-1)。
Y計= a0 + a1 X (式1-1)
其中：a0、a1 是任意實數
為建立這直線方程就要確定a0和a1，應用《最小二乘法原理》，將實測值Yi與利用(式1-1)計算值(Y計=a0+a1X)的離差(Yi-Y計)的平方和〔∑(Yi - Y計)2〕最小為「優化判據」。
令: φ = ∑(Yi - Y計)2 (式1-2)
把(式1-1)代入(式1-2)中得:
φ = ∑(Yi - a0 - a1 Xi)2 (式1-3)
當∑(Yi-Y計)平方最小時，可用函數 φ 對a0、a1求偏導數，令這兩個偏導數等於零。
(式1-4)
(式1-5)
亦即：
m a0 + (∑Xi ) a1 = ∑Yi (式1-6)
(∑Xi ) a0 + (∑Xi2 ) a1 = ∑(Xi, Yi) (式1-7)
得到的兩個關於a0、 a1為未知數的兩個方程組，解這兩個方程組得出：
a0 = (∑Yi) / m - a1(∑Xi) / m (式1-8)
a1 = [∑Xi Yi - (∑Xi ∑Yi)/ m] / [∑Xi2 - (∑Xi)2 / m)] (式1-9)
這時把a0、a1代入(式1-1)中, 此時的(式1-1)就是我們回歸的元線性方程即：數學模型。
在回歸過程中，回歸的關聯式是不可能全部通過每個回歸數據點(x1, y1、 x2, y2...xm,ym),為了判斷關聯式的好壞,可藉助相關系數「R」，統計量「F」，剩餘標准偏差「S」進行判斷；「R」越趨近於 1 越好；「F」的絕對值越大越好；「S」越趨近於 0 越好。
R = [∑XiYi - m (∑Xi / m)(∑Yi / m)]/ SQR{[∑Xi2 - m (∑Xi / m)2][∑Yi2 - m (∑Yi / m)2]} (式1-10) ＊
在(式1-1)中，m為樣本容量，即實驗次數；Xi、Yi分別任意一組實驗X、Y的數值。微積分應用課題一 最小二乘法
從前面的學習中, 我們知道最小二乘法可以用來處理一組數據, 可以從一組測定的數據中尋求變數之間的依賴關系, 這種函數關系稱為經驗公式. 本課題將介紹最小二乘法的精確定義及如何尋求 與 之間近似成線性關系時的經驗公式. 假定實驗測得變數之間的 個數據 , , …, , 則在 平面上, 可以得到 個點 , 這種圖形稱為「散點圖」, 從圖中可以粗略看出這些點大致散落在某直線近旁, 我們認為 與 之間近似為一線性函數, 下面介紹求解步驟.
考慮函數 , 其中 和 是待定常數. 如果 在一直線上, 可以認為變數之間的關系為 . 但一般說來, 這些點不可能在同一直線上. 記 , 它反映了用直線 來描述 , 時, 計算值 與實際值 產生的偏差. 當然要求偏差越小越好, 但由於 可正可負, 因此不能認為總偏差 時, 函數 就很好地反映了變數之間的關系, 因為此時每個偏差的絕對值可能很大. 為了改進這一缺陷, 就考慮用 來代替 . 但是由於絕對值不易作解析運算, 因此, 進一步用 來度量總偏差. 因偏差的平方和最小可以保證每個偏差都不會很大. 於是問題歸結為確定 中的常數 和 , 使 為最小. 用這種方法確定系數 , 的方法稱為最小二乘法.

『柒』 開題報告中的《最小二乘法的擬合與應用》的選題目的和意義

<正> 在正確選擇模型的前提下,用(?)對誤差最小二乘法擬合觀測點間因變數量級相差較大的資料,往往使各點的相對估計誤差分布不均勻(表現為大觀測值的相對誤差較小,小的則很大),若採用相對誤差最小二乘法來擬合,可在一定程度上改善這種不良效果,並提高了擬合結果的可靠性。用於估計直線或曲線模型參數的相對誤差最小二乘法是指使因變數估計值與實測值間的相對誤差平方和為最小。

『捌』 什麼是最小二乘法原理它是如何推得來的

http://ke..com/view/139822.html?wtp=tt