Metoda najmniejszych kwadratów to proces znajdowania linii regresji lub najlepiej dopasowanej linii dla dowolnego zbioru danych opisanego równaniem. Ta metoda wymaga zmniejszenia sumy kwadratów części resztowych punktów od krzywej lub linii, a trend wyników jest znaleziony ilościowo. Metoda dopasowywania krzywych jest obserwowana podczas analizy regresji, a równania dopasowania do krzywej to metoda najmniejszych kwadratów.
Przyjrzyjmy się prostemu przykładowi: Pani Dolma powiedziała na lekcji: „Hej studenci, którzy poświęcają więcej czasu na zadania, dostają lepsze oceny”. Student chce oszacować swoją ocenę za poświęcenie 2,3 godziny na zadanie. Za pomocą magii metody najmniejszych kwadratów możliwe jest określenie modelu predykcyjnego, który pomoże mu oszacować oceny o wiele dokładniej. Ta metoda jest znacznie prostsza, ponieważ wymaga jedynie kilku danych i ewentualnie kalkulatora.
W tej sekcji będziemy badać metody najmniejszych kwadratów, zrozumieć, co oznacza, poznać ogólną formułę, kroki do jej wykreślenia na wykresie, poznać jej ograniczenia i zobaczyć, jakie sztuczki możemy stosować z tą metodą.
Definicja Metody Najmniejszych Kwadratów
Metoda najmniejszych kwadratów to metoda statystyczna stosowana do znalezienia linii najlepszego dopasowania w postaci równania takiego jak y = mx + b do danego zestawu danych. Krzywa równania nazywana jest linią regresji. Naszym głównym celem w tej metodzie jest zminimalizowanie sumy kwadratów błędów. Dlatego ta metoda nazywana jest metodą najmniejszych kwadratów. Ta metoda jest często stosowana w dopasowywaniu danych, gdzie najlepszy wynik dopasowania zakłada minimalizację sumy kwadratów błędów, która jest różnicą między wartościami obserwowanymi i odpowiadającymi wartościami dopasowanymi. Suma kwadratów błędów pomaga w znajdowaniu zmienności w obserwowanych danych. Na przykład, gdy mamy 4 punkty danych, używając tej metody, otrzymujemy następujący wykres.
Podstawowe kategorie problemów związanych z Metodą Najmniejszych Kwadratów
Dwa podstawowe typy problemów związanych z najmniejszymi kwadratami to: najmniejsze kwadraty zwykłe lub liniowe oraz nieliniowe najmniejsze kwadraty.
Ograniczenia Metody Najmniejszych Kwadratów
Mimo że metoda najmniejszych kwadratów jest uważana za najlepszą metodę do znalezienia linii najlepszego dopasowania, ma ona kilka ograniczeń. Są nimi:
- Ta metoda wykazuje tylko związek między dwiema zmiennymi. Wszystkie inne przyczyny i skutki nie są brane pod uwagę.
- Ta metoda jest niewiarygodna, gdy dane nie są równomiernie rozłożone.
- Ta metoda jest bardzo wrażliwa na wartości odstające. Właśnie to może wpłynąć na wyniki analizy metodą najmniejszych kwadratów.
Wykres Metody Najmniejszych Kwadratów
Spójrz na poniższy wykres, prosty linia pokazuje potencjalny związek między zmienną niezależną a zmienną zależną. Ostatecznym celem tej metody jest zmniejszenie tej różnicy między obserwowaną odpowiedzią a odpowiedzią przewidywaną przez linię regresji. Mniejsza reszta oznacza, że model lepiej pasuje. Punkty danych muszą zostać zminimalizowane przez metodę redukcji reszt dla każdego punktu od linii. Istnieją reszty pionowe i prostopadłe. Reszty pionowe są najczęściej stosowane w problemach wielomianów i hiperpłaszczyzn, podczas gdy reszty prostopadłe są używane ogólnie, jak widoczne na poniższym obrazie.
Reszty Metody Najmniejszych Kwadratów
Reszty to różnice między wartościami obserwowanymi a wartościami przewidywanymi przez linię regresji. Metoda najmniejszych kwadratów polega na minimalizowaniu sumy kwadratów tych reszt. Reszty pionowe to odległości między punktami danych a linią regresji, a reszty prostopadłe to odległości między punktami danych a prostopadłą linią przechodzącą przez linię regresji. Oba typy reszt są istotne w metodzie najmniejszych kwadratów.
Reszty Pionowe
Reszty pionowe są odległościami między wartościami obserwowanymi a wartościami przewidywanymi przez linię regresji. Reszty te są pionowymi odległościami między punktami danych a linią regresji. Te reszty są ważne w problemach wielomianów i hiperpłaszczyzn.
Reszty Prostopadłe
Reszty prostopadłe to odległości między punktami danych a prostopadłą linią przechodzącą przez linię regresji. Te reszty są istotne w metodzie najmniejszych kwadratów. Są one odległościami wzdłuż osi y między punktami danych a prostopadłą linią przechodzącą przez linię regresji.
Formuła Metody Najmniejszych Kwadratów
Metoda najmniejszych kwadratów to krzywa, która najlepiej dopasowuje zbiór obserwacji z minimalną sumą kwadratów reszt lub błędów. Załóżmy, że dane punkty to (x1, y1), (x2, y2), (x3, y3), …, (xn, yn), w których wszystkie x są zmiennymi niezależnymi, a wszystkie y są zależnymi. Ta metoda służy do znalezienia liniowej linii w postaci y = mx + b, gdzie y i x to zmienne, m to nachylenie, a b to punkt przecięcia z osią y. Formuła do obliczenia nachylenia m i wartości b jest dana przez:
m = (n∑xy – ∑y∑x)/n∑x2 – (∑x)2
b = (∑y – m∑x)/n
Tutaj n oznacza liczbę punktów danych.
Poniżej przedstawiamy kroki do obliczenia metody najmniejszych kwadratów za pomocą powyższych wzorów.
Krok 1: Narysuj tabelę z 4 kolumnami, gdzie pierwsze dwie kolumny są dla punktów x i y.
Krok 2: W następnych dwóch kolumnach znajdź wartość xy i (x)2.
Krok 3: Znajdź wartości ∑x, ∑y, ∑xy i ∑(x)2.
Krok 4: Znajdź wartość nachylenia m za pomocą powyższej formuły.
Krok 5: Oblicz wartość b za pomocą powyższej formuły.
Krok 6: Podstaw wartość m i b w równaniu y = mx + b.
Przyjrzyjmy się przykładowi, aby lepiej zrozumieć tę metodę.
Przykład:
Załóżmy, że mamy dane jak poniżej.
x y xy x2
1 2 2 1
2 5 10 4
3 3 9 9
4 8 32 16
5 7 35 25
∑x =15 ∑y = 25 ∑xy = 88 ∑x2 = 55
Rozwiązanie: Będziemy postępować zgodnie z krokami, aby znaleźć liniową linię.
Znajdź wartość nachylenia m za pomocą wzoru,
m = (n∑xy – ∑y∑x)/n∑x2 – (∑x)2
m = [(5×88) – (15×25)]/(5×55) – (15)2
m = (440 – 375)/(275 – 225)
m = 65/50 = 13/10
Znajdź wartość b za pomocą wzoru,
b = (∑y – m∑x)/n
b = (25 – 1.3×15)/5
b = (25 – 19.5)/5
b = 5.5/5
Więc wymagane równanie najmniejszych kwadratów to y = mx + b = 13/10x + 5.5/5.
Metoda najmniejszych kwadratów jest używana do przewidywania zachowania zmiennej zależnej w stosunku do zmiennej niezależnej.
Suma kwadratów błędów nazywa się wariancją.
Głównym celem metody najmniejszych kwadratów jest zminimalizowanie sumy kwadratów błędów.
Do czego używa się Metody Najmniejszych Kwadratów?
Metoda najmniejszych kwadratów jest używana do znalezienia modelu przewidywania, który najlepiej pasuje do naszych punktów danych.
Czy Metoda Najmniejszych Kwadratów jest taka sama jak Regresja Liniowa?
Nie, regresja liniowa i metoda najmniejszych kwadratów nie są tym samym. Regresja liniowa to analiza danych statystycznych, która służy do przewidywania wartości zmiennej ilościowej. Najmniejsze kwadraty są jedną z metod używanych w regresji liniowej do znalezienia modelu przewidywania.
Jak wpływają wartości odstające na linię regresji metodą najmniejszych kwadratów?
Obecność nietypowych punktów danych może wpłynąć na wyniki regresji liniowej. Dlatego ważne jest, aby model był poprawny, aby uzyskać odpowiedzi na pytania motywujące utworzenie modelu przewidywania.
Jaka jest formuła Metody Najmniejszych Kwadratów?
Aby określić równanie linii dla dowolnych danych, musimy użyć równania y = mx + b. Formuła metody najmniejszych kwadratów polega na znalezieniu wartości zarówno m, jak i b za pomocą wzorów:
m = (n∑xy – ∑y∑x)/n∑x2 – (∑x)2
b = (∑y – m∑x)/n
Tutaj n oznacza liczbę punktów danych.
Czym jest Metoda Najmniejszych Kwadratów w Regresji?
Metoda najmniejszych kwadratów w regresji pomaga w obliczeniu najlepiej dopasowanej linii zbioru danych z poziomami aktywności i odpowiadającymi kosztami całkowitymi. Idea obliczenia polega na minimalizacji sumy kwadratów pionowych błędów między punktami danych a funkcją kosztów.
Dlaczego stosuje się Metodę Najmniejszych Kwadratów?
Metoda najmniejszych kwadratów jest stosowana jako równoważna metoda największej wiarygodności, gdy reszty modelu są rozłożone normalnie z wartością oczekiwaną równą 0.
Czym jest Dopasowanie Krzywej Metodą Najmniejszych Kwadratów?
Metoda najmniejszych kwadratów jest procesem dopasowania krzywej zgodnie z danymi wejściowymi. Jest to jedna z metod używanych do określenia linii trendu dla danych wejściowych.
Metoda Najmniejszych Kwadratów – regresja liniowa
Źródło odniesienia: https://en.wikipedia.org/wiki/Least_squares
