Regresja nieliniowa

Artykuł dotyczy regresji nieliniowej, która jest metodą analizy danych związaną z inteligencją obliczeniową. Przeznaczony jest dla osób początkujących, które nie mają jeszcze większego doświadczenia z inteligencją obliczeniową.

Regresja nieliniowa

Regresja nieliniowa to rozszerzenie regresji liniowej. Służy do estymowania wartości analizowanej zmiennej losowej na podstawie zaobserwowanych wartości innych zmiennych losowych nie zakładając liniowości zależności.

Zagadnienie regresji nieliniowej polega na przedstawieniu zmiennej losowej \(Y\) jako funkcji (nieliniowej) obserwowanych zmiennych losowych \(X_1, X_2, \ldots, X_n\) w sposób minimalizujący błąd średniokwadratowy. Zazwyczaj rozpatruje się pewną rodzinę takich funkcji nieliniowych i zagdanienie sprowadza się to do wyznaczenia funkcji z rozpatrywanej rodziny, która minimalizuje błąd średniokwadratowy \(\mbox{MSE} = Y – \hat{Y}\).

Ilustracja regresji nieliniowej

Dla przykładu rozpatrzmy zagadnienie regresji nieliniowej dotyczące estymowania wartości zmiennej losowej \(Y\) na podstawie wartości zmiennej losowej \(X\). Funkcję regresji nieliniowej wylicza się na podstawie zgromadzonej próbki danych zawierającej wartości \(x_i\) wraz z odpowiadającymi im wartościami \(y_i\) dla \(i=1,2,\ldots,n\). Poniższy rysunek przedstawia zgromadzone dane. Na osi odciętych OX zaznaczono wartości \(x_i\), a na osi rzędnych OY wartości \(y_i\).

regresja nieliniowa - dane wejściowe

Regresja nieliniowa pozwala wyznaczyć wzór krzywej minimalizującej błąd średniokwadratowy. Poniższy rysunek przedstawia krzywą regresji wyznaczoną na podstawie zgromadzonych danych.

regresja nieliniowa - krzywa regresji

W tym przypadku zastosowano metodę regresji nieliniowej opartej na maszynach wektorów nośnych (ang. Support Vector Regression, SVR), która jest jedną z najpopularniejszych i najskuteczniejszych obecnie metod regresji nieliniowej.

Inne metody regresji nieliniowej

W zależności od złożoności analizowanych zbiorów danych stosuje się różne metody regresji, począwszy od regresji liniowej, poprzez regresję logarytmiczną, a skończywszy na omawianej w tym artykule regresji opartej na maszynach wektorów nośnych (ang. Support Vector Regression, SVR). Rozserzenia regresji nieliniowych prowadzą do sieci neuronowych, które są jedną z podstawowych metod inteligencji obliczeniowej.

Informacje o regresji liniowej można znaleźć w moim poprzednim artykule dostępnym na tym portalu. W kolejnych artykułach przedstawię bardziej złożone algorytmy inteligencji obliczeniowej, takie jak uogólniony model liniowy (ang. Generalized Linear Model, GLM) oraz perceptronowe sieci neuronowe.