Rugalmas háló - áttekintés, geometria és szabályozás

Az elasztikus nettó lineáris regresszió a lasso és a ridge technikákból származó büntetéseket használja a regressziós modellek rendszeresítéséhez. A technika egyesíti a lasso LASSO LASSO-t, amely a legkevésbé abszolút zsugorodás és a szelekció operátor rövidítése, egy statisztikai képlet, amelynek fő célja a jellemzők kiválasztása és rendszerezése, valamint a gerincregressziós módszerek azáltal, hogy a hiányosságaikból tanulva javítják a statisztikai modellek szabályozását.

Rugalmas háló

A rugalmas háló módszer javítja a lasszó korlátait, azaz amikor a lasso néhány mintát vesz a nagy dimenziós adatokhoz, a rugalmas háló eljárás lehetővé teszi az „n” változók számának beépítését a telítettségig. Abban az esetben, ha a változók erősen korreláló csoportok, a lasszó hajlamos egy változót választani az ilyen csoportok közül, és a többit teljesen figyelmen kívül hagyja.

A lasszóban található korlátok kiküszöbölése érdekében a rugalmas háló másodfokú kifejezést (|| β || 2) tartalmaz a büntetésben, amely önmagában használva gerincregresszióvá válik. A büntetés másodfokú kifejezése a veszteségfüggvényt domborúvá emeli. A rugalmas háló mindkét világ legjobbjaira támaszkodik - azaz a lasso és a ridge regresszióra.

A rugalmas háló módszer becslőjének megkeresésére szolgáló eljárás két szakaszból áll, amelyek mind a lasszó, mind a regressziós technikákat magukban foglalják. Először megkeresi a gerinc regressziós együtthatókat, majd elvégzi a második lépést az együtthatók lasszófajta zsugorodásának felhasználásával.

Ez a módszer tehát kétféle zsugorodásnak vetheti alá az együtthatókat. A rugalmas háló naiv változatától való kettős zsugorodás alacsony kiszámíthatósági hatékonyságot és nagy torzítást eredményez. Az ilyen effektusok korrekciója érdekében az együtthatókat átméretezik, szorozva őket (1 + λ 2 ) -vel.

Gyors összefoglalás

  • A rugalmas háló módszer változó szelekciót és szabályozást hajt végre egyszerre.
  • A rugalmas háló technika akkor a legmegfelelőbb, ha a méretadatok nagyobbak, mint a felhasznált minták száma.
  • A csoportosítás és a változók kiválasztása a rugalmas háló technika legfontosabb szerepe.

Rugalmas háló geometria

A derékszögű síkon ábrázolva a rugalmas háló a gerinc és a lasszó regressziós ábrák közé esik, mivel ez a két regressziós módszer kombinációja. A rugalmas háló ábrázolása szingularitást is mutat a csúcsokon, amelyek fontosak a ritkaság szempontjából. Szigorú domború éleket is mutat, ahol a konvexitás az α értékétől függ.

A konvexitás a korrelációtól függő csoportosítási hatástól is függ. Korreláció A korreláció két változó kapcsolatának statisztikai mérőszáma. A mértéket legjobban olyan változókban lehet alkalmazni, amelyek lineáris kapcsolatot mutatnak egymás között. Az adatok illeszkedése vizuálisan ábrázolható egy szórt ábrán. a kiválasztott változók közül. Minél nagyobb a változók korrelációja, annál nagyobb a csoportosító hatás, és ennélfogva annál nagyobb a mintában szereplő változók száma.

Változók kiválasztása

A modellépítéshez a változók kiválasztása szükséges a prediktorok részhalmazának kialakításához. Az elasztikus háló a p >> n probléma megközelítést használja, ami azt jelenti, hogy a prediktorok száma nagyobb, mint a modellben használt minták száma. Az elasztikus nettó megfelelő, ha a változók olyan csoportokat alkotnak, amelyek erősen korrelálnak független változókkal. Független változó A független változó olyan bemenet, feltételezés vagy meghajtó, amelyet megváltoztatnak annak érdekében, hogy értékeljék annak hatását egy függő változóra (az eredményre). .

A változtatható szelekció beépül a modellépítési eljárásba, hogy elősegítse a pontosság növelését. Abban az esetben, ha egy változócsoport erősen korrelál, és az egyik változót kiválasztják a mintába, a teljes csoport automatikusan bekerül a mintába.

CATREG bejegyzés

A CATREG egy olyan algoritmus, amely megkönnyíti a változók átalakítását, mind lineáris, mind nemlineáris. Az algoritmus a lépés- és a spline-függvényeket használja a változók nem monoton vagy monoton nem-lineáris transzformációkban történő transzformálásához. A CATREG egyidejűleg nem monoton módon képes átalakítani és szabályozni a változókat anélkül, hogy feltétlenül szükség lenne a változók első bővítésére alapfunkciókra vagy dummy változókra.

A rugalmas nettó veszteségfüggvények a szokásos legkisebb négyzetes regressziós veszteségfüggvény korlátozott típusának is nevezhetők. A CATREG algoritmus beépül a rugalmas hálóba, ami javítja a kapott algoritmus hatékonyságát és egyszerűségét. Ehhez képest a rugalmas háló felülmúlja a laszót, amely maga hatékonysága és egyszerűsége terén felülmúlja a gerinc regresszióját.

Rugalmas nettó szabályozás

A szabályozási eljárás során a büntetés l 1 szakasza ritka modellt alkot. Másrészt a büntetés másodfokú szakasza stabilabbá teszi az l 1 részt a szabályozás útjában, kiküszöböli a kiválasztandó változók mennyiségi korlátját, és elősegíti a csoportosító hatást.

A csoportosító hatás megkönnyíti a változók korrelációval történő azonosítását. Ez fokozza a mintavételi eljárást. Ez növeli a kiválasztott változók számát is, mivel amikor egy változót erősen korrelált csoportban mintavételeznek, az adott csoport összes többi változója automatikusan bekerül a mintába.

A szabadság tényleges fokozatai

A szabadság tényleges mértéke a modell komplexitását méri. A szabadság foka fontos a modell illesztésének becslésénél vagy pontos előrejelzésénél. A szabadság fokai beépülnek a lineáris simítók tanulásába is. Bármely, az l 1 büntetéssel kapcsolatos módszerben a modellek nemlineáris jellege felveti a kihívást az elemzés során.

Az elasztikus háló felhasználható más alkalmazásokban is, például ritka PCA-ban, ahol fő alkatrészeket kap, amelyeket ritka terhelések módosítanak. A másik alkalmazás a kernel rugalmas hálójában található, ahol az osztálymag-gépek generálása támogató vektorokkal történik.

További források

A Finance a Certified Banking & Credit Analyst (CBCA) ™ CBCA ™ tanúsítást kínálja törlesztések és még sok más. tanúsító program azok számára, akik karrierjüket egy újabb szintre akarják vinni. A tanulás és a tudásbázis fejlesztése érdekében kérjük, tanulmányozza az alábbi releváns pénzügyi forrásokat:

  • Döntésfa Döntési fa A döntési fa egy faszerű felépítésű támogató eszköz, amely modellezi a valószínű eredményeket, az erőforrások költségét, a segédprogramokat és a lehetséges következményeket.
  • Függő változó Függő változó A függő változó egy olyan változó, amely egy másik változó, az úgynevezett független változó értékétől függően változik.
  • Többszörös lineáris regresszió Többszörös lineáris regresszió A többszörös lineáris regresszió olyan statisztikai technikára utal, amelyet a függő változó kimenetelének a független változók értéke alapján történő előrejelzésére használnak.
  • Overfitting Overfitting Az overfitting a statisztikákban használt kifejezés, amely egy modellezési hibára utal, amely akkor fordul elő, amikor egy függvény túlságosan megfelel egy adott adatsornak

Legutóbbi hozzászólások