Машинско учење је једна од најпопуларнијих технологија за изградњу предиктивних модела за различите сложене задатке регресије и класификације. Машина за повећање градијента (ГБМ) се сматра једним од најмоћнијих алгоритама за појачавање.
Иако постоји толико много алгоритама који се користе у машинском учењу, алгоритми за унапређење постали су главни у заједници машинског учења широм света. Техника појачавања прати концепт учења ансамбла, и стога комбинује више једноставних модела (слабих ученика или основних процењивача) за генерисање коначног резултата. ГБМ се такође користи као ансамбл метода у машинском учењу која претвара слабе ученике у јаке ученике. У овој теми, „ГБМ у машинском учењу“ разговараћемо о алгоритмима за машинско учење са градијентом, различитим алгоритмима за повећање у машинском учењу, историји ГБМ-а, како то функционише, разним терминологијама које се користе у ГБМ-у, итд. Али пре него што почнете, прво, разумејте концепт повећања и различите алгоритме за повећање у машинском учењу.
Шта је подстицање у машинском учењу?
Појачавање је једна од популарних техника моделирања ансамбла учења која се користи за изградњу јаких класификатора од разних слабих класификатора. Почиње изградњом примарног модела од доступних скупова података за обуку, а затим идентификује грешке присутне у основном моделу. Након идентификације грешке, гради се секундарни модел, а затим се у овај процес уводи трећи модел. На овај начин се наставља овај процес увођења више модела док не добијемо комплетан скуп података за обуку по којем модел тачно предвиђа.
АдаБоост (Адаптиве боостинг) је био први алгоритам за појачавање који је комбиновао различите слабе класификаторе у један јак класификатор у историји машинског учења. Првенствено се фокусира на решавање задатака класификације као што је бинарна класификација.
Кораци у побољшању алгоритама:
Постоји неколико важних корака у побољшању алгоритма на следећи начин:
врсте мрежа
- Размислите о скупу података који има различите тачке података и иницијализирајте га.
- Сада дајте једнаку тежину свакој тачки података.
- Претпоставите ову тежину као улаз за модел.
- Идентификујте тачке података које су погрешно класификоване.
- Повећајте тежину за тачке података у кораку 4.
- Ако добијете одговарајући резултат, прекините овај процес, а затим поново пратите кораке 2 и 3.
Пример:
Претпоставимо да имамо три различита модела са њиховим предвиђањима и они раде на потпуно различите начине. На пример, модел линеарне регресије показује линеарну везу у подацима док модел стабла одлука покушава да ухвати нелинеарност у подацима као што је приказано испод слике.
Даље, уместо да користимо ове моделе одвојено за предвиђање исхода ако их користимо у облику серије или комбинације, онда добијамо резултујући модел са тачним информацијама од свих основних модела. Другим речима, уместо да користимо индивидуално предвиђање сваког модела, ако користимо просечно предвиђање из ових модела, онда бисмо могли да прикупимо више информација из података. Назива се учењем ансамбла, а појачавање се такође заснива на методама ансамбла у машинском учењу.
Побољшање алгоритама у машинском учењу
Постоје првенствено 4 алгоритма за повећање у машинском учењу. Ово су следеће:
Шта је ГБМ у машинском учењу?
Градиент Боостинг Мацхине (ГБМ) је једна од најпопуларнијих метода ансамбла за напредно учење у машинском учењу. То је моћна техника за изградњу предиктивних модела за задатке регресије и класификације.
ГБМ нам помаже да добијемо предиктивни модел у облику ансамбла слабих модела предвиђања као што су стабла одлучивања. Кад год стабло одлучивања делује као слаб ученик, онда се резултујући алгоритам назива стабла са градијентом.
шта ово кд значи
Омогућава нам да комбинујемо предвиђања из различитих модела ученика и направимо коначни модел предвиђања који има исправно предвиђање.
Али овде се може појавити једно питање ако примењујемо исти алгоритам како онда више стабала одлучивања може дати боља предвиђања од једног стабла одлучивања? Штавише, како свако стабло одлучивања обухвата различите информације из истих података?
Дакле, одговор на ова питања је да различити подскуп карактеристика узимају чворови сваког стабла одлучивања да би изабрали најбољи поделе. То значи да се свако дрво понаша другачије, па стога хвата различите сигнале из истих података.
Како ГБМ функционише?
Генерално, већина алгоритама за надгледано учење заснована је на једном моделу предвиђања као што је линеарна регресија, модел кажњене регресије, стабла одлучивања, итд. Али постоје неки надгледани алгоритми у МЛ-у који зависе од комбинације различитих модела заједно кроз ансамбл. Другим речима, када вишеструки основни модели доприносе својим предвиђањима, просек свих предвиђања се прилагођава алгоритмима за појачавање.
Машине за повећање градијента састоје се од 3 елемента како следи:
- Функција губитка
- Слаби ученици
- Адитивни модел
Хајде да детаљно разумемо ова три елемента.
1. Функција губитка:
Иако постоји велика породица Лосс функција у машинском учењу које се могу користити у зависности од врсте задатака који се решавају. Употреба функције губитка се процењује захтевом специфичних карактеристика условне дистрибуције као што је робусност. Док користимо функцију губитка у нашем задатку, морамо специфицирати функцију губитка и функцију за израчунавање одговарајућег негативног градијента. Једном када добијемо ове две функције, оне се могу лако имплементирати у машине за повећање градијента. Међутим, за ГБМ алгоритме је већ предложено неколико функција губитка.
инстанца јава
Класификација функције губитка:
На основу типа варијабле одговора и, функција губитка се може класификовати у различите типове на следећи начин:
- Гаусова Л2 функција губитка
- Лапласова Л1 функција губитка
- Хуберова функција губитка, специфицирана δ
- Функција квантилног губитка, специфицирана α
- Биномна функција губитка
- Адабоост функција губитка
- Функције губитка за моделе преживљавања
- Функције губитка броје податке
- Прилагођене функције губитка
2. Слаб ученик:
Слаби ученици су основни модели ученика који уче из прошлих грешака и помажу у изградњи снажног предиктивног дизајна модела за унапређење алгоритама у машинском учењу. Генерално, стабла одлучивања раде као слаби ученици у побољшању алгоритама.
Појачавање се дефинише као оквир који континуирано ради на побољшању излаза из основних модела. Многе апликације за повећање градијента омогућавају вам да 'прикључите' различите класе слабих ученика који су вам на располагању. Отуда се стабла одлучивања најчешће користе за слабе (основне) ученике.
верилог увек
Како тренирати слабе ученике:
Машинско учење користи скупове података за обуку да обучи основне ученике и на основу предвиђања од претходног ученика, побољшава перформансе фокусирајући се на редове података за обуку у којима је претходно стабло имало највеће грешке или остатке. На пример. плитка стабла се сматрају слабим учеником за стабла одлучивања јер садржи неколико подела. Генерално, у алгоритмима за појачавање, стабла која имају до 6 подела су најчешћа.
Испод је редослед обуке слабог ученика да побољша своје перформансе где је свако дрво у низу са резидуалима претходног дрвета. Даље, уводимо свако ново стабло како би оно могло да учи из грешака претходног стабла. Ово су следеће:
- Размотрите скуп података и поставите стабло одлучивања у њега.
Ф1(к)=и - Уклопи следеће стабло одлучивања са највећим грешкама претходног стабла.
х1(к)=и?Ф1(к) - Додајте ово ново стабло у алгоритам додавањем оба у корацима 1 и 2.
Ф2(к)=Ф1(к)+х1(к) - Поново спојите следеће стабло одлучивања са остацима претходног стабла.
х2(к)=и?Ф2(к) - Поновите исто што смо урадили у кораку 3.
Ф3(к)=Ф2(к)+х2(к)
Наставите са овим процесом све док нам неки механизам (тј. унакрсна провера) не каже да престанемо. Коначни модел овде је постепени адитивни модел б појединачних стабала:
ф(к)=Б∑б=1фб(к)Дакле, дрвеће се гради похлепно, бирајући најбоље подељене тачке на основу резултата чистоће као што је Гини или минимизирајући губитак.
3. Модел адитива:
Адитивни модел је дефинисан као додавање стабала у модел. Иако не би требало да додајемо више стабала истовремено, мора се додати само једно стабло како се постојећа стабла у моделу не би мењала. Даље, такође можемо да преферирамо метод градијентног спуштања додавањем стабала да бисмо смањили губитак.
У протеклих неколико година, метод градијентног спуштања коришћен је да се минимизира скуп параметара као што су коефицијент регресионе једначине и тежина у неуронској мрежи. Након израчунавања грешке или губитка, параметар тежине се користи за минимизирање грешке. Али однедавно, већина стручњака за МЛ преферира слабе подмоделе ученика или стабла одлучивања као замену за ове параметре. У којој морамо да додамо стабло у модел да бисмо смањили грешку и побољшали перформансе тог модела. На овај начин, предвиђање из новододатог дрвета се комбинује са предвиђањем из постојеће серије стабала да би се добило коначно предвиђање. Овај процес се наставља све док губитак не достигне прихватљив ниво или више није потребно побољшање.
Овај метод је познат и као функционални градијентни спуст или градијентни спуст са функцијама.
МАШИНА ЗА ЕКСТРЕМНИ ГРАДИЈЕНТ (КСГБМ)
КСГБМ је најновија верзија машина за подизање градијента која такође ради веома слично ГБМ. У КСГБМ, стабла се додају секвенцијално (једно по једно) која уче из грешака претходних стабала и побољшавају их. Иако су КСГБМ и ГБМ алгоритми слични по изгледу и осећају, али ипак постоји неколико разлика између њих како следи:
- КСГБМ користи различите технике регуларизације да смањи недовољно или претерано уклапање модела, што такође повећава перформансе модела више од машина за повећање градијента.
- КСГБМ прати паралелну обраду сваког чвора, док ГБМ не, што га чини бржим од машина за повећање градијента.
- КСГБМ нам помаже да се ослободимо импутације недостајућих вредности јер се модел подразумевано брине о томе. Он сам учи да ли ове вредности треба да буду у десном или левом чвору.
Машине за појачавање светлог градијента (Лигхт ГБМ)
Лигхт ГБМ је унапређена верзија машине за подизање Градиент због њене ефикасности и велике брзине. За разлику од ГБМ-а и КСГБМ-а, може да обрађује огромну количину података без икакве сложености. С друге стране, није погодан за оне тачке података које су мањег броја.
бреак јава
Уместо раста по нивоу, Лигхт ГБМ преферира раст чворова дрвета по листовима. Даље, у лаком ГБМ-у, примарни чвор се дели на два секундарна чвора и касније бира један секундарни чвор који ће бити подељен. Ова подела секундарног чвора зависи од тога који између два чвора има већи губитак.
Због тога, због поделе по листовима, алгоритам машине за подизање светлосног градијента (ЛГБМ) увек има предност у односу на друге где се даје велика количина података.
ЦАТБООСТ
Цатбоост алгоритам се првенствено користи за руковање категоријалним карактеристикама у скупу података. Иако су ГБМ, КСГБМ и Лигхт ГБМ алгоритми погодни за нумеричке скупове података, Цатбоост је дизајниран да обрађује категоричне променљиве у нумеричке податке. Дакле, цатбоост алгоритам се састоји од суштинског корака препроцесирања за претварање категоричких карактеристика у нумеричке променљиве које нису присутне ни у једном другом алгоритму.
Предности алгоритама за појачавање:
- Алгоритми за појачавање прате учење ансамбла што омогућава моделу да да тачније предвиђање које се не може надмашити.
- Алгоритми за појачавање су много флексибилнији од других алгоритама јер могу оптимизовати различите функције губитка и пружају неколико опција подешавања хиперпараметара.
- Не захтева претходну обраду података јер је погодан и за нумеричке и за категоричке варијабле.
- Не захтева импутацију недостајућих вредности у скупу података, аутоматски обрађује податке који недостају.
Недостаци алгоритама за појачавање:
Испод је неколико недостатака алгоритама за појачавање:
- Појачавање алгоритама може довести до претеривања, као и пренаглашавања одступања.
- Алгоритам за повећање градијента се континуирано фокусира на минимизирање грешака и захтева више стабала, стога је рачунарски скуп.
- То је алгоритам који одузима време и исцрпљује меморију.
- Мање интерпретативне природе, иако се то лако решава различитим алатима.
Закључак:
На овај начин смо научили појачавајуће алгоритме за предиктивно моделирање у машинском учењу. Такође, разговарали смо о различитим важним алгоритмима за појачавање који се користе у МЛ-у, као што су ГБМ, КСГБМ, лагани ГБМ и Цатбоост. Даље, видели смо различите компоненте (функција губитка, слаб ученик и адитивни модел) и како ГБМ ради са њима. Колико су алгоритми за појачавање корисни за примену у сценаријима из стварног света, итд.