Хиперпараметри у машинском учењу су они параметри које корисник експлицитно дефинише да контролише процес учења. Ови хиперпараметри се користе за побољшање учења модела, а њихове вредности се постављају пре почетка процеса учења модела.

У овој теми ћемо разговарати о једном од најважнијих концепата машинског учења, односно о хиперпараметрима, њиховим примерима, подешавању хиперпараметара, категоријама хиперпараметара, како се хиперпараметар разликује од параметра у машинском учењу? Али пре него што почнемо, хајде да прво разумемо хиперпараметар.

Шта су хиперпараметри?

У машинском учењу/дубоком учењу, модел је представљен његовим параметрима. Насупрот томе, процес обуке укључује одабир најбољих/оптималних хиперпараметара које користе алгоритми за учење да би се обезбедио најбољи резултат. Дакле, који су ови хиперпараметри? Одговор је, ' Хиперпараметри су дефинисани као параметри које корисник експлицитно дефинише за контролу процеса учења.'

Овде префикс 'хипер' сугерише да су параметри највишег нивоа који се користе у контроли процеса учења. Вредност хиперпараметра бира и поставља инжењер машинског учења пре него што алгоритам учења почне да обучава модел. Дакле, они су екстерни у односу на модел и њихове вредности се не могу мењати током процеса обуке .

графикон расподеле ресурса

Неки примери хиперпараметара у машинском учењу

• К у кНН или алгоритам К-неарест Неигхбор
• Стопа учења за обуку неуронске мреже
• Однос сплит теста воза
• Величина серије
• Број епоха
• Гране у стаблу одлучивања
• Број кластера у алгоритму кластера

Разлика између параметра и хиперпараметра?

Увек постоји велика забуна између параметара и хиперпараметара или хиперпараметара модела. Дакле, да бисмо рашчистили ову забуну, хајде да разумемо разлику између њих и како су међусобно повезани.

Параметри модела:

Параметри модела су конфигурационе варијабле које су интерне за модел и модел их учи сам. На пример , В тежине или коефицијенти независних променљивих у моделу линеарне регресије . или Тежине или коефицијенти независних варијабли у СВМ, тежина и пристрасности неуронске мреже, центар кластера у груписању. Неке кључне тачке за параметре модела су следеће:

• Модел их користи за предвиђање.
• Модел их учи из самих података
• Они се обично не постављају ручно.
• Ово су део модела и кључ за алгоритам машинског учења.

Хиперпараметри модела:

Хиперпараметри су они параметри које корисник експлицитно дефинише за контролу процеса учења. Неке кључне тачке за параметре модела су следеће:

• Обично их ручно дефинише инжењер машинског учења.
• Не може се знати тачна најбоља вредност хиперпараметара за дати проблем. Најбоља вредност се може одредити или по правилу или методом покушаја и грешке.
• Неки примери хиперпараметара су стопа учења за обуку неуронске мреже, К у КНН алгоритму,

Категорије хиперпараметара

Углавном хиперпараметри се могу поделити у две категорије, које су дате у наставку:

Хиперпараметар за оптимизацију Хиперпараметар за специфичне моделе

Хиперпараметар за оптимизацију

Процес одабира најбољих хиперпараметара за употребу познат је као подешавање хиперпараметара, а процес подешавања је познат и као оптимизација хиперпараметара. Оптимизациони параметри се користе за оптимизацију модела.

Неки од популарних параметара оптимизације су дати у наставку:

Стопа учења:Брзина учења је хиперпараметар у алгоритмима оптимизације који контролише колико модел треба да се промени као одговор на процењену грешку сваки пут када се тежине модела ажурирају. То је један од кључних параметара при изградњи неуронске мреже, а такође одређује учесталост унакрсне провере са параметрима модела. Одабир оптимизоване стопе учења је изазован задатак, јер ако је стопа учења веома мања, то може успорити процес обуке. С друге стране, ако је стопа учења превелика, онда можда неће правилно оптимизовати модел.

Напомена: Брзина учења је кључни хиперпараметар за оптимизацију модела, тако да ако постоји захтев за подешавањем само једног хиперпараметра, предлаже се подешавање брзине учења.

Величина серије:Да би се побољшала брзина процеса учења, скуп за обуку је подељен на различите подскупове, који су познати као скуп. Број епоха: Епоха се може дефинисати као комплетан циклус за обуку модела машинског учења. Епоха представља итеративни процес учења. Број епоха варира од модела до модела, а различити модели се креирају са више од једне епохе. Да би се одредио прави број епоха, узима се у обзир грешка валидације. Број епоха се повећава све док не дође до смањења грешке у валидацији. Ако нема побољшања грешке редукције за узастопне епохе, онда то указује на престанак повећања броја епоха.

Хиперпараметар за специфичне моделе

Хиперпараметри који су укључени у структуру модела познати су као хиперпараметри за специфичне моделе. Они су дати у наставку:

Број скривених јединица:Скривене јединице су део неуронских мрежа, које се односе на компоненте које се састоје од слојева процесора између улазних и излазних јединица у неуронској мрежи.

Важно је навести број хиперпараметара скривених јединица за неуронску мрежу. Требало би да буде између величине улазног слоја и величине излазног слоја. Тачније, број скривених јединица треба да буде 2/3 величине улазног слоја, плус величина излазног слоја.

За сложене функције потребно је навести број скривених јединица, али не би требало да се уклапа у модел.

Број слојева:Неуронска мрежа се састоји од вертикално распоређених компоненти, које се називају слојевима. Углавном постоје улазни слојеви, скривени слојеви и излазни слојеви . Трослојна неуронска мрежа даје боље перформансе од 2-слојне мреже. За конволуциону неуронску мрежу, већи број слојева чини бољи модел.

Закључак

Хиперпараметри су параметри који су експлицитно дефинисани да контролишу процес учења пре примене алгоритма машинског учења на скуп података. Они се користе за спецификацију капацитета учења и сложености модела. Неки од хиперпараметара се користе за оптимизацију модела, као што су величина групе, брзина учења, итд., а неки су специфични за моделе, као што је број скривених слојева итд.