ПиТорцх обезбеђује модул торцх.нн који нам помаже у креирању и обуци неуронске мреже. Прво ћемо обучити основну неуронску мрежу на МНИСТ скупу података без употребе било каквих карактеристика из ових модела. Користићемо само основну функционалност ПиТорцх тензора, а затим ћемо постепено додавати једну по једну функцију из торцх.нн.
торцх.нн нам пружа много више класа и модула за имплементацију и обуку неуронске мреже.
нн пакет садржи следеће модуле и класе:
| Да не | Класа и модул | Опис |
|---|---|---|
| 1. | торцх.нн.Параметер | То је тип тензора који се сматра параметром модула. |
| 2. | Контејнери | |
| 1) бакља.нн.Модул | То је основна класа за све модуле неуронске мреже. | |
| 2) бакља.нн.Секвенцијална | То је секвенцијални контејнер у који ће се модули додати истим редоследом којим се прослеђују у конструктору. | |
| 3) торцх.нн.МодулеЛист | Ово ће задржати подмодуле на листи. | |
| 4) торцх.нн.МодулеДицт | Ово ће задржати подмодуле у директоријуму. | |
| 5) торцх.нн.ПараметерЛист | Ово ће задржати параметре на листи. | |
| 6) торцх.нн.параметерДицт | Ово ће задржати параметре у директоријуму. | |
| 3. | Конволуцијски слојеви | |
| 1) торцх.нн.Цонв1д | Овај пакет ће се користити за примену 1Д конволуције преко улазног сигнала састављеног од неколико улазних равни. | |
| 2) торцх.нн.Цонв2д | Овај пакет ће се користити за примену 2Д конволуције преко улазног сигнала састављеног од неколико улазних равни. | |
| 3) торцх.нн.Цонв3д | Овај пакет ће се користити за примену 3Д конволуције преко улазног сигнала састављеног од неколико улазних равни. | |
| 4) торцх.нн.ЦонвТранспосе1д | Овај пакет ће се користити за примену 1Д транспонованог конволуционог оператора на улазну слику састављену од неколико улазних равни. | |
| 5) торцх.нн.ЦонвТранспосе2д | Овај пакет ће се користити за примену 2Д транспонованог оператора конволуције на улазну слику састављену од неколико улазних равни. | |
| 6) торцх.нн.ЦонвТранспосе3д | Овај пакет ће се користити за примену 3Д транспонованог оператора конволуције на улазну слику састављену од неколико улазних равни. | |
| 7) бакља.нн.Разклопити | Користи се за издвајање клизних локалних блокова из скупног улазног тензора. | |
| 8) торцх.нн.Фолд | Користи се за комбиновање низа клизних локалних блокова у велики тензор који садржи. | |
| 4. | Обједињавање слојева | |
| 1) торцх.нн.МакПоол1д | Користи се за примену 1Д мак удруживања преко улазног сигнала састављеног од неколико улазних равни. | |
| 2) торцх.нн.МакПоол2д | Користи се за примену 2Д мак удруживања преко улазног сигнала састављеног од неколико улазних равни. | |
| 3) торцх.нн.МакПоол3д | Користи се за примену 3Д мак удруживања преко улазног сигнала састављеног од неколико улазних равни. | |
| 4) торцх.нн.МакУнпоол1д | Користи се за израчунавање делимичног инверзног од МакПоол1д. | |
| 5) торцх.нн.МакУнпоол2д | Користи се за израчунавање делимичног инверзног од МакПоол2д. | |
| 6) торцх.нн.МакУнпоол3д | Користи се за израчунавање делимичног инверзног од МакПоол3д. | |
| 7) торцх.нн.АвгПоол1д | Користи се за примену 1Д просечног удруживања преко улазног сигнала састављеног од неколико улазних равни. | |
| 8) торцх.нн.АвгПоол2д | Користи се за примену 2Д просечног удруживања преко улазног сигнала састављеног од неколико улазних равни. | |
| 9) торцх.нн.АвгПоол3д | Користи се за примену 3Д просечног удруживања преко улазног сигнала састављеног од неколико улазних равни. | |
| 10) торцх.нн.ФрацтионалМакПоол2д | Користи се за примену 2Д фракционог максималног удруживања преко улазног сигнала састављеног од неколико улазних равни. | |
| 11) торцх.нн.ЛППоол1д | Користи се за примену 1Д удруживања просечне снаге преко улазног сигнала састављеног од неколико улазних равни. | |
| 12) торцх.нн.ЛППоол2д | Користи се за примену 2Д удруживања просечне снаге преко улазног сигнала састављеног од неколико улазних равни. | |
| 13) торцх.нн.АдавтивеМакПоол1д | Користи се за примену 1Д адаптивног максималног удруживања преко улазног сигнала састављеног од неколико улазних равни. | |
| 14) торцх.нн.АдавтивеМакПоол2д | Користи се за примену 2Д адаптивног максималног удруживања преко улазног сигнала састављеног од неколико улазних равни. | |
| 15) торцх.нн.АдавтивеМакПоол3д | Користи се за примену 3Д адаптивног максималног удруживања преко улазног сигнала састављеног од неколико улазних равни. | |
| 16) торцх.нн.АдавтивеАвгПоол1д | Користи се за примену 1Д адаптивног просечног удруживања преко улазног сигнала састављеног од неколико улазних равни. | |
| 17) торцх.нн.АдавтивеАвгПоол2д | Користи се за примену 2Д адаптивног просечног удруживања преко улазног сигнала састављеног од неколико улазних равни. | |
| 18) торцх.нн.АдавтивеАвгПоол3д | Користи се за примену 3Д адаптивног просечног удруживања преко улазног сигнала састављеног од неколико улазних равни. | |
| 5. | Паддинг лаиерс | |
| 1) торцх.нн.РефлецтионПад1д | Запуниће улазни тензор користећи рефлексију границе улаза. | |
| 2) торцх.нн.РефлацтионПад2д | Запуниће улазни тензор користећи рефлексију границе улаза. | |
| 3) торцх.нн.РеплицатионПад1 | Запуниће улазни тензор користећи репликацију границе улаза. | |
| 4) торцх.нн.РеплицатионПад2д | Запуниће улазни тензор користећи репликацију границе улаза. | |
| 5) торцх.нн.РеплицатионПад3д | Запуниће улазни тензор користећи репликацију границе улаза. | |
| 6) торцх.нн.ЗероПад2д | Попуниће границе улазног тензора нулом. | |
| 7) торцх.нн.ЦонстантПад1д | Попуниће границе улазног тензора константном вредношћу. | |
| 8) торцх.нн.ЦонстантПад2д | Попуниће границе улазног тензора константном вредношћу. | |
| 9) торцх.нн.ЦонстантПад3д | Попуниће границе улазног тензора константном вредношћу. | |
| 6. | Нелинеарне активације (пондерисана сума, нелинеарност) | |
| 1) торцх.нн.ЕЛУ | Користиће се за примену функције по елементима: ЕЛУ(к)=мак(0,к)+мин(0,α*(екп(к)-1)) | |
| 2) торцх.нн.Хардсхринк | Користиће се за примену функције чврстог скупљања по елементима:  | |
| 3) торцх.нн.ЛеакиРеЛУ | Користиће се за примену функције по елементима: ЛеакиРеЛу(к)=мак(0,к) +негативан_нагиб*мин(0,к) | |
| 4) торцх.нн.ЛогСигмоид | Користиће се за примену функције по елементима:  | |
| 5) торцх.нн.МултихеадАттентион | Користи се да омогући моделу да прати информације из различитих подпростора репрезентације | |
| 6) бакља.нн.ПРеЛУ | Користиће се за примену функције по елементима: ПРЕЛУ(к)=мак(0,к)+а*мин(0,к) | |
| 7) торцх.нн.РеЛУ | Користиће се за примену функције исправљене линеарне јединице по елементима: РеЛУ(к)=мак(0,к) | |
| 8) торцх.нн.РеЛУ6 | Користиће се за примену функције по елементима: РеЛУ6(к)=мин(мак(0,к),6) | |
| 9) бакља.нн.РРеЛУ | Користиће се за примену насумичне функције исправљене линеарне јединице која цури, по елементима, као што је описано у раду:  | |
| 10) бакља.нн.СЕЛУ | Користиће се за примену функције по елементима као: СЕЛУ(к)=размера*(макс(0,к)+ мин(0,а*(екп(к)-1))) Овде је α= 1,6732632423543772848170429916717 и размера = 1,0507009873554804934193349852946. | |
| 11) бакља.нн.МЕТА | Користиће се за примену функције по елементима као:  | |
| 12) бакља.нн.Сигмоид | Користиће се за примену функције по елементима као:  | |
| 13) торцх.нн.Софтплус | Користиће се за примену функције по елементима као:  | |
| 14) торцх.нн.Софтсхринк | Користиће се за примену функције меког скупљања елементарно као:  | |
| 15) торцх.нн.Софтсигн | Користиће се за примену функције по елементима као:  | |
| 16) бакља.нн.Танх | Користиће се за примену функције по елементима као:  | |
| 17) торцх.нн.Танхсхринк | Користиће се за примену функције по елементима као: Танхсхринк(к)=к-Танх(к) | |
| 18) бакља.нн.Праг | Користиће се за прагове сваког елемента улазног тензора. Праг је дефинисан као:  | |
| 7. | Нелинеарне активације (остало) | |
| 1) торцх.нн.Софтмин | Користи се за примену функције софтмин на н-димензионални улазни тензор за њихово поновно скалирање. Након тога, елементи н-димензионалног тензора излаза се налазе у опсегу 0, 1 и збир до 1. Софтмин је дефинисан као:  | |
| 2) торцх.нн.Софтмак | Користи се за примену софтмак функције на н-димензионални улазни тензор за њихово поновно скалирање. Након тога, елементи н-димензионалног тензора излаза налазе се у опсегу 0, 1 и збир до 1. Софтмак је дефинисан као:  | |
| 3) торцх.нн.Софтмак2д | Користи се за примену СофтМак-а преко карактеристика на сваку просторну локацију. | |
| 4) торцх.нн.ЛогСофтмак | Користи се за примену ЛогСофтмак функције на н-димензионални улазни тензор. ЛофСофтмак функција се може дефинисати као:  | |
| 5) торцх.нн.АдаптивеЛогСофтмакВитхЛосс | То је стратегија за обуку модела са великим излазним простором. Веома је ефикасан када је дистрибуција етикета веома неуравнотежена | |
| 8. | Нормализациони слојеви | |
| 1) торцх.нн.БатцхНорм1д | Користи се за примену групне нормализације преко 2Д или 3Д улаза.  | |
| 2) торцх.нн.БатцхНорм2д | Користи се за примену групне нормализације преко 4Д.  | |
| 3) торцх.нн.БатцхНорм3д | Користи се за примену групне нормализације преко 5Д улаза.  | |
| 4) торцх.нн.ГроупНорм | Користи се за примену групне нормализације преко мини групе улаза. | |
| 5) торцх.нн.СинцБатцхНорм | Користи се за примену групне нормализације преко н-димензионалних улаза. | |
| 6) торцх.нн.ИнстанцеНорм1д | Користи се за примену нормализације инстанце на 3Д улаз. | |
| 7) торцх.нн.ИнстанцеНорм2д | Користи се за примену нормализације инстанце преко 4Д улаза. | |
| 8) торцх.нн.ИнстанцеНорм3д | Користи се за примену нормализације инстанце преко 5Д улаза. | |
| 9) торцх.нн.ЛаиерНорм | Користи се за примену нормализације слоја преко мини-серије улаза. | |
| 10) торцх.нн.ЛоцалРеспонсеНорм | Користи се за примену локалне нормализације одзива на улазни сигнал који се састоји од неколико улазних равни, где канал заузима другу димензију. | |
| 9. | Понављајући слојеви | |
| 1) бакља.нн.РНН | Користи се за примену вишеслојног Елман РНН-а са танх или РеЛУ нелинеарношћу на улазну секвенцу. Сваки слој израчунава следећу функцију за сваки елемент у улазној секвенци: хт=танх(ВњихИкст+бњих+ВХХтт-1+бХХ) | |
| 2) бакља.нн.ЛСТМ | Користи се за примену вишеслојне дуготрајне краткорочне меморије (ЛСТМ) РНН на улазну секвенцу. Сваки слој израчунава следећу функцију за сваки елемент у улазној секвенци:  | |
| 3) бакља.нн.ГРУ | Користи се за примену РНН вишеслојне рекурентне јединице (ГРУ) на улазну секвенцу. Сваки слој израчунава следећу функцију за сваки елемент у улазној секвенци:  | |
| 4) бакља.нн.РННЦелл | Користи се за примену Елман РНН ћелије са танх или РеЛУ нелинеарношћу на улазну секвенцу. Сваки слој израчунава следећу функцију за сваки елемент у улазној секвенци: х'=танх(Вњихк+бњих+ВХХх+бХХ) РеЛУ се користи уместо танх | |
| 5) торцх.нн.ЛСТМЦелл | Користи се за примену ћелије дуготрајне краткорочне меморије (ЛСТМ) на улазну секвенцу. Сваки слој израчунава следећу функцију за сваки елемент у улазној секвенци:  Где је σ сигмоидна функција, а * Адамаров производ. | |
| 6) бакља.нн.ГРУЦелл | Користи се за примену ћелије рекурентне јединице (ГРУ) на улазну секвенцу. Сваки слој израчунава следећу функцију за сваки елемент у улазној секвенци:  | |
| 10. | Линеарни слојеви | |
| 1) бакља.нн.Идентитет | То је оператор идентитета чувара места који је неосетљив на аргументе. | |
| 2) бакља.нн.Линеарна | Користи се за примену линеарне трансформације на долазне податке: и=кАТ+б | |
| 3) бакља.нн.Билинеарна | Користи се за примену билинеарне трансформације на долазне податке: и=к1Ак2+б | |
| Једанаест. | Отпадни слојеви | |
| 1) бакља.нн.Отпадање | Користи се за регуларизацију и превенцију ко-адаптације неурона. Фактор од  током тренинга скалира излаз. То значи да модул израчунава функцију идентитета током евалуације. | |
| 2) торцх.нн.Дропоут2д | Ако су суседни пиксели унутар мапа обележја у корелацији, онда торцх.нн.Дропоут неће регулисати активације и смањиће ефективну стопу учења. У овом случају, торцх.нн.Дропоут2д() се користи за промовисање независности између мапа обележја. | |
| 3) торцх.нн.Дропоут3д | Ако су суседни пиксели унутар мапа обележја у корелацији, онда торцх.нн.Дропоут неће регулисати активације и смањиће ефективну стопу учења. У овом случају, торцх.нн.Дропоут2д () се користи за промовисање независности између мапа обележја. | |
| 4) торцх.нн.АлпхаДропоут | Користи се за примену Алпха Дропоут-а преко улаза. Алпха Дропоут је врста напуштања која одржава својство самонормализације. | |
| 12. | Ретки слојеви | |
| 1) бакља.нн.Уградња | Користи се за чување уграђивања речи и њихово преузимање помоћу индекса. Улаз за модул је листа индекса, а излаз је одговарајуће уграђивање речи. | |
| 2) торцх.нн.ЕмбеддингБаг | Користи се за израчунавање збира или средње вредности 'врећица' уграђивања без инстанцирања средњег уграђивања. | |
| 13. | Функција удаљености | |
| 1) торцх.нн.ЦосинеСимиларити | Вратиће косинусну сличност између к1 и к2, израчунату дуж дим.  | |
| 2) торцх.нн.ПаирвисеДистанце | Он израчунава групно растојање у пару између вектора в1, в2 користећи п-норму:  | |
| 14. | Функција губитка | |
| 1) бакља.нн.Л1Губитак | Користи се за критеријум који мери средњу апсолутну грешку између сваког елемента у улазу к и циљног и. Несмањени губитак се може описати као: л(к,и)=Л={л1,...,лн},лн=|кн-ин|, Где је Н величина серије. | |
| 2) торцх.нн.МСЕЛосс | Користи се за критеријум који мери средњу квадратну грешку између сваког елемента у улазу к и циља и. Несмањени губитак се може описати као: л(к,и)=Л={л1,...,лн},лн=(кн-ин)2, Где је Н величина серије. | |
| 3) торцх.нн.ЦроссЕнтропиЛосс | Овај критеријум комбинује нн.ЛогСофтмак() и нн.НЛЛЛосс() у једној класи. Корисно је када обучавамо класификациони проблем са Ц класама. | |
| 4) торцх.нн.ЦТЦЛосс | Губитак временске класификације конекциониста израчунава губитак између непрекидне временске серије и циљне секвенце. | |
| 5) торцх.нн.НЛЛЛосс | Губитак негативне лог-вероватности се користи за обуку класификационог проблема са Ц класама. | |
| 6) торцх.нн.ПоиссонНЛЛЛосс | Негативни губитак лог-вероватноће са Поиссоновом дистрибуцијом т таргет~Поиссон(инпут)губитак(инпут,таргет)=инпут-таргет*лог(таргет!)он циљ. | |
| 7) торцх.нн.КЛДивЛосс | То је корисна мера удаљености за континуирану дистрибуцију, а такође је корисна када вршимо директну регресију преко простора континуиране дистрибуције излаза. | |
| 8) бакља.нн.БЦЕЛос | Користи се за креирање критеријума који мери бинарну унакрсну ентропију између циља и излаза. Несмањени губитак се може описати као: л(к,и)=Л={л1,...,лн},лн=-вн[ин*логкн+ (1-гн)*лог(1-кн)], Где је Н величина серије. | |
| 9) торцх.нн.БЦЕВитхЛогитсЛосс | Комбинује сигмоидни слој и БЦЕЛосс у једној класи. Можемо искористити трик лог-сума-екп за нумеричку стабилност комбиновањем операције у један слој. | |
| 10) торцх.нн.МаргинРанкингЛосс | Он ствара критеријум који мери губитак датих улаза к1, к2, два 1Д мини-серијске тензора и ознаку 1Д мини-серијске тензор и који садрже 1 или -1. Функција губитка за сваки узорак у мини-серији је следећа: губитак(к,и)=мак(0,-и*(к1-Икс2)+маргина | |
| 11) торцх.нн.ХингеЕмбеддингЛосс | ХингеЕмбеддингЛосс мери губитак датог улазног тензора к и тензора ознака и који садрже 1 или -1. Користи се за мерење да ли су два улаза слична или различита. Функција губитка је дефинисана као:  | |
| 12) торцх.нн.МултиЛабелМаргинЛосс | Користи се за креирање критеријума који оптимизује губитак шарке за више класа за више класа између улаза к и излаза и.  | |
| 13) торцх.нн.СмоотхЛ1Лосс | Користи се за креирање критеријума који користи термин на квадрат ако апсолутна грешка у погледу елемената падне испод 1 и Л1 термин у супротном. Такође је познат као Хуберов губитак:  | |
| 14) торцх.нн.СофтМаргинЛосс | Користи се за креирање критеријума који оптимизује логистички губитак двокласне класификације између улазног тензора к и циљног тензора и који садрже 1 или -1.  | |
| 15) торцх.нн.МултиЛабелСофтМаргинЛосс | Користи се за креирање критеријума који оптимизује губитак са више ознака један наспрам свих на основу максималне ентропије између улаза к и циља и величине (Н, Ц).  | |
| 16) торцх.нн.ЦосинеЕмбеддингЛосс | Користи се за креирање критеријума који мери губитак датих улазних тензора к1, к2 и тензорске ознаке и са вредностима 1 или -1. Користи се за мерење да ли су два улаза слична или различита, користећи косинусну удаљеност.  | |
| 17) торцх.нн.МултиМаргинЛосс | Користи се за креирање критеријума који оптимизује губитак шарке у више класа класификације између улаза к и излаза и.  | |
| 18) торцх.нн.ТриплетМаргинЛосс | Користи се за креирање критеријума који мери троструки губитак датих улазних тензора к1, к2, к3 и маргине са вредношћу већом од 0. Користи се за мерење релативне сличности између узорака. Тројка се састоји од сидра, позитивног примера и негативног примера. Л(а,п,н)=мак{д(аи,пи)-д(аи,ни)+маргина,0} | |
| петнаест. | Слојеви вида | |
| 1) торцх.нн.ПикелСхуффле | Користи се за преуређивање елемената у тензор облика (*,Ц×р2,Х,В) на тензор облика (*,Ц,Х×р,В,р) | |
| 2) торцх.нн.Упсампле | Користи се за повећање узорковања датих вишеканалних 1Д, 2Д или 3Д података. | |
| 3) торцх.нн.упсамплингНеарест2д | Користи се за примену 2Д повећања узорковања најближег суседа на улазни сигнал који се састоји од вишеструких улазних канала. | |
| 4) торцх.нн.УпсамплингБилинеар2д | Користи се за примену 2Д билинеарног повећања узорковања на улазни сигнал који је састављен са вишеструким улазним каналом. | |
| 16. | Паралелни слојеви података (мулти-ГПУ, дистрибуирани) | |
| 1) торцх.нн.ДатаПараллел | Користи се за имплементацију паралелизма података на нивоу модула. | |
| 2) торцх.нн.ДистрибутедДатаПараллел | Користи се за имплементацију паралелизма дистрибуираних података, који се заснива на пакету торцх.дистрибутед на нивоу модула. | |
| 3) торцх.нн.ДистрибутедДатаПараллелЦПУ | Користи се за имплементацију паралелизма дистрибуираних података за ЦПУ на нивоу модула. | |
| 17. | Комуналне услуге | |
| 1) торцх.нн.цлип_град_норм_ | Користи се за исецање норме градијента итеративног броја параметара. | |
| 2) торцх.нн.цлип_град_валуе_ | Користи се за исецање норме градијента итеративног броја параметара на специфицираној вредности. | |
| 3) торцх.нн.параметерс_то_вецтор | Користи се за претварање параметара у један вектор. | |
| 4) торцх.нн.вецтор_то_параметерс | Користи се за претварање једног вектора у параметре. | |
| 5) торцх.нн.веигхт_норм | Користи се за примену нормализације тежине на параметар у датом модулу.  | |
| 6) торцх.нн.ремове_веигхт_норм | Користи се за уклањање нормализације тежине и поновне параметризације из модула. | |
| 7) торцх.нн.спецтрал_норм | Користи се за примену спектралне нормализације на параметар у датом модулу. | |
| 8) торцх.нн.ПацкедСекуенце | Користиће се за чување података и листе батцх_сизе упакованог низа. | |
| 9) торцх.нн.пацк_паддед_секуенце | Користи се за паковање Тензора који садржи подстављене секвенце променљиве дужине. | |
| 10) торцх.нн.пад_пацкед_секуенце | Користи се за попуњавање упаковане серије секвенци променљиве дужине. | |
| 11) торцх.нн.пад_секуенце | Користи се за попуњавање листе тензора променљиве дужине са вредношћу допуне. | |
| 12) торцх.нн.пацк_секуенце | Користи се за паковање листе тензора променљиве дужине | |
| 13) торцх.нн.ремове_спецтрал_норм | Користи се за уклањање спектралне нормализације и поновне параметризације из модула. |
Референца:
хттпс://питорцх.орг/доцс/стабле/нн.хтмл