Bună ziua și bineveniți înapoi la cursul de inteligență artificială.
Astăzi vorbim despre pedeapsa vie.
În regulă, aici avem toată ecuația lui Belman și, pe măsură ce treceam prin acest
curs, am devenit din ce în ce mai complexe, astfel încât până acum am adăugat deja aceste probabilități.
Și, de asemenea, am adăugat factorul de actualizare.
Acum vom examina în detaliu această parte a întrebării, unde avem acum răsplata.
Amintiți-vă mai devreme când am vorbit despre modul în care funcționează procesul de învățare a consolidării am spus că
avem un agent și că acționează în mediul înconjurător și într-un schimb sau ca urmare a faptului că devine un
nou stat și care este acum și o recompensă pentru această acțiune.
Ei bine, până acum, în exemplul nostru, primim recompense doar la sfârșitul fie dacă ajungem la linia de
sosire, fie dacă pentru agent ajungem în groapă de incendiu, primește o plus sau o răsplată minus.
Dar aceasta este o abordare foarte simplistă a învățării de consolidare și în scenariile mai realiste, veți avea probabil recompense
pe parcursul călătoriei, nu doar la sfârșitul căreia ați putea avea recompense pe parcursul călătoriei.
De exemplu, dacă este un AI care joacă un joc și dacă, de exemplu, este ca și cum ar fi împușcat pe cineva în stare de dispreț,
s-ar putea obține puncte pentru uciderea acelui inamic sau ar putea fi un alt joc diferit.
Dacă depășește o altă mașină sau ceva de genul asta numai din cauza regulilor jocului, nu
datorită modului său de a analiza jocul, dar de fapt jocul este structurat într-un mod care întărește punctele sale de dăruire
pentru a face anumite acțiuni chiar înainte de joc peste.
Astfel, Sinatras-urile sunt foarte frecvente și nu doar în jocuri și în viața reală și de aceea vom
introduce ceva similar în exemplul nostru o versiune simplificată a acesteia, dar totuși o recompensă acordată
în mod continuu agentului pe tot parcursul jocului nu doar la sfârșit și modul în care o
să facem este să ne uităm la celelalte plăci.
Deci, acum avem doar o recompensă plus unu la plăcile finale și o recompensă minus 1
la celălalt tigla finală.
Dar acum vom adăuga recompense în fiecare moment.
Vom adăuga o recompensă foarte mică va fi minus 0. 04.
Și după cum puteți vedea că este negativ, de fiecare dată când agentul se mișcă, va primi o recompensă negativă și asta
se numește o pedeapsă vie, pentru că indiferent unde merge, va primi întotdeauna această recompensă negativă, cu excepția
acestor plăci finale, pentru că acesta este sfârșitul jocul.
Și astfel puteți vedea recompensa chiar și pe acest țiglă este nebunie sau un puzzle.
Dar asta nu înseamnă că el începe cu această recompensă.
El primește numai această răsplată.
Și este important să-ți amintești că își primește răsplata doar când intră într-o țiglă, așa că ori de câte ori promite o
acțiune pe care o duce aici, atunci va primi această recompensă minus 0. 04 și apoi se întoarce la acest stil va primi o
altă minte și 0. 04 cuvânt.
Și astfel, cu cât el merge mai mult în jurul valorii de mai mult își acumulează recompensa negativă și, prin urmare, este
un stimulent pentru el să termine jocul cât mai repede posibil.
Și acum, haideți să ne uităm la modul în care politica noastră sau modul în care politica agenților se va schimba
în funcție de valoarea pe care am stabilit-o pentru această recompensă.
Deci, aici sunt patru medii și în fiecare vom explora un altul.
Nu vom face calculele.
Vom proiecta doar rezultatele și veți vedea că intuitiv ei fac sens total.
Deci, aici avem o recompensă pentru orice ofertă de pas pentru a intra în orice stat.
Este egal cu zero.
Așa cum am văzut înainte, răsplata va fi Mei. 0.
Pentru ceea ce am făcut doar acum știi că recompensa va fi la minus 0. 5 sau nivelul de acordare a pedepsei va fi al meu
este foc deschis atât de mult vă puteți vedea aici mai mult de 10 ori mai mare.
Iată-l pe Penhall care trăiește, va fi minus doi.
Deci, chiar mai mult decât recompensele pe care le obțineți pentru sărituri sau chiar mai puțin decât recompensa pe care sunteți agentul devine pentru a se termina
în groapă de foc.
Deci, haideți să aruncăm o privire asupra modului în care acțiunile sau politica optimă pentru trecerea acestui mediu se vor schimba în
funcție de această recompensă.
Deci aceasta este politica noastră inițială.
Și, după cum vă amintiți, am avut aceste două decizii foarte interesante, chiar și puțin ciudate, ale
agentului, dar care are sens dacă poate să trăiască atâta timp cât îi place.
Dacă puteți doar să călătoriți pe tot parcursul timpului în care el dorește fără a fi penalizat pentru a rămâne în viață
foarte mult timp.
De ce nu de ce nu ar intra doar în colțul ăsta în perete și continuă să facă asta până se va
întâmpla.
Se întâmplă astfel să meargă așa și apoi să se plimbe.
Și același lucru este mult mai sigur pentru el să sară în perete sperând că unul dintre acestea va
veni în cele din urmă și apoi el va merge la linia de sosire oricum pentru că, prin alegerea acestor două acțiuni el nu
riscă să intre în foc .
Acum, să vedem ce se întâmplă dacă adăugăm o recompensă recompensă negativă pentru a fi doar o viață pentru a face un pas.
Deplasați-vă aici puteți vedea că acești doi s-au schimbat instantaneu.
Agentul nu vrea să sară în perete.
Este mult mai probabil să riscă să ajungă la focul de foc având o șansă de 10% să sară înăuntru, dar el
va merge înainte, pentru că de fiecare dată când vine aici să privească aici dacă o va face și aici de fiecare dată
când sare în bine efectuează o acțiune pe care o termină în această stare cu o șansă de
80%.
Și asta înseamnă o șansă de 80%, veți obține un minus 0. 04 răsplată, ceea ce înseamnă că o mare parte
din timp el va fi obtinerea acest acumulând această recompensă negativă.
Același lucru, dacă sare în perete, așteptând acel moment, când va fi mutat în mod aleatoriu
la dreapta.
Dacă continuă să facă acest lucru, el va acumula această recompensă negativă și rezultatul că, dacă
efectuați calculele, veți vedea că rezultatul că valoarea așteptată a acestei abordări sărituri pe
perete este mai rău decât riscul de a merge mai departe și, de fapt, se termină în firepit.
Deci, el își schimbă deciziile în aceste două blocuri, pentru a avansa în direcția stângă, chiar dacă știe că există riscul
de incendiu, pentru că acum cu cât este mai în viață, cu atât mai
mult va acumula această pedeapsă vie în următorul mediu.
Acum crestem Pouncey-ul vieții până la un număr mai mare de puncte Meinzer cinci și să vedem
ce schimbări aici.
Deci acum puteți vedea că în comparație cu acest mediu.
Singurul lucru care sa schimbat aici este faptul că această săgeată indică spre dreapta.
Și ceea ce înseamnă asta este că acum nu mai este o opțiune bună pentru agent sau, de fapt, de asemenea,
această săgeată arătând că arăta spre stânga și nasul duzei îndreptându-se în sus.
Deci, acum nu mai este o idee bună ca agentul să meargă de aici sau să meargă până la capăt, pentru că dacă el merge prost în tot
drumul da este în siguranță sau dacă există o șansă mai mică, nu există nici o șansă de a
obține focul.
Dar, în același timp, sau mai puține șanse se vor întâmpla.
Dar, în același timp, el va acumula o recompensă destul de negativă în timp ce merge pe jos.
Deci este doar că drumul este prea lung.
Așa că îl forțează dacă este aici sau aici pentru a lua drumul mai scurt pentru a ajunge aici, chiar dacă are un risc
mult mai mare de a intra în firepit, deoarece imediat ce ajunge în piață există o șansă de
10% să ajungă la foc .
Conform calculelor sale.
Numai valoarea așteptată a acestei abordări este mai bună decât valoarea așteptată de a merge în jur doar pentru
că am crescut această pedeapsă de viață.
Și în final ajungem la exemplul cu pedeapsa vie de minus două puncte zero.
Deci, aici vă încurajez să postați videoclipul acum că ați văzut cum sa schimbat politica în timp ce
mărim pedeapsa de încărcare.
Vă încurajez să întrerupeți videoclipul și să vă gândiți singur la ce se va întâmpla în acest scenariu.
Ce credeți că va fi acordată politica optimă că pedeapsa vie este atât de ridicată, astfel încât toate aceste presupuse
videoclipuri, dacă doriți.
Și acum voi încerca să vă arăt soluția, așa că în acest caz, dacă
măriți pedeapsa la minus 2. 0 este atât de mare amintiți-vă că pedeapsa aici este doar minus 1. 0 este atât de mare încât agentul vrea doar
să iasă din joc în orice mod posibil, chiar dacă este doar sărind în groapa de foc.
El o va face.
El va fi ca de fiecare dată când fac un pas de fiecare dată când voi ajunge într-un nou în statul dvs.
sau de fiecare dată când fac o acțiune ajung să obțin o minus două răsplată.
Deci, care este scopul încercării de a ajunge la linia de sosire dacă, de aici, îmi vor lua doi pași suplimentari.
Mă duc doar aici și apoi direct în firepit, pentru că în acest
fel răsplata mea va fi mai mică decât recompensa negativă va fi la fel de rea ca și în cazul de a face
doar pași suplimentari, astfel încât să puteți vedea că adăugarea acestui trai recompensa și în funcție de valoarea recompenselor vii pe care
le adăugăm rezultatele vor fi diferite.
Și agentul va selecta politici diferite și, în principiu, modul în care valoarea recompensării poate fi încorporată de ecuația Belmont,
chiar dacă nu este doar la linia de sosire sau la sfârșitul jocului, ci chiar
și în timpul jocului.
Și încă o dată nu trebuie să fie pe fiecare în fiecare stat, în funcție de
mediul însuși.
Ar putea fi dat agentului la anumite stări specifice, nu la fiecare stat, dar în exemplul nostru
simplist folosim doar recompense la fiecare stat dat.
Pentru a ilustra acest concept, sper să vă bucurați de tutorialul de astăzi.
Și după cum puteți vedea, deja am făcut ecuația Belman destul de sofisticată și acum ea poate fi aplicată la multe
scenarii diferite și nu pot să aștept să o văd în următorul tutorial.
Și până atunci bucurați-vă de un I.