Hva er nevrale nettverk?

Viktige konsepter på denne siden

Digitale nevroner er en forenklet versjon av biologiske nevroner.
Digitale nevroner er organisert i nettverk.
Disse nettverkene av digitale nevroner lærer og produserer resultater ved hjelp av to grunnleggende algoritmer.
Store språkmodeller har milliarder av parametere.

Historien om Liora og det Hemmelige Nevrontreet

Tidlig en morgen, mens tåken hang som et mykt slør langs skogkanten, gikk Kiara og datteren Liora langs en stille sti. Kiara hadde sovet litt for lenge, som vanlig, men hun var fortsatt klar for et lite utendørseventyr. Plutselig pekte Liora på et gammelt tre hvis bark så ut som forgreinet lyn. «Mamma, det ser ut som et nevron!» Kiara smilte. «Ja, det gjør faktisk det. Kom, så skal jeg fortelle deg hvordan nevroner fungerer.»

1 Dendrittene - grenene som lytter

Kiara la hånden på en av de mange grenene. «Se på disse grenene. De er som dendritter. Dendrittene er den delen av et nevron som mottar signaler fra andre nevroner. De er som ører — de hører alt rundt seg.» Liora lente seg mot treet og hvisket, «Hallo?» «Akkurat,» sa Kiara. «Nevroner hvisker til hverandre også — men med ørsmå elektriske signaler.»

4 Synapsene - de magiske broene

På slutten av den lange grenen hang det små kvister. «Det er her magien skjer,» sa Kiara. «Disse er som synapser. Her hopper signalet fra ett nevron til det neste — men ikke med elektrisitet, med kjemi.» «Kjemi?» «Ja! Nevronet frigjør små kjemiske budbringere kalt nevrotransmittere, og de påvirker det neste nevronet. Det er litt som å sende små flaskeposter.»

5 Et levende nettverk

Liora tok noen skritt tilbake og så på hele treet. «Så nevroner er egentlig bare… mange grener som lytter, tenker, sender og deler?» Kiara nikket. «Ja. Og hjernen vår har omtrent hundre milliarder av dem. Hver tanke du har, hvert steg du tar, hver idé som dukker opp — alt skjer fordi disse nevronene jobber sammen.» Liora smilte bredt. «Da er hjernen vår som en hel skog av magiske trær!» Kiara klemte datterens hånd. «Det er en vakker måte å si det på.»

Hva Kiara og Liora la merke til om nevroner

Historien om Det Hemmelige Nevrontreet fremhever de samme kjernestegene som ethvert biologisk nevron følger når det håndterer informasjon.

Dendrittene lytter: som treets grener Liora berørte, samler dendritter innkommende signaler fra nærliggende nevroner.
Soma bestemmer: i cellekroppen forklarte Kiara hvordan nevronet veier alle disse signalene, og bare reagerer når det samlede signalet er sterkt nok.
Aksonet bærer beskjeden: når nevronet bestemmer seg for å avfyre, løper den elektriske impulsen ned aksonet som på en sti.
Synapsene overleverer det: ved de små kvistene Liora forestilte seg som broer, hopper nevrotransmittere over gapet slik at de neste nevronene kan motta signalet.
Nettverk vekker det til live: milliarder av disse samtalene utgjør sammen den levende skogen som driver enhver tanke og bevegelse.

Fra biologiske til kunstige nevroner

Denne illustrasjonen viser hvordan kunstige nevroner kan simulere atferden til biologiske nevroner på en mye enklere måte.

Mange-til-en inndata (x): Flere inndatasignaler (eller nevroner) mates inn i ett enkelt nevron.
Vektet nevronsti (w): Betydningen av hvert signal for å generere resultatet er modellert ved å tildele en vekt til hver bane.
Aktiveringsnivå (b): Hvorvidt et nevron lett sender et signal videre, kan modelleres av en konstant parameter kalt bias.
Aktiveringsfunksjon (f(z)): Det faktum at et nevron må nå et visst aktiveringsnivå før det sender videre et signal formidles i koden av en aktiveringsfunksjon.
Utdatasignal (y): Signalet som sendes til alle tilkoblede nevroner er resultatet.

For å fastslå om et nevron sender signalet videre til neste nevron, ganges hvert inngangssignal med dets vekt. Den konstante bias-verdien legges deretter til summen av disse vektede inndataene. Hvis denne totalen går gjennom aktiveringsfunksjonen, sendes det resulterende signalet videre til alle tilkoblede nevroner.

Prøv en ett-nevrons-simulering

Se tre innkommende signaler samle seg opp inn i et nevron. Når potensialet krysser terskelen, avfyres nevronet og sender signalet videre til tre mottakere.

Input
1

Input
2

Input
3

Nevron
som summerer

Mål
1

Mål
2

Mål
3

Membranpotensial (summen av inngangene) 0.00

Nevronet hviler.

Visualisering av et lite «feed-forward»-nettverk

Dette diagrammet tar ideen om avfyrende nevroner og setter dem opp i et to-lags kunstig nettverk. To inndata mates inn i tre skjulte noder, som så sender sine tall videre mot utdata-nodene. Hver forbindelse har en vekt (w) og hver skjulte node har sin egen bias (b) og aktiveringsfunksjon (f(z)) for å forme hvordan signalene flyter gjennom systemet.

Inndata kombineres via vektede summer før de sendes til det skjulte laget.
Bias forskyver hver nevrons aktivering slik at de kan avfyres selv når inndataene er små.
Aktiveringsfunksjoner modulerer selve avfyringen og signalet til følgende nevroner.
Antall parametere: 15 (12 vekter og 3 bias -verdier)

Når alt settes sammen

ML Treningsfase

Ett KI-selskap lærer modellen opp

Lærdom i vekter og biases er forskjellen på tilfeldige verdier og et 'intelligent' nettverk.

Starta med alle vekter tilfeldig. Ett nettverk starter med randomierte parametere (vektene og biasene).
Mating-fremover. En haug bestandinge input-output verdier skyves i nettverket, som nå produserer et først (helt feil) utdatassignal.
Back-propagering Feilen mellom nettverkt' sine predikter og sine antatte kjente resultatverdi er feilen, der feilsignalet deretter propagerer tilbake gjennom lagene i nettverket, for å 'pushe' hver the viktvektet og hver biases mot nærmere the riktig resultatvekt for (den kjente output verdien).
Gjentar gjennom hele datasett. Man gjentar en rekke av av disse 'mate fremover' - 'propagere tilbake' (lære løkkene) inn til parameterens parameter finjustere over hele det kjente oppgave-området.

ML Bruksfase

Du kommuniser med modellen

Di melding konverteres i til nummer, passerer lagene én gang, og konverteres av og produserer the meningsfulle innhold de vi treng.

Lage/send in signal. Din forespørsel på tekskt format eller hva nå transformeres in till inngagnverdier.
Mat fremover . Inputs blir sumert opp basert på alle lagene (slik nettverk og lærefases),
Utdate producert. Output node verdi omgjøres and dekoder opp till et output fil til text formaten den er for (hva the gjelder).
Feil - Ingen endringer modell Hva og om modell gjæres utav dette for å skape verdien under the 'bruk faser', gjør the INKLUDERE IKKE ENDRINGER På MODELL parameters.
Og der the inegn bruks av trenings info Her lages the med de algoritmer uten the original trener databasen og dataset til trengte nettverkeret the.

Skalaen på dagens modeller

Størrelse betyr noe

Moderne store språkmodeller pakker milliarder av parametere inn i sine digitale nevroner. Disse vektene og biasene er de lærte verdiene som lar modellen forutsi neste token i en sekvens med utrolig flyt.

Hver parameter er et lite tall, men sammen gir de modellene tilstrekkelig kapasitet til å fange opp mønstre på tvers av språk, bilder og kode. Selv om de krever spesialisert maskinvare og massive datasett for å trenes, kan de ferdige modellene generere resultater ved hjelp av et enkelt «feed-forward»-sveip — akkurat som i nettverket du utforsket ovenfor.

Oversikt over antall parametere i store generative AI-modeller

Videre lesning / Fordypning

Gå dypere inn i hvordan "backpropagation" fungerer.
Utforsk andre typer nevrale nettverksarkitekturer, som CNN (Convolutional Neural Networks) for bildegjenkjenning.
Tegn ned et svært enkelt nevralt nettverk (for eksempel 2 inndata, 3 skjulte, 2 utdata), og sett inn tilfeldige tall for vekter og bias. Klarer du å regne ut ett "feed-forward"-sveip med kun penn og papir?