Transcription of Neuronale Netze
1 Neuronale NetzeEine Einf hrungDruckversion der tTraining und sungenCompetitive LearningZusammenfassungNetztypenPattern AssociatorRekurrente NetzeSimple Recurrent NetworksAnwendungen von rekurrenten NetzenAttraktorennetzeEigenschaften von AttraktorennetzenKompetitive NetzeKohonennetzeWas sind Kohonennetze?AufbauBerechnungWichtige ParameterAnwendungsm glichkeitenZusammenfassungEigenschaftenP arallelverarbeitung und verteilte SpeicherungWeitere EigenschaftenProblemeZusammenfassungAnwe ndungenFarbkonstanzAusgangssituationNetz aufbauErgebnisse und FazitRoutinet tigkeitenAusgangssituationNetzaufbauErge bnisse und FazitAutismusAusgangssituationNetzaufbau Ergebnisse und FazitZusammenfassungSonstigesWeiterf hrende LinksAllgemeine Einf hrungenAnwendungenInteraktive Visualisierungen / AppletsSonstige weiterf hrende LinksExkurs.
2 Einstiegshilfe in MemBrainVoreinstellungenUnitsVerbindunge nAktivit tsfunktionTrainingsphaseTestphaseLiterat urverzeichnisAbbildung1:WarrenMcCulloch( 1898-1972)Abbildung2:WalterPitts(1924-19 69)Grundlagen/EinleitungEinleitungNeuron ale Netze beziehen sich auf das Neuronennetz des menschlichenGehirns. Dieses dient als Analogie und Inspiration f r in Computernsimuliertek nstliche Neuronale Netze . Diese Analogie steht bei heutigenArbeiten zu neuronalen Netzen jedoch h ufig nicht mehr im Ersten, die sich mit demThemaneuronaleNetzebesch ftigten, warenWarrenMcCulloch und Walter PittsimJahr 1943 mit ihrem Formalmodelldes Neurons.
3 Die Arbeiten mit undzu neuronalen Netzen haben seitca. 1986 sehr stark existieren inzwischen zahlreichewissenschaftliche Zeitschriften, diesich prim r mit diesem Thema auseinandersetzen, z. B."Neurocomputing", "Neural Computation" oder "Neural Networks".Mittlerweile l sst sich der Anwendungsbereich der Methodein zwei gro eBereiche unterteilen:K nstliche Neuronale Netze , die modelliert werden, um menschlichesVerhalten und Erleben bzw. dieFunktionsweise des menschlichenGehirns besser zu nstliche Neuronale Netze , die dazu dienenkonkreteAnwendungsproblemeaus Bereichen wie z. B. Statistik,Wirtschaftswissenschaften, Technik und vielen anderen Gebieten zul bt die Idee der neuronalen Netze auf viele Menschen eine sehrhohe Faszinationskraft aus.
4 Diese Lernhilfe soll auf der einen Seiteversuchen, diesen Enthusiasmus auf Sie zu bertragen. Zugleich solljedoch auch gezeigt werden, dass hinter dem Thema neuronaleNetzenichts weiter als Matrizenberechnungen zun chst zu den Grundeinheiten neuronaler Netze , den :MenschlichesGehirnZweiteilungderThemeng ebieteMatrizenberechnungenAbbildung3:Sch ematischeDarstellungeinesneuronalenNetze sGrundlagen/UnitsUnitsNeuronale Netze bestehen aus mehreren Neuronen. Diese Neuronenwerden auch als Units, Einheiten oder Knoten bezeichnet. Sie dienen dazu,Informationen aus der Umwelt oder von anderen Neuronen aufzunehmenund an andere Units oder die Umwelt in modifizierter Form unterscheidet zwischen 3 verschiedenen Arten von Neuronen:Input-Units: Units, dievon der Au enweltSignale (Reize, Muster)empfangen k : Units, diesich zwischen Input- undOutput-Units befindenundeineinterneRepr sentationderAu enwelt : Units, dieSignale an die Au enweltweitergeben.
5 " bereinander" angeordnete Knoten ( die beiden rechtsbefindlichenOutput-Units in Abbildung 3) fasst man als Schicht bzw. Layer :UnitsunterschiedlicheUnitartenGrundlage n/VerbindungenVerbindungen zwischen UnitsUnits sind miteinander durch Kanten verbunden. Die St rke der Verbindungzwischen zwei Neuronen wird durch ein Gewicht ausgedr gr er derAbsolutbetrag des Gewichtes ist, desto gr er ist der Einfluss einer Unit aufeine andere Gewichtbringt zum Ausdruck, dass ein Neuron auf einanderes Neuron einen exzitatorischen, erregenden Einfluss aus Gewichtbedeutet, dass der Einfluss inhibitorisch,also hemmender Natur von Nullbesagt, dass ein Neuron auf ein anderesNeuron derzeit keinen Einfluss aus neuronalen Netzes ist in seinen Gewichten bei neuronalen Netzen zumeist als Gewichtsver nderungenzwischen den Einheiten definiert.
6 Wie die Gewichtsver nderung genauerfolgt ist abh ngig von der :WissenundLernenGrundlagen/InputInput und NetzinputDer Input (bzw. die Eingabe), den ein Neuron von einer anderen Unitempf ngt, h ngt von zwei Werten ab, die zumeist multiplikativ miteinanderverkn pft sind:Output (bzw. Aktivit tslevel) der sendenden EinheitGewicht zwischen den beiden NeuronenJe st rker also der Aktivit tslevel der sendenden Einheit und je h her dasGewicht zwischen den beiden Units, desto gr er ist der Einfluss (Input) aufdie empfangende Einheit. Ist einer der beiden Terme gleich Null, so ist keinEinfluss gesamte Input einer Unit wird Netzinput (auch: Netto-Input,Netzeingabe, Netinput) genannt.
7 Dieser wird ber die bestimmt. Die verbreitetste Propagierungsfunktion isteine Linearkombination, bei der sich der Netzinput additivaus s mtlicheneinzelnen Inputs zusammensetzt, die das Neuron von anderenNeuronenerh und Netzinput einer Unit lassen sich auch als Formeln der Unit i: inputij= ajwijdabei bezieht sich "i" auf die empfangende Unit, w hrend "j"die sendendenUnits : Die erste Indexstelle kennzeichnet immer die empfangendeEinheit, der zweite Index betrifft die sendende Aktivit tslevel der sendenden Unit jwij= Gewicht zwischen der sendenden (j) und der empfangenden (i) UnitNetzinput der Unit i.
8 Netinputi=jinputij=jajwijDie bereitgestellte interaktive Visualisierung dient dazu, denZusammenhang zwischen Aktivit tslevel, Gewichten und Netzinput nochbesser zu verstehen. Probieren Sie diese doch einfach einmal aus!Definition:InputDefinition:Netzinput Formel:InputFormel:NetzinputAbbildung4:Z weidimensionalesLiniendiagrammmitsigmoid erAktivit tsfunktionGrundlagen/Aktivit tAktivit tsfunktion, Aktivit tslevel und OutputDieAktivit tsfunktion(Transferfunktion,Aktivierungs funktion) stellt den Zusammenhangzwischen dem Netzinput und dem Aktivit tsleveleines Neurons dar. Die Aktivit tsfunktion wird ineinem 2-dimensionalen Diagramm visualisiert,wobei auf der Abszisse (x-Achse) der Netzinput derEinheit und auf der Ordinate (y-Achse) derentsprechende Aktivit tslevel abgetragen wird.
9 DerAktivit tslevel wirddurch eine dann in den Output transformiert,den das Neuron an andere Neuronen ufig wird als Ausgabefunktion dieIdentit tsfunktion verwendet, der Output ist gleich dem Aktivit wird auch hier im folgenden unterscheidet zwischen verschiedenen Aktivit tsfunktionen:Lineare Aktivit tsfunktion: Hier ist der Zusammenhang zwischenNetzinput und Aktivit tslevel Aktivit tsfunktion mit Schwelle: Bevor derZusammenhang zwischen den beiden Gr en linear wird, muss einezuvor festgelegte Schwelle berschritten werden. Dies kann sinnvollsein, wenn ein zu niedriger Netzinput (z.)
10 B. ein Rauschen) nicht alsSignal weitergeleitet werden re Schwellenfunktion: Hier gibt es nur zwei Zust nde desAktivit tslevels, 0 (bzw. manchmal auch -1) oder Aktivit tsfunktion: Diese Art von Aktivit tsfunktion wirdin den meisten Modellen verwendet, die kognitive Prozessesimulieren. Man kann dabei die logistische Funktion und dieTangens-Hyperbolicus-Funktion unterscheiden. Beide Funktionenverhalten sich jedoch relativ hnlich: Ist der Netzinput (vom Betragher) gro und negativ, dann ist der Aktivit tslevel nahe 0 (logistischeFunktion) bzw. -1 (Tangens-Hyperbolicus-Funktion), steigt dannzun chst langsam an (eine Art Schwelle), danach wird der Anstiegsteiler und gleicht einer linearen Funktion.
