Neuronale Netze

1 Neuronale NetzeEine Einf hrungDruckversion der tTraining und sungenCompetitive LearningZusammenfassungNetztypenPattern AssociatorRekurrente NetzeSimple Recurrent NetworksAnwendungen von rekurrenten NetzenAttraktorennetzeEigenschaften von AttraktorennetzenKompetitive NetzeKohonennetzeWas sind Kohonennetze?AufbauBerechnungWichtige ParameterAnwendungsm glichkeitenZusammenfassungEigenschaftenP arallelverarbeitung und verteilte SpeicherungWeitere EigenschaftenProblemeZusammenfassungAnwe ndungenFarbkonstanzAusgangssituationNetz aufbauErgebnisse und FazitRoutinet tigkeitenAusgangssituationNetzaufbauErge bnisse und FazitAutismusAusgangssituationNetzaufbau Ergebnisse und FazitZusammenfassungSonstigesWeiterf hrende LinksAllgemeine Einf hrungenAnwendungenInteraktive Visualisierungen / AppletsSonstige weiterf hrende LinksExkurs: Einstiegshilfe in MemBrainVoreinstellungenUnitsVerbindunge nAktivit tsfunktionTrainingsphaseTestphaseLiterat urverzeichnisAbbildung1:WarrenMcCulloch( 1898-1972)Abbildung2:WalterPitts(1924-19 69)Grundlagen/EinleitungEinleitungNeuron ale Netze beziehen sich auf das Neuronennetz des menschlichenGehirns.

2 Dieses dient als Analogie und Inspiration f r in Computernsimuliertek nstliche Neuronale Netze . Diese Analogie steht bei heutigenArbeiten zu neuronalen Netzen jedoch h ufig nicht mehr im Ersten, die sich mit demThemaneuronaleNetzebesch ftigten, warenWarrenMcCulloch und Walter PittsimJahr 1943 mit ihrem Formalmodelldes Neurons. Die Arbeiten mit undzu neuronalen Netzen haben seitca. 1986 sehr stark existieren inzwischen zahlreichewissenschaftliche Zeitschriften, diesich prim r mit diesem Thema auseinandersetzen, z. B."Neurocomputing", "Neural Computation" oder "Neural Networks".Mittlerweile l sst sich der Anwendungsbereich der Methodein zwei gro eBereiche unterteilen:K nstliche Neuronale Netze , die modelliert werden, um menschlichesVerhalten und Erleben bzw. dieFunktionsweise des menschlichenGehirns besser zu nstliche Neuronale Netze , die dazu dienenkonkreteAnwendungsproblemeaus Bereichen wie z. B. Statistik,Wirtschaftswissenschaften, Technik und vielen anderen Gebieten zul bt die Idee der neuronalen Netze auf viele Menschen eine sehrhohe Faszinationskraft aus.

3 Diese Lernhilfe soll auf der einen Seiteversuchen, diesen Enthusiasmus auf Sie zu bertragen. Zugleich solljedoch auch gezeigt werden, dass hinter dem Thema neuronaleNetzenichts weiter als Matrizenberechnungen zun chst zu den Grundeinheiten neuronaler Netze , den :MenschlichesGehirnZweiteilungderThemeng ebieteMatrizenberechnungenAbbildung3:Sch ematischeDarstellungeinesneuronalenNetze sGrundlagen/UnitsUnitsNeuronale Netze bestehen aus mehreren Neuronen. Diese Neuronenwerden auch als Units, Einheiten oder Knoten bezeichnet. Sie dienen dazu,Informationen aus der Umwelt oder von anderen Neuronen aufzunehmenund an andere Units oder die Umwelt in modifizierter Form unterscheidet zwischen 3 verschiedenen Arten von Neuronen:Input-Units: Units, dievon der Au enweltSignale (Reize, Muster)empfangen k : Units, diesich zwischen Input- undOutput-Units befindenundeineinterneRepr sentationderAu enwelt : Units, dieSignale an die Au enweltweitergeben.

4 " bereinander" angeordnete Knoten ( die beiden rechtsbefindlichenOutput-Units in Abbildung 3) fasst man als Schicht bzw. Layer :UnitsunterschiedlicheUnitartenGrundlage n/VerbindungenVerbindungen zwischen UnitsUnits sind miteinander durch Kanten verbunden. Die St rke der Verbindungzwischen zwei Neuronen wird durch ein Gewicht ausgedr gr er derAbsolutbetrag des Gewichtes ist, desto gr er ist der Einfluss einer Unit aufeine andere Gewichtbringt zum Ausdruck, dass ein Neuron auf einanderes Neuron einen exzitatorischen, erregenden Einfluss aus Gewichtbedeutet, dass der Einfluss inhibitorisch,also hemmender Natur von Nullbesagt, dass ein Neuron auf ein anderesNeuron derzeit keinen Einfluss aus neuronalen Netzes ist in seinen Gewichten bei neuronalen Netzen zumeist als Gewichtsver nderungenzwischen den Einheiten definiert. Wie die Gewichtsver nderung genauerfolgt ist abh ngig von der :WissenundLernenGrundlagen/InputInput und NetzinputDer Input (bzw.)

5 Die Eingabe), den ein Neuron von einer anderen Unitempf ngt, h ngt von zwei Werten ab, die zumeist multiplikativ miteinanderverkn pft sind:Output (bzw. Aktivit tslevel) der sendenden EinheitGewicht zwischen den beiden NeuronenJe st rker also der Aktivit tslevel der sendenden Einheit und je h her dasGewicht zwischen den beiden Units, desto gr er ist der Einfluss (Input) aufdie empfangende Einheit. Ist einer der beiden Terme gleich Null, so ist keinEinfluss gesamte Input einer Unit wird Netzinput (auch: Netto-Input,Netzeingabe, Netinput) genannt. Dieser wird ber die bestimmt. Die verbreitetste Propagierungsfunktion isteine Linearkombination, bei der sich der Netzinput additivaus s mtlicheneinzelnen Inputs zusammensetzt, die das Neuron von anderenNeuronenerh und Netzinput einer Unit lassen sich auch als Formeln der Unit i: inputij= ajwijdabei bezieht sich "i" auf die empfangende Unit, w hrend "j"die sendendenUnits : Die erste Indexstelle kennzeichnet immer die empfangendeEinheit, der zweite Index betrifft die sendende Aktivit tslevel der sendenden Unit jwij= Gewicht zwischen der sendenden (j) und der empfangenden (i) UnitNetzinput der Unit i: netinputi=jinputij=jajwijDie bereitgestellte interaktive Visualisierung dient dazu, denZusammenhang zwischen Aktivit tslevel, Gewichten und Netzinput nochbesser zu verstehen.

6 Probieren Sie diese doch einfach einmal aus!Definition:InputDefinition:Netzinput Formel:InputFormel:NetzinputAbbildung4:Z weidimensionalesLiniendiagrammmitsigmoid erAktivit tsfunktionGrundlagen/Aktivit tAktivit tsfunktion, Aktivit tslevel und OutputDieAktivit tsfunktion(Transferfunktion,Aktivierungs funktion) stellt den Zusammenhangzwischen dem Netzinput und dem Aktivit tsleveleines Neurons dar. Die Aktivit tsfunktion wird ineinem 2-dimensionalen Diagramm visualisiert,wobei auf der Abszisse (x-Achse) der Netzinput derEinheit und auf der Ordinate (y-Achse) derentsprechende Aktivit tslevel abgetragen wird. DerAktivit tslevel wirddurch eine dann in den Output transformiert,den das Neuron an andere Neuronen ufig wird als Ausgabefunktion dieIdentit tsfunktion verwendet, der Output ist gleich dem Aktivit wird auch hier im folgenden unterscheidet zwischen verschiedenen Aktivit tsfunktionen:Lineare Aktivit tsfunktion: Hier ist der Zusammenhang zwischenNetzinput und Aktivit tslevel Aktivit tsfunktion mit Schwelle: Bevor derZusammenhang zwischen den beiden Gr en linear wird, muss einezuvor festgelegte Schwelle berschritten werden.

7 Dies kann sinnvollsein, wenn ein zu niedriger Netzinput (z. B. ein Rauschen) nicht alsSignal weitergeleitet werden re Schwellenfunktion: Hier gibt es nur zwei Zust nde desAktivit tslevels, 0 (bzw. manchmal auch -1) oder Aktivit tsfunktion: Diese Art von Aktivit tsfunktion wirdin den meisten Modellen verwendet, die kognitive Prozessesimulieren. Man kann dabei die logistische Funktion und dieTangens-Hyperbolicus-Funktion unterscheiden. Beide Funktionenverhalten sich jedoch relativ hnlich: Ist der Netzinput (vom Betragher) gro und negativ, dann ist der Aktivit tslevel nahe 0 (logistischeFunktion) bzw. -1 (Tangens-Hyperbolicus-Funktion), steigt dannzun chst langsam an (eine Art Schwelle), danach wird der Anstiegsteiler und gleicht einer linearen Funktion. Bei einem hohenNetzinput n hert sich der Wert dann asymptotisch der 1 an (sieheAbbildung 4). Sigmoide Aktivit tsfunktionen bieten demnach zweiwesentliche Vorteile:Begrenzung des Aktivit tslevels: Im Gegensatz zu denlinearen Aktivit tsfunktionen ist der Aktivit tslevel hier sowohlnach oben als auch nach unten begrenzt.

8 Dies deutet nichtnur auf eine h here biologische Plausibilit t hin (vgl. diebegrenzte Intensit t des Aktionspotentials biologischerNeuronen), sondern hat auch den Vorteil, da die Aktivit t imNetz (bedingt durch rekurrente Verbindungen) nicht ungewollt" berschwappen" kann und dadurch nur noch Fehlerwerteproduziert gliche Differenzierbarkeit: Im Gegensatz zu der bin renSchwellenfunktion ist die Funktion an allen Stellendifferenzierbar, was beispielsweise eine notwendigeVoraussetzungf rdasnochvorzustellendeGradientenabstiegs verfahren :Aktivit tsfunktionverschiedeneAktivit tsfunktionenAbbildung5:SchematischeDarst ellungeinesneuronalenNetzesmitBias-Unit( inrot)Exkurs: Bias UnitDie Bias-Unit erh lt selbst keinenInput, ihr Aktivit tslevel betr gtimmer +1 (siehe Abbildung 5).Das Gewicht von der Bias-Unitzu einer anderen Unit kannpositiv oder negativ sein. Wennkein starker Input von anderenEinheiten erfolgt, dann stellt dieBias-Unit sicher, dass dieEinheit bei positivem Gewichtaktiv bleibt.

9 Bei negativemGewicht sorgt die Bias-Einheithingegen daf r, dass die Unit inihrem inaktiven Zustand kann n tzlich sein, wennman eine Schwelle ben tigt (beim negativen Bias), die andere Input-Unitserst berschreiten m ssen. Diese Schwelle ist brigens anders als dieSchwelle einer Aktivierungsfunktion ver nderbar, da das Gewicht zwischenBias- und Empf ngerunit wie alle anderen Gewichte durch Lernenmodifizierbar ist. Umgekehrt kann das Ziel auch sein, dass die Einheit sehrh ufig feuern, also gew hnlich aktiv sein soll. Dazu verwendet man einenpositiven :Bias-UnitFunktionderBias-UnitGrundlagen /Training und TestTrainings- und TestphaseBei neuronalen Netzen unterscheidet man typischerweise zwischen einerTrainingsphase und einer Testphase (auch Ausbreitungsphase genannt).Trainingsphase: In dieser Phase lernt das Neuronale Netz anhanddes vorgegebenen Lernmaterials. Dementsprechend werden in derRegel die Gewichte zwischen den einzelnen Neuronen (siehe n chste Seiten) geben dabei die Art und Weisean, wie das Neuronale Netz diese Ver nderungen vornimmt.

10 VieleLernregeln lassen sich in die folgenden beiden Kategorien einordnen(weitere M glichkeiten wie das sog. reinforcement learning werdenhier nicht behandelt):supervised learning( berwachtes bzw. beaufsichtigtesLernen): Der korrekte Output wird (als "teaching vector")vorgeben und daran werden die Gewichte learning(nicht berwachtes Lernen): Es wird kein Output Gewichtsver nderungen erfolgen in Abh ngigkeit der hnlichkeit der Gewichte mit den : In der Testphase werden hingegen keine Gewichtever ndert. Statt dessen wird hier auf Grundlage der bereitsmodifizierten Gewichte aus der Trainingsphase untersucht, ob dasNetz etwas gelernt hat. Dazu pr sentiert man den InputneuronenReize und pr ft, welchen Output das Neuronale Netz berechnet. Zweiverschiedene Arten von Reizen k nnen unterschieden werden:Ausgangsreize: Durch erneute Pr sentation der zulernenden Ausgangsreize wird gepr ft, ob das Neuronale Netzdas Trainingsmaterial erfasst Reize: Durch Pr sentation neuer Reize kann manfeststellen, ob das Netz ber die zu lernenden Reize hinaus inder Lage ist, Aufgaben zu l sen.