00mjk / is-lab2

Task for the laboratory on Multi-Layer Perceptron training

IS-Lab2 (EN)

Intelligent systems. Task for the laboratory on Multi-Layer Perceptron training.

Aim

Learn to write training (parameter estimation) algorithm for the Multi-Layer Perceptron based approximator.

Tasks (maximum 8 points)

1. Create a program to calculate the coefficients of the multilayer perceptron. The multilayer perceptron must perform the function of an approximator. Structure of the multilayer perceptron:

• one input (input 20 input vectors (20 examples) X, with values in the range 0 to 1, eg x = 0.1: 1/22: 1;).
• one output (for example, the output is expecting the desired response that can be calculated using the formula: y = (1 + 0.6 * sin (2 * pi * x / 0.7)) + 0.3 * sin (2 * pi * x)) / 2; - the neural network being created should "model / simulate the behavior of this formula" using a completely different mathematical expression than this);
• One hidden layer with hyperbolic tangent or sigmoidal activation functions in neurons (number of neurons: 4-8);
• linear activation function in the output neuron;
• training algorithm - Backpropagation.

Additional task (2 additional points)

Solve the surface approximation task (two inputs and single output).

Suggested reading

• Neural Networks and Learning Machines (3rd Edition), page <...>, Table 1.1.

IS-Lab2 (LT)

Intelektualiosios sistemos. Antrojo laboratorinio darbo užduotis.

Tikslas

Išmokti savarankiškai suprogramuoti paprasto netiesinio aproksimatoriaus mokymo (parametrų skaičiavimo) algoritmą.

Užduotys (maks. 8 balai)

1. Sukurkite daugiasluoksnio perceptrono koeficientams apskaičiuoti skirtą programą. Daugiasluoksnis perceptronas turi atlikti aproksimatoriaus funkciją. Daugiasluoksnio perceptrono struktūra:

• vienas įėjimas (įėjime paduodamas 20 skaičių vektorius X, su reikšmėmis intervale nuo 0 iki 1, pvz., x = 0.1:1/22:1; ).
• vienas išėjimas (pvz., išėjime tikimasi tokio norimo atsako, kurį galima būtų apskaičiuoti pagal formulę: y = (1 + 0.6*sin(2*pi*x/0.7)) + 0.3*sin(2*pi*x))/2; - kuriamas neuronų tinklas turėtų "modeliuoti/imituoti šios formulės elgesį" naudodamas visiškai kitokią matematinę išraišką nei ši);
• vienas paslėptasis sluoksnis su hiperbolinio tangento arba sigmoidinėmis aktyvavimo funkcijomis neuronuose (neuronų skaičius: 4-8);
• tiesine aktyvavimo funkcija išėjimo neurone;
• mokymo algoritmas - Backpropagation (atgalinio sklidimo).

Papildoma užduotis (papildomi 2 balai)

Išspręskite paviršiaus aproksimavimo uždavinį, kai tinklas turi du įėjimus ir vieną išėjimą.

Rekomenduojama literatūra

• Neural Networks and Learning Machines (3rd Edition), <...> psl., <...> lentelė