Backpropagation

  Backpropagation

Algoritma backpropagation untuk jaringan syaraf umumnya diterapkan pada perceptronberlapis banyak (multilayer perceptron). Perceptron paling tidak mempunyai bagian input, bagian output, dan beberapa lapis yang berada diantara input dan output. Lapis ditengah ini, yang juga dikenal dengan lapisan tersebunyi (hidden layer), bisa satu, dua, tiga dst. Dalam praktek, banyaknya hidden layer paling banyak adalah tiga lapis. Dengan tiga lapis ini hampir semua permasalahan dalam dunia industri telah bisa diselesaikan. Output lapis terakhir dari hidden layer langsung dipakai sebagai output dari jaringan syaraf.

Untuk penerapan peramalan, banyaknya lapis yang diperlukan cukup dua lapis. Hanya dengan dua layer, perceptron jaringan syaraf hampir dapat mengepaskan semua bentuk kurva data runtun waktu yang ada. Banyaknya neuron yang diperlukan bisa variasi. Misalnya, untuk menyesuaikan terhadap bentuk kurva yang komplek, maka banyak neuron bisa dibuat banyak. Semakin banyak neuron yang dipakai, jaringan syaraf akan semakin bisa mendekati kurva yang rumit sekalipun. Namun semakin banyak neuron yang dipakai akan semakin banyak pua parameter yang harus diset dengan demikian perhitungan menjadi semakin lama.

Untuk penerapan peramalan, jaringan syaraf diinginkan untuk dapat menghitung atau menghasilkan satu angka output terhadap satu angka input, seperti memplot kurva dua dimensi. Bentuk perangkat data yang digunakan untuk melatih jaringan syaraf juga berupa pasangan data angka berupa angka input dan angka target. Oleh karena itu jaringan syaraf untuk peramalan ini mempunyai satu inputdan satu output saja.

Jaringan syaraf untuk peramalan dapat menggunakan fungsi pemindah (transfer function) untuk layer pertama adalah log-sigmoid dan untuk layer kedua adalah linier, seperti persamaan berikut ini:

f ¹(n) =      1         dan f ²(n) = n

                    1 + e   ⁿ

Layer pertama juga sering disebut log-sigmoid layer dan layer kedua disebut linear layer. Input ke jaringan syaraf adalah p (skalar), output dari layer pertama adalah a¹ (vektor) dan outputdari layer kedua atau output dari jaringan syaraf adalah a² (skalar). W¹ (matrik) adalah pembobot (weight matrix) untuk layer pertama dan W² (matrik) adalah weight matrix layer kedua. Masing-masing layer mempunyai input bias b¹ (vektor) untuk layer pertama dan b² (skalar) untuk layer kedua.