Convolutional Neural Network dengan optimalisasi menggunakan Backpropagation
Oleh = Mochammad Haldi Widianto
Pengenalan Objek seperti konvergensi Robotika, machine learning, Jaringan Syaraf Tiruan, dan Kecerdasan Buatan. Pengenalan Objek melatih implementasi kecerdasan buatan untuk mengenali berbagai bentuk objek. Kesulitan dalam mengidentifikasi objek muncul karena deformasi, variasi sudut pandang, kondisi iluminasi, kekacauan latar belakang, dan oklusi. Untuk mengatasi kendala ini, fitur diekstraksi dari gambar dan diproses dalam beberapa lapisan abstraksi. Algoritme pembelajaran mesin yang ada bekerja dengan baik, kurangnya pemrosesan berlapis-lapis dan analisis mendalam dari setiap fitur dalam gambar mengarah ke algoritme Pembelajaran Mendalam. Deep Learning adalah arsitektur jaringan neural multi-lapisan yang menggabungkan algoritme pembelajaran yang berbeda untuk melatih jaringan, berdasarkan sifat kumpulan data. Arsitektur Deep Learning diklasifikasikan menjadi dua, sebagai Jaringan Pembelajaran yang Diawasi dan Tidak Diawasi. Arsitek yang melakukan Supervised Learning adalah Artificial Neural Network (ANN), Convolutional Neural Network (CNN), dan Recurrent Neural Network (RNN). Arsitektur Pembelajaran Tanpa Pengawasan adalah Self Organizing Maps (SOM), Deep Boltzmann Machines (DBM), dan Autoencoders. Untuk pengenalan Objek dalam gambar, Convolutional Neural Network diimplementasikan secara luas, karena ia mengekstrak informasi yang relevan dengan biaya komputasi yang rendah tanpa campur tangan manusia. Algoritme pelatihan yang umum digunakan di Convolutional Neural Network adalah Backpropagation.
Image Retrieval System adalah alat untuk mencari, menelusuri, mencocokkan pola, dan mengambil gambar. Alat ini bekerja dalam dua cara, baik berdasarkan teks atau konten. Dalam sistem berbasis teks, gambar memiliki deskripsi teks yang dianotasi secara manual. Ini mengurangi keakuratan hasil yang diambil. Dalam sistem berbasis konten, konten dalam gambar, seperti warna, tekstur, dan bentuk. Dalam sistem Pengambilan Gambar Berbasis Konten (CBIR), bahkan fitur tingkat rendah dari gambar diekstraksi secara otomatis menggunakan berbagai teknik dalam computer vision.
- Deep Learning
Deep learning, sub-bidang dalam machine learning, menandai perubahan permanen dalam perilaku jaringan saraf. Berbeda dengan algoritme machine learning yang ada, Deep learning terdiri dari sekumpulan algoritme dan arsitektur jaringan yang bekerja sama di berbagai tingkatan untuk mengekstrak fitur yang menonjol secara otomatis tanpa campur tangan manusia. Arsitektur Deep learning memiliki kemampuan untuk dilatih baik secara supervisi maupun tanpa pengawasan tergantung pada masalah yang akan dipecahkan.
- Convolutional Neural Network
Convolutional Neural Network (CNN) adalah arsitektur saraf Deep learning yang diawasi. CNN mengungguli semua algoritma pengambilan gambar yang ada.
- Backpropagation
Backpropagation melatih jaringan saraf dalam hubungannya dengan teknik pengoptimalan yang biasanya disebut Gradient Descent. Backpropagation menghitung negatif gradien dari titik saat ini. Kerugian dari Gradient Descent biasa adalah, jika data tidak terdistribusi secara seragam, ia gagal menemukan minimum global.
Gambar 1. Stokastik Gradient
Faktanya, jaringan saraf BP berasal dari algoritma BP, yang termasuk dalam algoritma δ dan merupakan algoritma pembelajaran tutorial yang diawasi. Intinya, kesalahan kuadrat rata-rata dari keluaran aktual dan keluaran yang diharapkan dari jaringan adalah fungsi tujuan. Berdasarkan kumpulan sampel pembelajaran, teknik pencarian gradien digunakan untuk meminimalkan fungsi tujuan. Proses pembelajaran meliputi penyebaran informasi dan kebalikan dari kesalahan. Secara umum, struktur jaringan saraf BP terdiri dari lapisan masukan, lapisan tersembunyi, dan lapisan keluaran, dan pemetaan fungsi non-linear direalisasikan melalui lapisan masukan ke lapisan keluaran. Struktur jaringan dan jumlah lapisan tersembunyi ditentukan sesuai dengan kompleksitas objek evaluasi. Topologi jaringan saraf tiga lapis BP yang khas ditunjukkan pada Gambar. 1.:
Kumpulan data yang digunakan untuk melatih jaringan neural konvolusional yang diusulkan adalah Columbia University Image Library (COIL) – 100. COIL-100 memiliki 7200 gambar berwarna dari 100 objek berbeda, yang sesuai dengan 72 orientasi berbeda untuk setiap objek. Dataset ini digunakan untuk eksperimen pengenalan objek.
Gambar 2. Dataset
Artikel ini bereksperimen dengan berbagai teknik optimasi untuk melatih Convolutional Neural Network pada dataset gambar COIL-100. Dataset tersebut dibagi menjadi set data pelatihan dan validasi dengan rasio 70:30. Jaringan ini dimaksudkan untuk memprediksi objek pada gambar yang diberikan. Fungsi aktivasi yang digunakan pada lapisan masukan adalah ReLu dan fungsi aktivasi yang digunakan pada lapisan keluaran adalah Softmax. Softmax dapat membuat prediksi kategoris dari banyak objek. Pelatihan terbukti dilakukan secara efisien, dari kesamaan dalam keakuratan data pelatihan dan validasi. Jumlah iterasi untuk melatih data meningkat. Setelah melatih jaringan, citra kueri diberikan sebagai masukan ke jaringan, dan hasilnya diberikan dalam bentuk enkode one-hot.
Pertumbuhan data yang besar dan kebutuhan akan teknik untuk pengambilan yang efisien telah menghasilkan banyak algoritma dan teknik pengoptimalan. Arsitektur mutakhir adalah Deep Learning, makalah ini berkonsentrasi pada teknik pengenalan objek di Deep Learning. Jaringan saraf dalam ini dilatih menggunakan algoritma Backpropagation dan dioptimalkan menggunakan teknik Heuristik yang berbeda. Hasilnya membuktikan bahwa pengoptimal Adadelta memberikan hasil yang lebih baik pada dataset gambar.
Referensi :
- Agnes Lydia,“Convolutional Neural Network with an Optimized Backpropagation Technique,” Department of Computer Science and Engineering, Pondicherry Engineering College, Pondicherry, International Conference on System computation automation and networking 2019
Comments :