Image Inpainting, Metode Merekonstruksi Gambar

Teknologi.id - Para peneliti dari NVIDIA, yang dipimpin oleh Guilin Liu, memperkenalkan metode deep learning mutakhir bernama image inpainting yang mampu merekonstruksi gambar yang rusak, berlubang, atau ada piksel yang hilang. Metode ini juga dapat digunakan untuk mengedit gambar, dengan cara menghapus bagian konten yang ingin diedit. Metode canggih ini dapat diimplementasikan dalam perangkat lunak pengedit foto. Terlebih untuk menghapus konten yang tidak diinginkan. Sembari mengisinya dengan alternatif yang dihasilkan AI.

Baca juga: GauGAN, AI yang Mampu Ubah Sketsa menjadi Foto Realistis

“Model kami dapat menangani lubang dalam berbagai bentuk, lokasi, ukuran, atau jarak dari batas gambar. Deep learning sebelumnya difokuskan pada wilayah persegi panjang yang terletak di sekitar pusat gambar. Dan sering bergantung pada pasca-pemrosesan yang mahal,” tambah para peneliti. Namun kini metode ini (image inpainting) dapat dengan mudah menangani celah ukuran yang lebih besar. Untuk mempersiapkan neural network mereka, tim pertama-tama menghasilkan 55.116 mask garis acak dan lubang bentuk dan ukuran acak untuk pelatihannya. Mereka juga menghasilkan hampir 25.000 sample sukses dalam tes ini. Setelah pemindaian, selanjutnya piksel tersebut dikategorikan ke dalam enam kategori berdasarkan ukuran relatif terhadap gambar input, untuk meningkatkan akurasi rekonstruksi. Dengan menggunakan NVIDIA Tesla V100 GPUs dan framework dalam PyTorch yang dipercepat cuDNN. Tim melatih neural network mereka dengan menerapkan mask ke gambar dari dataset ImageNet, Places2 dan CelebA-HQ. Para peneliti mengungkapkan bahwa metode Image Inpainting ini memang terkadang membiarkan beberapa bagian tidak sempurna dan hanya berupa gambar blur. Hasil output ini sangat ketergantungan terhadap data yang diinput. Karena jika lubang sangat luas, AI tidak dapat mempelajari piksel dulunya membentuk apa. Untuk memperbaiki masalah ini, tim NVIDIA mengembangkan metode yang menjamin output untuk piksel yang hilang tidak bergantung pada nilai input yang disediakan untuk piksel tersebut. Metode ini menggunakan lapisan "partial convolution" yang menormalkan kembali setiap output tergantung pada validitas bidang reseptif yang sesuai. Renormalisasi ini memastikan bahwa nilai output tidak akan bergantung pada nilai-nilai piksel yang hilang di setiap bidang reseptif. Model ini dibangun dari arsitektur UNet yang diimplementasikan dengan konvolusi parsial ini. Serangkaian fungsi kehilangan, pencocokan kehilangan fitur dengan model VGG, serta kehilangan style, digunakan untuk melatih model untuk menghasilkan output yang realistis. Sumber: Nvidia