Teknologi.id - Tim peneliti video dan AI di Adobe Research telah mengembangkan model AI generatif baru bernama VideoGigaGAN yang dapat meningkatkan video buram hingga delapan kali lipat dari resolusi aslinya.
Diperkenalkan dalam sebuah makalah yang diterbitkan pada tanggal 18 April ke server pracetak arXiv, Adobe mengklaim bahwa VideoGigaGAN lebih unggul daripada metode Video Super Resolution (VSR) lainnya karena dapat memberikan detail yang lebih halus tanpa ada “keanehan AI” pada hasil video.
Sesuai dengan namanya, model ini dibangun di atas upsampler gambar berskala besar yang disebut GigaGAN (General Adversarial Networks). GigaGAN dapat meningkatkan gambar ke resolusi yang lebih tinggi. Namun, kemampuannya sulit dilakukan pada output video tanpa menimbulkan glitch dan distorsi.
Mengetahui hal ini, tim Adobe mencoba melakukan penelitian dengan mengadopsi GigaGAN. Belajar dari pengalaman, model VSR terdahulu mengalami kesulitan untuk menghasilkan detail yang kaya dalam hasilnya. Untuk mengatasinya, Adobe menggunakan “time attention” (mengurangi artefak yang menumpuk dari waktu ke waktu), perambatan fitur (menambahkan detail yang tidak ada), anti-aliasing, dan mekanisme antar-jemput HF untuk menciptakan hasil akhir.
Baca Juga Apple Keluarkan OpenELM, Potensi Fitur AI Baru?
Pada akhirnya, mereka berhasil membuat sebuah sistem yang dapat meningkatkan kualitas gambar video hingga delapan kali lipat. Semuanya tanpa menimbulkan pewarnaan yang ganjil, garis yang tidak rata, atau masalah lain yang biasanya dihasilkan oleh AI.
Tim ini mengakui bahwa beberapa detail output dihasilkan secara artifisial berdasarkan perkiraan yang dibuat oleh sistem untuk mengisi hal yang hilang, misalnya pori-pori pada kulit, garis di sekitar mata, hinggs bulu mata. Detail ini ditambahkan untuk memberikan kualitas yang tajam dan jernih pada video yang dihasilkan. Peneliti Adobe memberikan beberapa contoh hasil VideoGigaGAN di laman ini.
Saat ini, VideoGigaGAN hanyalah pratinjau penelitian. Tidak ada jaminan bahwa Adobe akan membuat VideoGigaGAN tersedia untuk konsumen melalui perangkat lunak Creative Cloud seperti Premiere Pro. Perusahaan ini sebelumnya mempratinjau eksperimen upsampling berbasis difusi terpisah, Project Res-Up, selama acara MAX pada bulan Oktober 2023, yang juga meningkatkan kualitas GIF resolusi rendah dan rekaman video. Adobe tidak sendirian dalam pengerjaan proyek ini, karena Microsoft dan Nvidia juga telah mengembangkan teknologi peningkatan VSR mereka sendiri.
Baca Berita dan Artikel Lain di Google News
(kar)
