Teknologi.id - Model bahasa (language models) seperti ChatGPT telah merevolusi bidang pemrosesan bahasa alami, namun memang masih harus dikembangkan lagi pada bidang dasar seperti aritmatika dan pemeriksaan fakta.
Peneliti dari Meta belum lama ini mengungkapkan Toolformer, model bahasa AI yang dapat mengajarkan dirinya sendiri untuk menggunakan alat eksternal seperti mesin telusur, kalkulator, dan kalender tanpa mengorbankan kemampuan pemodelan bahasa intinya. Kunci dari Toolformer adalah kemampuannya menggunakan API (application programming interfaces). API merupakan seperangkat protokol yang memungkinkan berbagai aplikasi untuk berkomunikasi satu sama lain secara otomatis.
Selama pelatihan, peneliti memberi Toolformer sekumpulan kecil contoh tulisan manusia yang mendemonstrasikan bagaimana setiap API digunakan dan kemudian menizinkannya untuk membuat anotasi kumpulan data pemodelan bahasa besar dengan potensi panggilan API. Semua hal tesebut dilakukan dengan cara "self-supervised", yang berarti Toolformer dapat belajar tanpa memerlukan bimbingan manusia yang eksplisit.
Baca juga: PNS Singapura Bakal Dibantu Chat GPT untuk Bikin Pidato dan Laporan
Model bahasa ini belajar untuk memprediksi setiap panggilan API berbasis teks seolah-olah itu adalah bentuk teks lainnya. Saat beroperasi menghasilkan teks sebagai hasil input manusia, model bahasa ini dapat menyisipkan panggilan bila diperlukan. Selain itu, Toolformer juga dapat memutuskan sendiri alat mana yang akan digunakan untuk kontek yang tepat dan cara menggunakannya.
Ilustrasi yang menunjukkan contoh Toolformer membuat panggilan API ke aplikasi kalender. Foto: Ars Technica
Kemampuan pemanggilan API ini memungkinakan Toolformer menggunakan alat perangkat lunak (software) eksternal seperti mesin telusur, kalkulator, penerjemah bahasa, dan referensi faktual. Sebagai contoh penggunaan, berbeda dengan Large Language Models (LLM) yang terkenal tidak pandai matematika, Toolformer dapat mengatasi batasan tersebut dengan menggunakan kalkulator. Atau jika seseorang menginginkan asisten berbasis LLM untuk menambahkan tanggal ke kalender mereka, Toolformer dapat menangani tugas tersebut dengan menggunakan tautan API ke aplikasi kalender.
Toolformer didasarkan pada model GPT-J terlatih dengan 6,7 miliar parameter. Eksperimen yang dilakukan oleh para peneliti pada berbagai tugas penggunaan alat tampaknya menunjukkan bahwa Toolformer mencapai kinerja jauh lebih kuat daripada model GPT-3 yang berisi 175 miliar parameter.
Baca juga: Sudah Tau Belum? Begini Cara Irit Bensin Pakai Google Maps
Ini bukan pertama kalinya para peneliti berusaha mengatasi keterbatasan dalam model bahasa, Faktanya, model Bing Chat baru-baru ini menjadi berita yang ramai dibicarakan karena dapat melakukan pencarian web sendiri saat dibutuhkan, dan yang lain juga mencoba berintergrasi dengan browser, kalkulator, dan mesin pencari.
Menurut para peneliti Meta, sebagian besar pendekatan untuk mengintegrasikan alat ke dalam model bahasa mengandalkan sejumlah besar anotasi manusia atau terbatas pada pengaturan khusus tugas tertentu. Sebaliknya, Toolformer dapat belajar menggunakan berbagai alat dengan cara umum yang tidak memerlukan pelatihan khusus untuk tugas tertentu.
Dengan tekni yang ditemukan di Toolformer, peneliti melihat potensi masa depan di mana LLM ditambah dengan kemampuan untuk menggunakan aplikasi eksternal akan menjadi asisten yang jauh lebih fleksibel dan andal. Namun memang, kemampuan untuk melakukan panggilan API juga dapat meningkatkan kemampuan LLM untuk menyebabkan kerusakan pada data pengguna atau membuat masalah saat memberikan jawaban.
(cta)
