Download Teknologi App
Foto: Analytic Insight
Teknologi.id - Apple, yang sering dianggap tertinggal dan merahasiakan pengembangan AI, mengejutkan banyak orang dengan peluncuran OpenELM baru-baru ini.
OpenELM (singkatan dari Open Source Efficient Language Model) adalah keluarga baru dari open source large language model (LLM) yang dapat berjalan secara efisien di satu perangkat tanpa harus terhubung ke server cloud.
Dirilis beberapa hari yang lalu di komunitas kode AI Hugging Face, OpenELM terdiri dari model-model kecil yang dirancang untuk melakukan tugas-tugas pembuatan teks. Secara keseluruhan model ini berjumlah delapan, empat yang sudah dilatih sebelumnya dan empat yang disetel dengan instruksi, dalam ukuran parameter yang berbeda mulai dari 270 juta hingga 3 miliar.
Model bahasa ini dirancang secara khusus untuk perangkat Apple seperti iPhone dan Mac dengan menggunakan strategi penskalaan berdasarkan lapisan, sehingga OpenELM dapat mengalokasikan parameter di dalam setiap lapisan model transformator untuk meningkatkan akurasi. Hal ini menurut Apple, memungkinkan mereka memberikan hasil akurasi yang lebih baik sekaligus efisien dalam hal komputasi.
Baca Juga: Beredar Bocoran iPhone 16 Pro, Lebih Besar dan Punya Tombol Baru
OpenELM Unggul dalam Tes
Dilansir dari Venture Beat, menurut jurnal yang diterbitkan Apple, OpenELM telah dilatih dengan kumpulan data publik yang terdiri dari 1,8 triliun token dari situs-situs seperti Reddit, Wikipedia, arXiv.org, dan banyak lagi. Perusahaan ini juga telah melatih model-model tersebut pada CoreNet, sebuah perpustakaan sumber terbuka, bersama dengan model lainnya untuk memungkinkan inferensi dan penyempurnaan yang efisien pada perangkat Apple.
Dari segi performa, hasil OpenLLM yang dibagikan oleh Apple menunjukkan bahwa model-model tersebut berkinerja cukup baik, terutama varian model 450 juta parameter.
Selain itu, varian parameter 1,1 miliar tercatat “mengungguli OLMo, yang memiliki 1,2 miliar parameter, sebesar 2,36% dengan membutuhkan token pra-pelatihan 2× lebih sedikit.” OLMo adalah model bahasa besar dan canggih dari The Allen Institute for AI (AI2) yang baru-baru ini dirilis.
Pada benchmark ARC-C, yang dirancang untuk menguji pengetahuan dan kemampuan penalaran, varian OpenELM 3 miliar mendapat skor dengan akurasi 42,24%. Sementara itu, pada MMLU dan HellaSwag, masing-masing mendapatkan nilai 26,76% dan 73,28%.
Dalam jangka panjang, OpenELM masih harus meningkatkan kemampuannya. Meskipun demikian, pengenalan OpenELM menunjukkan komitmen perusahaan terhadap inovasi AI. Namun saat ini Apple belum memberi pernyataan apapun. Apple hanya merilis model dan jurnal yang dapat dilihat publik secara online.
Baca Berita dan Artikel Lainnya di Google News
Tinggalkan Komentar