StableLM dan dirancang untuk menghasilkan teks dan kode secara efisien
Berita itu dirilis bahwa Stabilitas AI, perusahaan di balik model AI pencitraan Difusi Stabil, telah mengumumkan rangkaian model bahasa StableLM pertamanya.
Dengan itu Stability berharap dapat mereplikasi efek dari model sintesis gambar sumber terbukanya Difusi Stabil, dirilis pada tahun 2022. Dengan penyempurnaan, StableLM dapat digunakan untuk membuat alternatif open source untuk ChatGPT.
Bagi mereka yang tidak terbiasa dengan Stability AI, Anda harus tahu bahwa ini adalah perusahaan yang berbasis di London yang memposisikan dirinya sebagai saingan open source dari OpenAI, sebuah perusahaan yang mengembangkan model bahasa buatan yang kuat namun berpemilik seperti ChatGPT.
Tentang StableLM
StabilLM adalah nama keluarga model bahasa buatan yang dibuat oleh Stability AI, yang tersedia sebagai open source di GitHub di bawah lisensi Creative Commons BY-SA-4.0. StableLM adalah model pembuatan teks yang dapat menyusun teks manusia dan menulis program dengan memprediksi kata berikutnya secara berurutan. Ini menggunakan teknik yang disebut "prediksi chip" yang melibatkan menebak fragmen kata berikutnya dari konteks yang diberikan oleh manusia dalam bentuk "petunjuk".
Seperti LLM "kecil" lainnya StableLM mengklaim mencapai kinerja yang mirip dengan model referensi GPT-3 OpenAI sambil menggunakan parameter umum yang jauh lebih sedikit (7 miliar untuk StableLM vs. 175 miliar untuk GPT-3).
Rilis StableLM dibuat berdasarkan pengalaman kami dengan model bahasa sumber terbuka sebelumnya dengan EleutherAI, pusat penelitian nirlaba. Model bahasa ini termasuk GPT-J, GPT-NeoX, dan suite Pythia, yang dilatih pada kumpulan data sumber terbuka The Pile.
StabilLM mengklaim memiliki kinerja yang mirip dengan GPT-3, model bahasa yang mendukung ChatGPT, dengan menggunakan parameter yang jauh lebih sedikit (7 miliar vs. 175 miliar). Parameter adalah variabel yang digunakan model untuk belajar dari data pelatihan. Memiliki lebih sedikit parameter membuat model lebih kecil dan lebih efisien, yang dapat membuatnya lebih mudah dijalankan di perangkat lokal seperti smartphone dan laptop.
StabilLM dilatih pada kumpulan data baru berdasarkan The Pile, berisi 1,5 triliun token, yaitu sekitar 3 kali ukuran The Pile. The Pile adalah kumpulan data berkualitas tinggi dan beragam untuk melatih model bahasa.
Stability AI menyebutkan bahwa template sudah tersedia di repositori GitHub dan whitepaper lengkap akan segera hadir, dan berharap untuk terus berkolaborasi dengan pengembang dan peneliti saat meluncurkan paket StableLM.
Selain itu, mereka menyebutkan peluncuran program kolaborasi terbuka RLHF dan bekerja sama dengan upaya komunitas seperti Asisten Terbuka untuk membuat kumpulan data sumber terbuka untuk asisten AI.
Terakhir tapi bukan yang akhir, Berbicara tentang rilis AI Stabilitas, kami juga dapat menyoroti bahwa itu diumumkan rilis beta dari SDXL (singkatan dari Stable Diffusion Extra Large), model kecerdasan buatan baru yang mampu menghasilkan gambar dari deskripsi tekstual. SDXL adalah tambahan terbaru untuk paket Difusi Stabil, yang juga menyertakan model SD, SDT, dan SDC.
SDXL berbeda dari model lain dalam hal ukuran dan kemampuannya. Dengan 2300 miliar parameter, SDXL lebih dari 2,5 kali lebih besar dari model SD asli, yang hanya memiliki 890 juta. Parameter tambahan ini memungkinkan SDXL menghasilkan gambar yang mengikuti pola kompleks dengan lebih baik. Misalnya, SDXL dapat menghasilkan teks yang dapat dibaca pada gambar atau membuat potret karakter fiksi yang sangat realistis.
SDXL saat ini dalam versi beta di DreamStudio dan aplikasi pencitraan populer lainnya seperti NightCafe Creator. Seperti semua model Stability AI, SDXL akan segera dirilis sebagai open source untuk aksesibilitas optimal. Stabilitas AI mengumumkan bahwa SDXL dilisensikan secara permisif untuk penggunaan komersial dan non-komersial, selama Anda mengikuti pedoman etika dan hukum.
Akhirnya, jika Anda tertarik untuk mengetahui lebih banyak tentangnya, Anda dapat berkonsultasi dengan detailnya Di tautan berikut.