StableLM dan direka untuk menjana teks dan kod dengan cekap
Berita itu dikeluarkan AI kestabilan, syarikat di sebalik model AI pengimejan Stable Diffusion, telah mengumumkan set pertama model bahasa StableLMnya.
Dengannya Kestabilan berharap dapat meniru kesan model sintesis imej sumber terbukanya Resapan Stabil, dikeluarkan pada tahun 2022. Dengan penghalusan, StableLM boleh digunakan untuk membina alternatif sumber terbuka kepada ChatGPT.
Bagi mereka yang tidak biasa dengan Stability AI, anda harus tahu bahawa ini adalah syarikat yang berpangkalan di London yang meletakkan dirinya sebagai saingan sumber terbuka kepada OpenAI, sebuah syarikat yang membangunkan model bahasa buatan yang berkuasa tetapi proprietari seperti ChatGPT.
Mengenai StableLM
StableLM ialah nama keluarga model bahasa buatan yang dicipta oleh Stability AI, yang boleh didapati sebagai sumber terbuka di GitHub di bawah lesen Creative Commons BY-SA-4.0. StableLM ialah model penjanaan teks yang boleh mengarang teks manusia dan menulis program dengan meramalkan perkataan seterusnya dalam urutan. Ia menggunakan teknik yang dipanggil "ramalan cip" yang melibatkan meneka serpihan perkataan seterusnya daripada konteks yang disediakan oleh manusia dalam bentuk "petunjuk".
Seperti LLM "kecil" lain StableLM mendakwa untuk mencapai prestasi yang serupa dengan model rujukan GPT-3 OpenAI sambil menggunakan parameter umum yang jauh lebih sedikit (7 bilion untuk StableLM berbanding 175 bilion untuk GPT-3).
Keluaran StableLM dibina berdasarkan pengalaman kami dengan model bahasa sumber terbuka sebelumnya dengan EleutherAI, sebuah pusat penyelidikan bukan untung. Model bahasa ini termasuk GPT-J, GPT-NeoX dan suite Pythia, yang dilatih pada set data sumber terbuka The Pile.
StableLM mendakwa mempunyai prestasi yang serupa dengan GPT-3, model bahasa yang menguasai ChatGPT, sambil menggunakan parameter yang jauh lebih sedikit (7 bilion berbanding 175 bilion). Parameter ialah pembolehubah yang digunakan oleh model untuk belajar daripada data latihan. Mempunyai parameter yang lebih sedikit menjadikan model lebih kecil dan lebih cekap, yang boleh memudahkan untuk dijalankan pada peranti tempatan seperti telefon pintar dan komputer riba.
StableLM dilatih pada set data baharu berdasarkan The Pile, mengandungi 1,5 trilion token, iaitu kira-kira 3 kali ganda saiz The Pile. The Pile ialah set data berkualiti tinggi dan pelbagai untuk melatih model bahasa.
Stability AI menyebut bahawa templat sudah tersedia dalam repositori GitHub dan kertas putih penuh akan datang tidak lama lagi, dan berharap untuk terus bekerjasama dengan pembangun dan penyelidik semasa ia melancarkan suite StableLM.
Selain itu, mereka menyebut pelancaran program kerjasama terbuka RLHF dan bekerjasama dengan usaha komuniti seperti Open Assistant untuk mencipta set data sumber terbuka untuk pembantu AI.
Akhir sekali, Bercakap tentang keluaran AI Kestabilan, kami juga boleh menyerlahkan bahawa ia diumumkan keluaran beta daripada SDXL (yang bermaksud Stable Diffusion Extra Large), model kecerdasan buatan baharu yang mampu menjana imej daripada penerangan teks. SDXL ialah tambahan terbaru pada suite Stable Diffusion, yang turut merangkumi model SD, SDT dan SDC.
SDXL berbeza daripada model lain dalam saiz dan keupayaannya. Dengan 2300 bilion parameter, SDXL lebih 2,5 kali lebih besar daripada model SD asal, yang hanya mempunyai 890 juta. Parameter tambahan ini membolehkan SDXL menjana imej yang lebih mematuhi corak kompleks. Contohnya, SDXL boleh menghasilkan teks yang boleh dibaca pada imej atau mencipta potret watak fiksyen yang sangat realistik.
SDXL kini dalam versi beta dalam DreamStudio dan aplikasi pengimejan popular lain seperti NightCafe Creator. Seperti semua model AI Kestabilan, SDXL tidak lama lagi akan dikeluarkan sebagai sumber terbuka untuk kebolehcapaian optimum. Stability AI mengumumkan bahawa SDXL dilesenkan secara permisif untuk kegunaan komersil dan bukan komersial, selagi anda mengikut garis panduan etika dan undang-undang.
Akhirnya, jika anda berminat untuk mengetahui lebih lanjut mengenainya, anda boleh melihat butirannya Dalam pautan berikut.