StableLM και έχει σχεδιαστεί για να δημιουργεί αποτελεσματικά κείμενο και κώδικα
Η είδηση κυκλοφόρησε ότι Stability AI, η εταιρεία πίσω από το μοντέλο AI απεικόνισης Stable Diffusion, ανακοίνωσε το πρώτο από το σύνολο μοντέλων γλώσσας StableLM.
Με αυτό Η Stability ελπίζει να αναπαράγει τα εφέ του μοντέλου σύνθεσης εικόνας ανοιχτού κώδικα Σταθερή Διάχυση, που κυκλοφόρησε το 2022. Με βελτιστοποίηση, το StableLM θα μπορούσε να χρησιμοποιηθεί για τη δημιουργία μιας εναλλακτικής λύσης ανοιχτού κώδικα στο ChatGPT.
Για όσους δεν είναι εξοικειωμένοι με το Stability AI, θα πρέπει να γνωρίζετε ότι πρόκειται για μια εταιρεία με έδρα το Λονδίνο που τοποθετείται ως ανταγωνιστής ανοιχτού κώδικα της OpenAI, μιας εταιρείας που αναπτύσσει ισχυρά αλλά ιδιόκτητα μοντέλα τεχνητής γλώσσας όπως το ChatGPT.
Σχετικά με το StableLM
StableLM είναι το όνομα της οικογένειας τεχνητών γλωσσικών μοντέλων που δημιουργήθηκαν από το Stability AI, τα οποία είναι διαθέσιμα ως ανοιχτού κώδικα στο GitHub με την άδεια Creative Commons BY-SA-4.0. Το StableLM είναι ένα μοντέλο δημιουργίας κειμένου που μπορεί να συνθέσει ανθρώπινο κείμενο και να γράψει προγράμματα προβλέποντας την επόμενη λέξη σε μια σειρά. Χρησιμοποιεί μια τεχνική που ονομάζεται "πρόβλεψη τσιπ" που περιλαμβάνει την εικασία του επόμενου τμήματος λέξης από το πλαίσιο που παρέχεται από έναν άνθρωπο με τη μορφή «υπαινιγμού».
Όπως και άλλα «μικρά» LLM Η StableLM ισχυρίζεται ότι επιτυγχάνει παρόμοια απόδοση με το μοντέλο αναφοράς GPT-3 του OpenAI ενώ χρησιμοποιεί πολύ λιγότερες γενικές παραμέτρους (7 δισεκατομμύρια για το StableLM έναντι 175 δισεκατομμυρίων για το GPT-3).
Η κυκλοφορία του StableLM βασίζεται στην εμπειρία μας με προηγούμενα μοντέλα γλώσσας ανοιχτού κώδικα με το EleutherAI, ένα μη κερδοσκοπικό ερευνητικό κέντρο. Αυτά τα μοντέλα γλώσσας περιλαμβάνουν τα GPT-J, GPT-NeoX και τη σουίτα Pythia, τα οποία εκπαιδεύτηκαν στο σύνολο δεδομένων ανοιχτού κώδικα The Pile.
StableLM ισχυρίζεται ότι έχει παρόμοια απόδοση με το GPT-3, το μοντέλο γλώσσας που τροφοδοτεί το ChatGPT, ενώ χρησιμοποιεί πολύ λιγότερες παραμέτρους (7 δισεκατομμύρια έναντι 175 δισεκατομμυρίων). Οι παράμετροι είναι μεταβλητές που χρησιμοποιεί το μοντέλο για να μάθει από τα δεδομένα εκπαίδευσης. Η ύπαρξη λιγότερων παραμέτρων καθιστά το μοντέλο μικρότερο και πιο αποτελεσματικό, γεγονός που μπορεί να διευκολύνει την εκτέλεση σε τοπικές συσκευές όπως smartphone και φορητούς υπολογιστές.
StableLM εκπαιδεύτηκε σε ένα νέο σύνολο δεδομένων που βασίζεται στο The Pile, που περιέχει 1,5 τρισεκατομμύρια μάρκες, που είναι περίπου 3 φορές το μέγεθος του The Pile. Το The Pile είναι ένα υψηλής ποιότητας και ποικίλο σύνολο δεδομένων για μοντέλα εκπαίδευσης γλωσσών.
Το Stability AI αναφέρει ότι τα πρότυπα είναι ήδη διαθέσιμα στο αποθετήριο GitHub και ότι σύντομα θα κυκλοφορήσει μια πλήρης λευκή βίβλος και ανυπομονεί να συνεχίσει τη συνεργασία με προγραμματιστές και ερευνητές καθώς κυκλοφορεί τη σουίτα StableLM.
Επιπλέον, αναφέρουν την έναρξη του προγράμματος ανοιχτής συνεργασίας RLHF και τη συνεργασία με τις προσπάθειες της κοινότητας όπως το Open Assistant για τη δημιουργία ενός συνόλου δεδομένων ανοιχτού κώδικα για βοηθούς τεχνητής νοημοσύνης.
Τελευταίο αλλά εξίσου σημαντικό, Μιλώντας για εκδόσεις Stability AI, μπορούμε επίσης να επισημάνουμε ότι ανακοίνωσε την έκδοση beta του SDXL (που σημαίνει Stable Diffusion Extra Large), ένα νέο μοντέλο τεχνητής νοημοσύνης ικανό να δημιουργεί εικόνες από περιγραφές κειμένου. Το SDXL είναι η πιο πρόσφατη προσθήκη στη σουίτα Stable Diffusion, η οποία περιλαμβάνει επίσης μοντέλα SD, SDT και SDC.
Το SDXL διαφέρει από άλλα μοντέλα ως προς το μέγεθος και τις δυνατότητές του. Με 2300 δισεκατομμύρια παραμέτρους, το SDXL είναι περισσότερο από 2,5 φορές μεγαλύτερο από το αρχικό μοντέλο SD, το οποίο είχε μόνο 890 εκατομμύρια. Αυτές οι πρόσθετες παράμετροι επιτρέπουν στο SDXL να δημιουργεί εικόνες που προσκολλώνται καλύτερα σε πολύπλοκα μοτίβα. Για παράδειγμα, το SDXL μπορεί να παράγει ευανάγνωστο κείμενο σε εικόνες ή να δημιουργεί εντυπωσιακά ρεαλιστικά πορτρέτα φανταστικών χαρακτήρων.
Το SDXL βρίσκεται αυτήν τη στιγμή σε beta στο DreamStudio και σε άλλες δημοφιλείς εφαρμογές απεικόνισης, όπως το NightCafe Creator. Όπως όλα τα μοντέλα Stability AI, το SDXL θα κυκλοφορήσει σύντομα ως ανοιχτού κώδικα για βέλτιστη προσβασιμότητα. Το Stability AI ανακοινώνει ότι το SDXL έχει άδεια για εμπορική και μη εμπορική χρήση, αρκεί να ακολουθείτε ηθικές και νομικές οδηγίες.
Τέλος, εάν ενδιαφέρεστε να μάθετε περισσότερα σχετικά, μπορείτε να συμβουλευτείτε τις λεπτομέρειες Στον ακόλουθο σύνδεσμο.