Αυτή τη στιγμή, έχουμε αρχίσει να βλέπουμε μια αύξηση στις διαφορετικές λύσεις που αρχίζουν να προσφέρονται σε σχέση με την παραγωγή κώδικα χρησιμοποιώντας τεχνητή νοημοσύνη (AI), και ο τομέας της επεξεργασίας φυσικής γλώσσας (NLP) έχει ανοίξει το δρόμο για μια σειρά από AI που δημιουργούν κώδικα σε διάφορες γλώσσες προγραμματισμού.
Μεταξύ αυτών, μπορούμε να επισημάνουμε τα GitHub Copilot, AlphaCode και Codex, και τώρα μπορούμε να προσθέσουμε μια νέα λύση από ερευνητές του Πανεπιστημίου Carnegie Mellon, οι οποίοι πρόσφατα παρουσίασαν το "PolyCoder", μια γεννήτρια κώδικα βασισμένη στο γλωσσικό μοντέλο GPT-2 της OpenAI, το οποίο εκπαιδεύτηκε σε μια βάση δεδομένων κώδικα 249 GB σε 12 γλώσσες προγραμματισμού.
Σχετικά με το PolyCoder
Οι συγγραφείς του PolyCoder ισχυρίζονται ότι είναι ικανό να γράψει C με μεγαλύτερη ακρίβεια από οποιοδήποτε γνωστό μοντέλο, συμπεριλαμβανομένου του Codex.
Η τεχνητή νοημοσύνη που δημιουργεί κώδικα, η οποία μπορεί να γράψει πηγαίο κώδικα σε διαφορετικές γλώσσες προγραμματισμού από μια προτροπή, υπόσχεται να μειώσει το κόστος ανάπτυξης λογισμικού, επιτρέποντας παράλληλα στους προγραμματιστές να επικεντρωθούν σε δημιουργικές και λιγότερο επαναλαμβανόμενες εργασίες.
Το PolyCoder εκπαιδεύτηκε χρησιμοποιώντας δεδομένα από διάφορα αποθετήρια GitHub, καλύπτοντας 12 δημοφιλείς γλώσσες προγραμματισμού: C, C#, C++, Go, Java, JavaScript, PHP, Python, Ruby, Rust, Scala και TypeScript.
Το μη φιλτραρισμένο σύνολο δεδομένων ανερχόταν σε 631 GB δεδομένων και 38,9 εκατομμύρια αρχεία. Η ομάδα δήλωσε ότι επέλεξε να εκπαιδεύσει το PolyCoder με το GPT-2 λόγω περιορισμών στον προϋπολογισμό. Το PolyCoder είναι διαθέσιμο ως ανοιχτού κώδικα και οι ερευνητές ελπίζουν ότι μπορεί να εκδημοκρατικοποιήσει την έρευνα στον τομέα της δημιουργίας κώδικα τεχνητής νοημοσύνης, ο οποίος μέχρι στιγμής κυριαρχείται από εταιρείες με καλή χρηματοδότηση.
Οι ερευνητές πιστεύουν ότι το PolyCoder αποδίδει καλύτερα από άλλα μοντέλα στη δημιουργία κώδικα στη γλώσσα C. Ωστόσο, το Codex το έχει ξεπεράσει σταθερά σε άλλες γλώσσες. «Το PolyCoder ξεπερνά σημαντικά το Codex και όλα τα άλλα μοντέλα στη γλώσσα C».
«Όταν το Copilot κυκλοφόρησε στο GitHub το περασμένο καλοκαίρι, κατέστη σαφές ότι αυτά τα πολύ μεγάλα μοντέλα κώδικα γλώσσας μπορούν να είναι πολύ χρήσιμα για να βοηθήσουν τους προγραμματιστές και να αυξήσουν την παραγωγικότητά τους. Αλλά κανένα μοντέλο, ακόμη και κοντά σε αυτή την κλίμακα, δεν ήταν διαθέσιμο στο κοινό», είπαν οι ερευνητές στο VentureBeat μέσω email. «Έτσι, ο [PolyCoder] ξεκίνησε με τον Vincent να προσπαθεί να καταλάβει ποιο ήταν το μεγαλύτερο μοντέλο που θα μπορούσε να εκπαιδευτεί στον διακομιστή του εργαστηρίου μας, το οποίο κατέληξε να είναι 2700 δισεκατομμύρια παραμέτρους… και αυτό το μοντέλο ήταν ένα πρωτάθλημα μπροστά από άλλα μοντέλα προσανατολισμένα στον κώδικα που είχαμε . ήταν δημόσια διαθέσιμα εκείνη την εποχή."
« Σε σύγκριση μόνο μοντέλων ανοιχτού κώδικα, το PolyCoder ξεπερνά σε απόδοση το μοντέλο GPT-Neo 2.7B παρόμοιου μεγέθους σε C, JavaScript, Rust, Scala και TypeScript», σημειώνουν. «Στις άλλες 11 γλώσσες, όλα τα άλλα μοντέλα ανοιχτού κώδικα, συμπεριλαμβανομένου του δικού μας, είναι σημαντικά χειρότερα (μεγαλύτερη αμηχανία) από το Codex», πρόσθεσαν οι ερευνητές του CMU.
Με αυτό, το PolyCoder τοποθετείται ως μια πολύ ενδιαφέρουσα λύση, καθώς ενώ ερευνητικά εργαστήρια όπως το OpenAI του Elon Musk και το DeepMind της Alphabet έχουν αναπτύξει ισχυρή τεχνητή νοημοσύνη που δημιουργεί κώδικα, πολλά από τα πιο επιτυχημένα συστήματα δεν είναι διαθέσιμα σε ανοιχτό κώδικα. Οι εταιρείες χαμηλού εισοδήματος δεν έχουν πρόσβαση σε αυτό και αυτή η κατάσταση περιορίζει την έρευνά τους στον τομέα.
Για παράδειγμα, τα δεδομένα εκπαίδευσης από το OpenAI Codex, που τροφοδοτεί τη δυνατότητα Copilot του GitHub, δεν έχουν δημοσιοποιηθεί, εμποδίζοντας τους ερευνητές να βελτιώσουν το μοντέλο AI ή να μελετήσουν ορισμένες πτυχές του, όπως η διαλειτουργικότητα.
«Οι μεγάλες εταιρείες τεχνολογίας δεν δημοσιοποιούν τα μοντέλα τους, κάτι που εμποδίζει πραγματικά την επιστημονική έρευνα και τον εκδημοκρατισμό τέτοιων μεγάλων μοντέλων γλωσσικών κωδικών», είπαν οι ερευνητές. «Σε κάποιο βαθμό, ελπίζουμε ότι οι προσπάθειές μας ανοιχτού κώδικα θα πείσουν και άλλους να κάνουν το ίδιο. Αλλά η μεγάλη εικόνα είναι ότι η κοινότητα θα πρέπει να μπορεί να εκπαιδεύει αυτά τα μοντέλα μόνη της. Το μοντέλο μας ξεπέρασε το όριο του τι μπορείτε να εκπαιδεύσετε σε έναν μόνο διακομιστή – οτιδήποτε μεγαλύτερο απαιτεί μια ομάδα διακομιστών, γεγονός που αυξάνει δραματικά το κόστος.”
Τέλος, αν ενδιαφέρεστε να μάθετε περισσότερα σχετικά με αυτό , μπορείτε να βρείτε τις λεπτομέρειες στον παρακάτω σύνδεσμο.