Επί του παρόντος, Έχουμε αρχίσει να βλέπουμε αύξηση οι διαφορετικές λύσεις που αρχίζουν να προσφέρουν σε σχέση με την δημιουργία κώδικα με χρήση τεχνητής νοημοσύνης (AI) και είναι ότι ο τομέας της επεξεργασίας φυσικής γλώσσας (NLP) έχει ανοίξει το δρόμο για μια σειρά AI που δημιουργούν κώδικα σε διάφορες γλώσσες προγραμματισμού.
Εκ των οποίων μπορούμε να επισημάνουμε για παράδειγμα GitHub Copilot, AlphaCode και Codex και στο οποίο μπορούμε τώρα να προσθέσουμε μια νέα λύση από το χέρι του ερευνητές στο Πανεπιστήμιο Carnegie Mellon ποιος παρουσίασε πρόσφατα το "PolyCoder", μια γεννήτρια κώδικα βασισμένη στο μοντέλο γλώσσας GPT-2 του OpenAI που εκπαιδεύτηκε σε μια βάση δεδομένων κώδικα 249 GB σε 12 γλώσσες προγραμματισμού.
Σχετικά με το PolyCoder
Οι συντάκτες του PolyCoder ισχυρίζονται ότι είναι ικανό να γράψει το C με μεγαλύτερη ακρίβεια από οποιοδήποτε γνωστό μοντέλο, συμπεριλαμβανομένου του Codex.
Ο κώδικας που δημιουργεί AI, μπορεί να γράψει τον πηγαίο κώδικα σε διαφορετικές γλώσσες προγραμματισμού Αμέσως, υπόσχεται να μειώσει το κόστος ανάπτυξης λογισμικού, ενώ επιτρέπει στους προγραμματιστές να επικεντρωθούν σε λιγότερο επαναλαμβανόμενες, δημιουργικές εργασίες.
Το PolyCoder τροφοδοτήθηκε από δεδομένα από διάφορα αποθετήρια GitHub, που καλύπτουν 12 δημοφιλείς γλώσσες προγραμματισμού: C, C#, C++, Go, Java, JavaScript, PHP, Python, Ruby, Rust, Scala και TypeScript.
Το αφιλτράριστο σύνολο δεδομένων ήταν συνολικά 631 GB δεδομένων και 38,9 εκατομμύρια αρχεία. Το είπε η ομάδα επέλεξε να εκπαιδεύσει το PolyCoder με GPT-2 λόγω περιορισμών προϋπολογισμού. Το PolyCoder είναι διαθέσιμο ως ανοιχτού κώδικα και οι ερευνητές ελπίζουν ότι μπορεί να εκδημοκρατίσει την έρευνα στον τομέα της δημιουργίας κώδικα τεχνητής νοημοσύνης, ο οποίος μέχρι τώρα κυριαρχούνταν από καλά χρηματοδοτούμενες εταιρείες.
Οι ερευνητές πιστεύουν ότι ο PolyCoder λειτουργεί καλύτερα από άλλα μοντέλα στη δημιουργία κώδικα στη γλώσσα C. Ωστόσο, το Codex το ξεπερνούσε πάντα σε άλλες γλώσσες. «Το PolyCoder ξεπερνά δραματικά το Codex και όλα τα άλλα μοντέλα στη γλώσσα C.
«Όταν το Copilot κυκλοφόρησε στο GitHub το περασμένο καλοκαίρι, κατέστη σαφές ότι αυτά τα πολύ μεγάλα μοντέλα κώδικα γλώσσας μπορούν να είναι πολύ χρήσιμα για να βοηθήσουν τους προγραμματιστές και να αυξήσουν την παραγωγικότητά τους. Αλλά κανένα μοντέλο, ακόμη και κοντά σε αυτή την κλίμακα, δεν ήταν διαθέσιμο στο κοινό», είπαν οι ερευνητές στο VentureBeat μέσω email. «Έτσι, ο [PolyCoder] ξεκίνησε με τον Vincent να προσπαθεί να καταλάβει ποιο ήταν το μεγαλύτερο μοντέλο που θα μπορούσε να εκπαιδευτεί στον διακομιστή του εργαστηρίου μας, το οποίο κατέληξε να είναι 2700 δισεκατομμύρια παραμέτρους… και αυτό το μοντέλο ήταν ένα πρωτάθλημα μπροστά από άλλα μοντέλα προσανατολισμένα στον κώδικα που είχαμε . ήταν δημόσια διαθέσιμα εκείνη την εποχή."
Όταν συγκρίνετε μόνο τα μοντέλα ανοιχτού κώδικα, Το PolyCoder υπερτερεί του παρόμοιου μεγέθους μοντέλου GPT-Neo 2.7B σε C, JavaScript, Rust, Scala και TypeScript." επισημαίνουν «Στις άλλες 11 γλώσσες, όλα τα άλλα μοντέλα ανοιχτού κώδικα, συμπεριλαμβανομένου του δικού μας, είναι σημαντικά χειρότερα (μεγαλύτερη αμηχανία) από το Codex», πρόσθεσαν οι ερευνητές της CMU.
Με αυτό, το PolyCoder τοποθετείται ως μια πολύ ενδιαφέρουσα λύση, καθώς ενώ ερευνητικά εργαστήρια όπως το OpenAI του Elon Musk και το DeepMind της Alphabet έχουν αναπτύξει ισχυρή τεχνητή νοημοσύνη που δημιουργεί κώδικα, πολλά από τα πιο επιτυχημένα συστήματα δεν είναι διαθέσιμα σε ανοιχτό κώδικα. Οι εταιρείες χαμηλού εισοδήματος δεν έχουν πρόσβαση σε αυτό και αυτή η κατάσταση περιορίζει την έρευνά τους στον τομέα.
Για παράδειγμα, τα δεδομένα εκπαίδευσης από το OpenAI Codex, που τροφοδοτεί τη δυνατότητα Copilot του GitHub, δεν έχουν δημοσιοποιηθεί, εμποδίζοντας τους ερευνητές να βελτιώσουν το μοντέλο AI ή να μελετήσουν ορισμένες πτυχές του, όπως η διαλειτουργικότητα.
«Οι μεγάλες εταιρείες τεχνολογίας δεν δημοσιοποιούν τα μοντέλα τους, κάτι που εμποδίζει πραγματικά την επιστημονική έρευνα και τον εκδημοκρατισμό τέτοιων μεγάλων μοντέλων γλωσσικών κωδικών», είπαν οι ερευνητές. «Σε κάποιο βαθμό, ελπίζουμε ότι οι προσπάθειές μας ανοιχτού κώδικα θα πείσουν και άλλους να κάνουν το ίδιο. Αλλά η μεγάλη εικόνα είναι ότι η κοινότητα θα πρέπει να μπορεί να εκπαιδεύει αυτά τα μοντέλα μόνη της. Το μοντέλο μας ξεπέρασε το όριο του τι μπορείτε να εκπαιδεύσετε σε έναν μόνο διακομιστή – οτιδήποτε μεγαλύτερο απαιτεί μια ομάδα διακομιστών, γεγονός που αυξάνει δραματικά το κόστος.”
Τελικά αν ενδιαφέρεστε να μάθετε περισσότερα γι 'αυτό, μπορείτε να ελέγξετε τις λεπτομέρειες στο παρακάτω σύνδεσμο.