Το Point E είναι το νέο AI του OpenAI για τη δημιουργία εικόνων
Η OpenAI έχει επεκτείνει τις δυνατότητες του λογισμικού μετατροπής κειμένου σε εικόνα από δύο σε τρεις διαστάσεις με την κυκλοφορία του Point-E, μιας τεχνητής νοημοσύνης που δημιουργεί τρισδιάστατες εικόνες από μηνύματα κειμένου. Σύμφωνα με ένα έγγραφο που δημοσιεύτηκε με τη βάση κώδικα, το Point-E δεν απαιτεί υπολογιστή υψηλής τεχνολογίας για να λειτουργήσει και μπορεί να δημιουργήσει ένα μοντέλο σε λιγότερο από δύο λεπτά χρησιμοποιώντας μία μόνο GPU Nvidia V100.
Με αυτό μπορούμε να δούμε ότι οι γεννήτριες μοντέλων 3D θα μπορούσαν να είναι η επόμενη σημαντική ανακάλυψη που θα καταιγίσει τον κόσμο της τεχνητής νοημοσύνης. Το OpenAI ήταν πολύ ενεργό φέτος, αφού για παράδειγμα εδώ στο blog έχουμε μιλήσει για την εταιρεία για τα δύο μεγάλα έργα της: το Dall-E 2 και το ChatGPT.
Μεταξύ αυτών των δύο τεράστιων πλατφορμών τεχνητής νοημοσύνης, η εταιρεία βοήθησε στη δημιουργία εικόνων και μεγάλων τμημάτων κειμένου από ένα απλό μήνυμα κειμένου και τώρα η εταιρεία επιστρέφει με μια τρίτη ιδέα, που κυκλοφόρησε λίγο πριν τα Χριστούγεννα για να προκαλέσει αίσθηση. Αυτή η τρίτη ιδέα, που ονομάζεται Point-E, ακολουθεί ένα παρόμοιο μοτίβο, δημιουργώντας τρισδιάστατο περιεχόμενο από απλές προτροπές.
Όπως ανακοινώθηκε σε ένα ερευνητικό άρθρο που δημοσιεύτηκε από την ομάδα OpenAI, το Point-E λειτουργεί σε δύο στάδια: πρώτα χρησιμοποιεί μια τεχνητή νοημοσύνη μετατροπής κειμένου σε εικόνα για να μετατρέψει το λεκτικό σας αίτημα σε εικόνα και, στη συνέχεια, χρησιμοποιεί μια δεύτερη συνάρτηση για να μετατρέψει αυτήν την εικόνα σε ένα τρισδιάστατο μοντέλο.
Το Point-E είναι ανοιχτού κώδικα και ο πηγαίος κώδικας είναι διαθέσιμος στο GitHub . Παρόλα αυτά, μπορεί να είναι λίγο δύσκολο να ξεκινήσετε, καθώς οι χρήστες πρέπει να είναι αρκετά εξοικειωμένοι με τα εργαλεία γραμμής εντολών και το σύστημα πρέπει να έχει εγκατεστημένη την Python, σε αντίθεση με το ChatGPT, όπου οι χρήστες μπορούν να εγγραφούν σε έναν ιστότοπο και να δοκιμάσουν τις δεξιότητές τους.
Το Point-E δεν δημιουργεί τρισδιάστατα αντικείμενα με την παραδοσιακή έννοια. Αντίθετα, δημιουργεί σύννεφα σημείων, δηλαδή, διακριτά σύνολα σημείων δεδομένων στο χώρο που αναπαριστούν ένα τρισδιάστατο σχήμα, εξ ου και η κωμική συντομογραφία.
(Το "E" στο Point-E είναι συντομογραφία του "efficiency", καθώς είναι προφανώς ταχύτερο από προηγούμενες προσεγγίσεις για την απόδοση τρισδιάστατων αντικειμένων.) Σύμφωνα με τους προγραμματιστές, τα σύννεφα σημείων είναι υπολογιστικά πιο εύκολο να συντεθούν, αλλά δεν αποτυπώνουν το σχήμα ή τη λεπτή υφή ενός αντικειμένου, κάτι που αποτελεί σήμερα σημαντικό περιορισμό του Point-E.
Για να ξεπεραστεί αυτός ο περιορισμός , η ομάδα Point-E εκπαίδευσε ένα επιπλέον σύστημα τεχνητής νοημοσύνης για να μετατρέψει τα σύννεφα σημείων του Point-E σε πλέγματα. (Τα πλέγματα - συλλογές κορυφών, ακμών και όψεων που ορίζουν ένα αντικείμενο - χρησιμοποιούνται συνήθως στην τρισδιάστατη μοντελοποίηση και σχεδίαση.) Ωστόσο, οι ερευνητές σημειώνουν στην εργασία τους ότι το μοντέλο μπορεί μερικές φορές να παραλείπει τμήματα αντικειμένων , με αποτέλεσμα παραμορφωμένα ή μπλοκαρισμένα σχήματα. Εκτός από το μοντέλο δημιουργίας πλέγματος, το οποίο είναι αυτοτελές, το Point-E αποτελείται από δύο μοντέλα: ένα μοντέλο κειμένου-εικόνας και ένα μοντέλο τρισδιάστατης εικόνας.
Το μοντέλο μετατροπής κειμένου σε εικόνα, παρόμοιο με συστήματα δημιουργίας έργων τέχνης όπως το DALL-E 2 και το Stable Diffusion, εκπαιδεύτηκε σε εικόνες με ετικέτες για να κατανοήσει τις συσχετίσεις μεταξύ λέξεων και οπτικών εννοιών . Από την άλλη πλευρά, το μοντέλο τρισδιάστατης εικόνας τροφοδοτήθηκε με ένα σύνολο εικόνων που σχετίζονται με τρισδιάστατα αντικείμενα για να μάθει πώς να μεταφράζει τα δύο αποτελεσματικά. Όταν του δίνεται ένα μήνυμα κειμένου, για παράδειγμα, "ένα τρισδιάστατα εκτυπώσιμο γρανάζι, ένα μόνο γρανάζι διαμέτρου 7 cm και πάχους 1 cm", το μοντέλο μετατροπής κειμένου σε εικόνα του Point-E δημιουργεί ένα αποδοσμένο συνθετικό αντικείμενο που στη συνέχεια διαβιβάζεται στο τρισδιάστατο μοντέλο εικόνας.
Το τελευταίο δημιουργεί στη συνέχεια ένα σύννεφο σημείων. Μετά την εκπαίδευση των μοντέλων σε ένα σύνολο δεδομένων με «αρκετά εκατομμύρια» τρισδιάστατα αντικείμενα και συσχετιζόμενα μεταδεδομένα, το Point-E μπόρεσε να παράγει έγχρωμα σύννεφα σημείων που ταίριαζαν συχνά με προτροπές κειμένου, λένε οι ερευνητές του OpenAI. Δεν είναι τέλειο: Το μοντέλο τρισδιάστατης εικόνας του Point-E μερικές φορές δεν κατανοεί την εικόνα από το μοντέλο εικόνας κειμένου, με αποτέλεσμα ένα σχήμα που δεν ταιριάζει με το μήνυμα κειμένου. Ωστόσο, είναι πολύ πιο γρήγορο από το προηγούμενο επίπεδο της τέχνης, τουλάχιστον σύμφωνα με την ομάδα του OpenAI.
Το αποτέλεσμα απέχει πολύ από το να φτάσει την ποιότητα μιας εμπορικής τρισδιάστατης απόδοσης σε ταινία ή βιντεοπαιχνίδι. Αλλά δεν πρέπει να είναι. Μόλις τροφοδοτηθούν σε μια εφαρμογή 3D όπως το Blender, μπορούν να μετατραπούν σε πλέγματα με υφή που μοιάζουν περισσότερο με κανονικές τρισδιάστατες εικόνες.
«Παρόλο που η μέθοδός μας δεν είναι ακόμα καλή όσον αφορά την ποιότητα δειγματοληψίας, είναι μία ή δύο τάξεις μεγέθους ταχύτερη, κάτι που αποτελεί πρακτικό συμβιβασμό για ορισμένες περιπτώσεις χρήσης», εξηγούν οι ερευνητές του OpenAI στο έγγραφο που περιγράφουν το έργο.
Τέλος, αν ενδιαφέρεστε να μάθετε περισσότερα για το Point-E ή τον πηγαίο κώδικα, μπορείτε να βρείτε τις λεπτομέρειες στον παρακάτω σύνδεσμο.