Σε μια εποχή όπου η ασφάλεια του λογισμικού αποτελεί αυξανόμενη πρόκληση, μια ομάδα ερευνητών ανέπτυξε ένα νέο μοντέλο τεχνητής νοημοσύνης, το White-Basilisk, το οποίο εντοπίζει τις ευπάθειες λογισμικού πιο αποτελεσματικά από πολύ μεγαλύτερα συστήματα. Η κυκλοφορία του μοντέλου έρχεται σε μια στιγμή που οι προγραμματιστές και οι ομάδες ασφαλείας αντιμετωπίζουν αυξανόμενη πίεση για την ασφάλιση πολύπλοκων κωδίκων, συχνά χωρίς τους πόρους για την ανάπτυξη μεγάλων εργαλείων AI.
Ένα συμπαγές μοντέλο με μεγάλα αποτελέσματα
Σε αντίθεση με τα μεγάλα γλωσσικά μοντέλα (LLMs), τα οποία μπορεί να απαιτούν δισεκατομμύρια παραμέτρους και τεράστια υπολογιστική ισχύ, το White-Basilisk είναι συμπαγές, με μόλις 200 εκατομμύρια παραμέτρους. Παρόλα αυτά, ξεπερνά σε απόδοση μοντέλα πάνω από 30 φορές το μέγεθός του σε πολλαπλά δημόσια σημεία αναφοράς για την ανίχνευση ευπαθειών. Αυτό αμφισβητεί την ιδέα ότι τα μεγαλύτερα μοντέλα είναι πάντα καλύτερα, τουλάχιστον για εξειδικευμένες εργασίες ασφαλείας.
Ο σχεδιασμός του White-Basilisk εστιάζει στην ανάλυση κώδικα μεγάλης εμβέλειας. Οι πραγματικές ευπάθειες συχνά εκτείνονται σε πολλαπλά αρχεία ή συναρτήσεις, κάτι με το οποίο πολλά υπάρχοντα μοντέλα δυσκολεύονται λόγω των περιορισμών στο πλαίσιο που μπορούν να επεξεργαστούν ταυτόχρονα. Αντίθετα, το White-Basilisk μπορεί να αναλύσει ακολουθίες μήκους έως και 128.000 tokens, αρκετά για να αξιολογήσει ολόκληρες βάσεις κώδικα σε μία μόνο διέλευση.
Κατασκευασμένο για αποδοτικότητα και πλαίσιο
Για να ξεπεράσει τους περιορισμούς των παραδοσιακών μοντέλων, η ομάδα δημιούργησε μια υβριδική αρχιτεκτονική που βασίζεται σε τρία στοιχεία. Τα επίπεδα Mamba, που επιλέχθηκαν για την εξαιρετική τους απόδοση στην καταγραφή τοπικών εξαρτήσεων σε ακολουθίες κώδικα, αποτελούν τη ραχοκοκαλιά του White-Basilisk. Ένας προσαρμοσμένος μηχανισμός γραμμικής προσοχής διατηρεί το παγκόσμιο πλαίσιο, και ένα σύστημα Mixture of Experts (MoE) κατευθύνει την είσοδο σε διαφορετικά μέρη του μοντέλου ανάλογα με το περιεχόμενο. «Η βασική πρόκληση που αντιμετωπίσαμε πηγάζει από έναν θεμελιώδη περιορισμό στον τρόπο με τον οποίο τα μοντέλα AI επεξεργάζονται τον κώδικα», δήλωσε ο Ιωάννης Λάμπρου, ο επικεφαλής ερευνητής. «Η ανακάλυψή μας ήταν η ανάπτυξη μιας υβριδικής αρχιτεκτονικής που επιτυγχάνει γραμμική πολυπλοκότητα. Οι υπολογιστικές απαιτήσεις αυξάνονται αναλογικά αντί για εκθετικά με το μήκος του κώδικα.»
Πιο «πράσινη» τεχνητή νοημοσύνη και πραγματικές εφαρμογές
Το White-Basilisk είναι επίσης ενεργειακά αποδοτικό. Η ομάδα εκτιμά ότι η εκπαίδευσή του παρήγαγε μόλις 85,5 κιλά CO₂. Αυτή η αποδοτικότητα επεκτείνεται και στον χρόνο εκτέλεσης, καθώς το White-Basilisk μπορεί να αναλύσει ολόκληρες βάσεις κώδικα σε μία μόνο GPU υψηλών προδιαγραφών χωρίς να χρειάζεται κατανεμημένη υποδομή. Αυτό θα μπορούσε να το καταστήσει πιο πρακτικό για μικρές ομάδες ασφαλείας και εταιρείες χωρίς μεγάλους προϋπολογισμούς cloud.
Οι ερευνητές οραματίζονται την ενσωμάτωση του White-Basilisk στις τρέχουσες ροές εργασίας ανάπτυξης και ασφάλειας, όπως μια επέκταση για το VSCode που θα παρέχει προτάσεις σε πραγματικό χρόνο ή την ενσωμάτωση σε αγωγούς CI/CD. Παρόλο που το μοντέλο έχει εκπαιδευτεί μόνο σε κώδικα C και C++, η έρευνα αυτή δεν θέτει απλώς νέα σημεία αναφοράς στην ασφάλεια του κώδικα, αλλά παρέχει επίσης εμπειρικές αποδείξεις ότι συμπαγή, αποδοτικά σχεδιασμένα μοντέλα μπορούν να ξεπεράσουν μεγαλύτερα αντίστοιχα σε εξειδικευμένες εργασίες.