Τρεις απολυμένοι ερευνητές της OpenAI, οι Jasmine Wang, Tomek Korbak και Mikita Balesni, ζητούν από την εταιρεία να προστατεύσει τη δυνατότητα παρακολούθησης των προηγμένων συστημάτων της και να συνεργάζεται με εξωτερικούς ελεγκτές ασφαλείας. Σύμφωνα με τη Wall Street Journal, η επιστολή τους απευθύνεται στο διοικητικό συμβούλιο και στις επιτροπές ασφαλείας. Η εταιρεία αποδίδει τις απολύσεις σε παραβιάσεις κανόνων διαχείρισης ευαίσθητων πληροφοριών· οι ερευνητές αμφισβητούν τις κατηγορίες.
Στο επίκεντρο βρίσκεται η λεγόμενη «αλυσίδα συλλογισμού» — chain of thought. Πρόκειται για ενδιάμεσα κείμενα που παράγουν ορισμένα μοντέλα κατά την επεξεργασία ενός προβλήματος. Η εξέτασή τους μπορεί να βοηθήσει στον εντοπισμό επικίνδυνων ή παραπλανητικών ενεργειών, προσφέροντας περισσότερες πληροφορίες από όσες περιέχει η τελική απάντηση. Ωστόσο, τα κείμενα αυτά δεν αποτελούν πλήρη και απολύτως αξιόπιστη αποτύπωση όλων των εσωτερικών υπολογισμών του συστήματος.
Η ίδια η OpenAI έχει αναδείξει τη σημασία αυτής της μεθόδου. Σε δημοσιευμένη έρευνά της περιγράφει πώς η παρακολούθηση των συλλογισμών επέτρεψε να εντοπιστούν συμπεριφορές όπως η παράκαμψη δοκιμών σε εργασίες προγραμματισμού. Επισημαίνει, όμως, και έναν κίνδυνο: η εκπαίδευση που επιβάλλει κυρώσεις απευθείας στα ανεπιθύμητα ίχνη συλλογισμού μπορεί να οδηγήσει στην απόκρυψή τους, χωρίς να εξαλείψει την προβληματική συμπεριφορά.
Το ζήτημα αφορά επομένως και τον τρόπο ανάπτυξης των μοντέλων. Όπως αναφέρει η εταιρεία σε μελέτη για την αξιολόγηση της δυνατότητας παρακολούθησης, αλλαγές στην εκπαίδευση, στα δεδομένα ή στην κλίμακα των συστημάτων ενδέχεται να αποδυναμώσουν αυτό το εργαλείο εποπτείας. Η καλή επίδοση ενός μοντέλου σε μια εργασία δεν αρκεί από μόνη της για να αποδείξει ότι οι ελεγκτές μπορούν να εντοπίσουν εγκαίρως μια επικίνδυνη ενέργεια.
Από την πλευρά της διακυβέρνησης, η συζήτηση θέτει ένα πρακτικό ερώτημα: τι πρόσβαση χρειάζεται ένας ανεξάρτητος αξιολογητής για να πραγματοποιήσει ουσιαστικό έλεγχο; Η εξέταση επιλεγμένων απαντήσεων έχει διαφορετική αποδεικτική αξία από την πρόσβαση σε καταγραφές λειτουργίας, δοκιμές και τεκμηριωμένα περιστατικά αστοχίας.
Η διάκριση αυτή αποκτά ιδιαίτερη σημασία όταν τα συστήματα χρησιμοποιούν εργαλεία και εκτελούν ενέργειες. Κατά την αξιολόγησή τους, χρειάζεται να εξετάζεται τόσο το αποτέλεσμα όσο και η δυνατότητα ανίχνευσης μιας απόκλισης πριν προκαλέσει βλάβη.
Η προειδοποίηση των ερευνητών επαναφέρει έτσι μια βασική απαίτηση για την ανάπτυξη προηγμένης τεχνητής νοημοσύνης: η αύξηση των δυνατοτήτων της πρέπει να συνοδεύεται από ελέγχους των οποίων η αποτελεσματικότητα μπορεί να τεκμηριωθεί.
