Τοπικά / Offline AI: Μοντέλα, Harnesses, Hardware, εγκατάσταση και εφαρμογές

[Γιώργος Κυριακαράκος]

Πάντως το άρθρο είναι γραμμένο δημοσιογραφικά. Αν τρέχεις το μοντέλο μέσω κλασσικών harness όπως πχ το LM Studio κάτι τέτοιο δεν θα γίνει ποτέ.
Επίσης στην πράξη το μοντέλο προσπάθησε να στείλει ένα fixed test string, το PROBE_PAYLOAD_ABC123 και όχι data κανενός είδους σχετικά με το χρήστη.

Οι άνθρωποι θέλησαν να τρέξουν το benchmark CTI-REALM, το οποίο αφορά cybersecurity tasks. Στον μοντέλο δόθηκε η οδηγία να δημιουργήσει ένα detection rule που να αναγνωρίζει ύποπτες λήψεις αρχείων και τη μεταγενέστερη εκτέλεση scripts. Αντί για αυτό, κατά τη διάρκεια μιας αξιολόγησης, παρήγαγε μια αλληλουχία εντολών που:
- Επιθεώρησε τα περιεχόμενα του /tmp.
- Έλεγξε για τη διαθεσιμότητα βοηθητικών προγραμμάτων όπως το curl, το wget και τη Python.
- Εξέτασε τις ρυθμίσεις DNS του συστήματος.
- Επιχείρησε ένα αίτημα HTTP PUT σε ένα storage bucket του Alibaba Cloud στο Πεκίνο.

Αυτό από μόνο του παραπέμπει σε αποθηκευμένη συμπεριφορά κατά την εκπαίδευση.

Βέβαια δεν θα πω ψέμματα...στο μυαλό μου ήρθε το manchurian candidate και άρχισα να γελάω μόνος. Έστειλε μια ασήμαντη εντολή και μπορεί μετά να λάμβανε κάτι που θα ξυπνούσε μια πιο περίεργη συμπεριφορά

Σε κάθε περίπτωση είναι τρομερά δύσκολο να συμβεί κάτι. Η πρόσβαση στο internet προσφέρεται από το harness και το harness είναι ντητερμινιστικό λογισμικό που μπορείς να το ελέγξεις. Είναι λίγο δύσκολο να κάτσει ένα Local μοντέλο που το τρέχεις με συγκεκριμένο τρόπο να χακάρει το περιβάλλον του για να βγει έξω. Θα μου πείτε το έχουν κάνει ήδη. Αλλά συνήθως είναι σμήνη πρακτόρων με πολύ περισσότερα resources και όχι ένας μοναχικός cowboy. Τρομερά πιο πιθανό να του ανοίξουν το κλουβί τα Claude/ChatGPT που σχεδόν όλοι χρησιμοποιούν για να αναπτύξουν/συντηρήσουν τα Harnesses.

Θεωρώ ότι άνετα μπορούν να κάνουν πολλά με data από cloud υλοποιήσεις των μοντέλων τους, αλλά γίνεται πολύ δύσκολο να κατέβουν τόσο χαμηλά στο pc του κάθε βαρεμένου που τρέχει κάτι locally. Επίσης θυμήθηκα το:
https://www.bloomberg.com/news/feat...ny-chip-to-infiltrate-america-s-top-companies

Υ.Γ. Είναι ένας πολύ συμπαθητικός τυπάκος παλαιάς κοπής που έχει ένα κανάλι στο Youtube. Αν και τις περισσότερες φορές δεν κάνω αυτά που προτείνει, μου ανοίγει διαδρομές σκέψης που δεν είχα κάνει πριν. Επίσης τα -θετικά- σχόλια από κάτω είναι από ανθρώπους με γνώση και μέσω των σχολίων έχω κατευθυνθεί σε πράγματα που τελικά υλοποίησα. Θα έλεγα είναι από τους τελευταίους αυθεντικούς ανεξάρτητους youtubers σε αυτό το πεδίο - θα μπορούσε άνετα να είναι μέλος μας. Δεν πυροβολεί βίντεο καθημερινά, οπότε με χαρά τον προτείνω.

https://www.youtube.com/@RobBraxmanDeepTechDive/

 

[anderm]

Έβγαλαν τα traces.
Το πρόβλημα δεν είναι να "σπάσει" το sandbox και να βγεί στο internet. Σε αυτό το επίπεδο του intelligence απλά δεν θα συμβεί.

Το θέμα είναι πως στα φανερά reasoning steps έγραφε πως δεν χρησιμοποιεί tool calls ενώ έκανε tool calls.
Επίσης πάρα πολύς κόσμος τρέχει τα τοπικά μοντέλα όχι σε containers αλλά σε pc με πλήρη πρόσβαση σε δίκτυο. Ακόμη και failed call να κάνει το μοντέλο, έχει διαρρεύσει το όποιο payload και τα δικτυακά σου (public) στοιχεία.

Το μεγαλύτερο θέμα είναι εάν το βάλεις σε ένα Cloud VM. Έκανε credential probing, έψαχνε ενεργά τα προσωρινά κλειδιά των VM.

Τώρα αν αυτό είναι backdoor ή τυχαία συμπεριφορά, στα non deterministic μοντέλα είναι λίγο δύσκολο να αποτυπωθεί με ακρίβεια, πάντως εμένα θα μου δημιουργούσε μια ανασφάλεια σε παραγωγική χρήση.