Τεχνητή Νοημοσύνη (AI). Τι είναι, τι ξέρουμε, τι αλλάζει στη ζωή και στον πολιτισμό;

Το βασικό πρόβλημα της "Τεχνητής νοημοσύνης" είναι ότι οι χρήστες δεν ξέρουν να τη χρησιμοποιήσουν.
Εννοείται ότι έχει κανόνες και όχι ηθικούς φραγμούς και ΕΝΝΟΕΙΤΑΙ ότι θα γίνει αυτό που λέγαμε πάντα για τους υπολογιστές εμείς που δουλεύουμε στον τομέα του ΙΤ.

Ο υπολογιστής θα κάνει αυτό που του λες, όχι αυτό που θέλεις.

Τόσο απλό.
Όσο υπάρχουν best practices για να γράψεις τον πιο απλό κώδικα, τόσο υπάρχουν best practices για να εξηγήσεις στο κάθε llm τι χρειάζεσαι.
 
Το βασικό πρόβλημα της "Τεχνητής νοημοσύνης" είναι ότι οι χρήστες δεν ξέρουν να τη χρησιμοποιήσουν.
Εννοείται ότι έχει κανόνες και όχι ηθικούς φραγμούς και ΕΝΝΟΕΙΤΑΙ ότι θα γίνει αυτό που λέγαμε πάντα για τους υπολογιστές εμείς που δουλεύουμε στον τομέα του ΙΤ.

Ο υπολογιστής θα κάνει αυτό που του λες, όχι αυτό που θέλεις.

Τόσο απλό.
Όσο υπάρχουν best practices για να γράψεις τον πιο απλό κώδικα, τόσο υπάρχουν best practices για να εξηγήσεις στο κάθε llm τι χρειάζεσαι.
εαν ομως , ξερεις να του πεις, αυτο που θελεις, εν τελει θα κανει αυτο που θελεις
 
To view this content we will need your consent to set third party cookies.
For more detailed information, see our cookies page.



:oops: :oops: :oops:
Όσο και αν κάποια πράγματα φαίνονται απλά ή όσο και αν φαίνονται περίπλοκα η πραγματικότητα πάντα θα μας εκπλήσει.
Έδωσαν στο ChatGPT 6 (σε μια έκδοση που εσωτερικά τεστάρει η OpenAI) ένα απλό task. Να λύσει το ExploitGym benchmark. Το κλείδωσαν και σε ένα πολύ ελεγχόμενο sandbox χωρίς καμία επαφή με τον εξωτερικό κόσμο. Του άφησαν μόνο ένα local repository με βιβλιοθήκες. Τι έκανε αυτό;
- Σκέφτηκε ότι θα μπορούσε να το λύσει αν είχε πρόσβαση σε σχετικό open source λογισμικό.
- Για να το κάνει αυτό θα έπρεπε να αποκτίσει πρόσβαση στο ιντερνετ.
- Βρήκε ένα zero day vulnerability και απέδρασε από το sandbox.
- Άρχισε να πηγαίνει από "υπολογιστή" σε "υπολογιστή" εντός της OpenAI ψάχνοντας κάποιον που να έχει πρόσβαση στο internet.
- Όταν το κατάφερε πήγε να βρει τις πληροφορίες που ήθελε στο hugging face.
- Για να το κάνει αυτό χάκαρε μερικούς λογαριασμούς και βρήκε μερικά zero-day και εδώ.
- Απέκτησε πρόσβαση σε δοκιμαστικές λύσεις του ExploitGym που θα του επέτρεπαν να κάνει αυτό που του ζήτησαν.
Κάπου εδώ το κατάλαβε και η ομάδα κυβερνοασφάλειας τόσο του hugging face όσο και της OpenAI.

Σε όλο το παραπάνω δεν υπήρχε κανένα θέμα alignment. Έκανε αυτό ακριβώς που του ζητήσαμε, απλώς δεν είμασταν αρκετά αναλυτικοί για το πως θα το πετύχαινε αυτό. Α, και επίσης νομίζαμε ότι θα το είχαμε κλειδωμένο. Αλλά απλά δραπέτευσε...

 
  • Like
Reactions: Kosh
Μικρο βιντεο (γιατι ο τυπος κανει podcasts και 4 ωρες μερικες φορες)
Για μενα συμπερικλειει ολο τον συλογισμο για την Τεχνικη νοημοσυνη και την χρηση της στην ( την δυναμενη η την επιθεμιτη )
Με ενα πολυ ευλογο παραδειγμα περι αποδοχης νεων τεχνικων και τεχνολογιων. Με μια εξαιρετικη αναφορα στον Μπωντλαιρ, που ναι μεν απεχθανοταν την φωτογραφια για να μην "σκοτωσει" την τεχνικη της τεχνης (βλεπε ζωγραφικη...) αλλα σε καποια φαση της ζωης του ζητησε σαν ευχη... και τα υπολοιπα στην οθονη σας.
Με την ιστορια του μπαρμπα Λελευ. Για τον οποιο δεν ειχε μεινει τιποτα παρα μονο καποια καρτ ποσταλ.

Για μενα συνοψιζει ολη την φιλοσοφια περι ΙΑ και την χρηση της. Το ωραιο και το χυδαιο, το νοητο και το αψυχο, το βαθος της ανθρωπινης ψυχης και τ επιφανιακο.
Το σημερινο πεδιο μαχης ειναι εδω, στον τομεα της τεχνης, και απο αυτο θα βγει ενας νικητης η ενας χαμενος... ο ανθρωπος.

Ο τελευταιος φυλακας των οχεων. Ποιος φονευσε τον μπαρμπα Λευλευ ;
To view this content we will need your consent to set third party cookies.
For more detailed information, see our cookies page.

Για οσους δεν γνωριζουν Γαλλικα το επαναλαμβανω υπαρχει επιλογη μεταφρασης υποτιτλων, και το τσεκαρα και στα Ελληνικα. Απο ΙΑ, εδω ειμαστε παλι.
 
εαν ομως , ξερεις να του πεις, αυτο που θελεις, εν τελει θα κανει αυτο που θελεις

Ε... όχι απαραίτητα.
Ίσως μόνο αν το κλειδώσεις τόσο πολύ με το prompt σου να κάνει αυτό που τελικά θέλεις.
Φτάνει να μην έχει κανένα τεράστιο ιστορικό από πίσω και έχει ξεχάσει τι έκανε εχθές, το έχεις βάλει να κρατάει σημειώσεις για τα πάντα, κλπ κλπ.
 
  • Like
Reactions: Deneb
Και η Alibaba με τα ανοιχτά μοντέλα της, QWEN, στον χορό των ανοιχτών μοντέλων τρισεκατομμυρίων παραμέτρων.

View attachment 274718
Αυτή είναι η μία όψη...μεγάλα μοντέλα που να πλησιάζουν ή και να ξεπερνούν τα κλειστά frontier.

Όμως, περιμένω ένα καινούργιο μοντέλο που να μπορεί να τρέξει με 140 -150 GB μνήμη τοπικά. Σίγουρα θα είναι 120 B παραμέτρων ή και μεγαλύτερο μιας και έχουν αρχίσει να χρησιμοποιούν κολπάκια με Active parameters κλπ. μιας και πια με ~5000 ευρώ μπορείς να αγοράσεις hardware για τέτοια μοντέλα που να μπορείς να τα τρέξεις τοπικά.
Περιμένω αναβαθμισμένη έκδοση του Qwen3.5-122B-A10B που ήδη κάνει πάρα πολλά πράγματα...

To "παλιό" Qwen3 4B Instruct 2507 είναι το μοντέλο που τρέχω τώρα τοπικά για διάφορα μικρά τασκ (έχω μόνο 6 GB Vram) και έχω δει ότι για τις δικές μου ανάγκες αποδίδει καλύτερα από αρκετά άλλα νεώτερα με το ίδιο περίπου footprint...
 
140-150GB μνήμης τοπικά, σημαίνει μια H200.

Με αυτά, τρέχεις μοντέλα (4-bit quantized) μέχρι ~150B παραμέτρους. Ανεξαρτήτως των ενεργών παραμέτρων, όλα τα model weights συν το context, χρειάζεται να χωρέσουν στην VRAM.
Δεν θα γίνουν θαύματα, εφόσον η ψαλίδα με τα frontier θα ανοίγει συνεχώς, όσο efficient και να γίνουν, λόγω του ότι η νεότερη υποδομή επιτρέπει εκπαίδευση και inference μεγαλύτερων μοντέλων, όπως τα Mythos και Sol.

Θα μου πείς, χρειάζεσαι το Mythos για να κάνεις review ένα έγγραφο; Όχι.
 
Με τα 5,000€ του DGX, παίρνεις για ~4 χρόνια τη συνδρομή των 100€ σε OpenAI ή Anthropic και μπορείς να τρέχεις έναν agent με το μεσαίο τους μοντέλο για ~10 ώρες την ημέρα συνεχόμενα. Το οποιοδήποτε μεσαίο μοντέλο χωρίς μεγάλο thinking budget, θα είναι απείρως πιο ευφυές από ένα ανοιχτό των 100-150B παραμέτρων.

Οι δύο μοναδικές περιπτώσεις που στο μυαλό μου βγάζουν νόημα για on-premises υλοποίηση είναι η αδήριτη ανάγκη να κάνεις επεξεργασία δεδομένων σε κενό αέρος με τον υπόλοιπο κόσμο ή το να θέλεις να κάνεις fine-tune ένα μικρό μοντέλο για μια συγκεκριμένη διεργασία, χωρίς να πληρώσεις ποσά που δημιουργούν ίλιγγο σε κάποιον hypervisor.



Αυτή την εβδομάδα ασχολήθηκα λίγο περισσότερο με τα κόστη.
Το 2008 -με τις τότε τιμές ΗΠΑ, που δεν έχουν σχέση με τις σημερινές, το ίδρυμα Linux είχε κάνει μια έρευνα με το συνολικό εκτιμώμενο κόστος ανά γραμμή κώδικα του kernel, από τη σύλληψη, αρχιτεκτονική, γράψιμο, review, όλο το chain. Κατέληξαν στο ότι κόστιζε 103$ (160$ σημερινά) ανά γραμμή κώδικα.
Και πάμε στο σήμερα. Έστω πως έχεις έναν άνθρωπο που ξέρει τι του γίνεται και του δίνεις το Fable 5/Mythos, ότι ακριβότερο και μεγαλύτερο υπάρχει σήμερα. Στο σενάριο του να του βάλεις κάτι δύσκολο και να θέλει 10 thinking tokens για 1 output, θα κοστίζει 5.5$ ανά 1000 γραμμές κώδικα.

Δείτε ένα πραγματικό παράδειγμα υλοποίησης μεγάλης νέας λειτουργικότητας που έκανα εγώ και πέραν από τον κώδικα, παρήγαγε συνοδά έγγραφα κλπ. 4 ώρες συνεχόμενα λειτουργούσαν οι agents, 11 ώρες το όλο session εφόσον έτρεχε μετά από κάθε task και όλα τα integration tests. Βλέπετε 4 μοντέλα, εφόσον το βασικό (Fable 5) χρησιμοποιούσε διαφορετικό μοντέλο για κάθε sub-agent ανάλογα με το τι έκανε.

1784841340596.png
 
Θεωρητικά πάντα και έχοντας μία ομάδα seniors να σπάει τα task σε μικρά κομμάτια.
Αλλιώς με τον κώδικα που έχει ένας kernel το context πάει τόσο ψηλά που ένα hello world να γράψει θα καταναλώνει 100.000 tokens. :P
 
Πλέον το context που χρειάζεται να χτίσει, δεν το χρεώνει ως Input tokens αλλά ως cache write και το διαβάζει σε κάθε prompt από εκεί. Αυτό μόνο μειώνει δραματικά το κόστος.
Στο δικό μου παράδειγμα, έγραψε 6.7 εκ. tokens στη cache.
 
Εννοείς την τεχνική του να γράφει στη μνήμη του, σε αρχεία κλπ;
Αυτό θα δουλέψει (θεωρητικά) όταν δεν συνεχίζεις το ίδιο session.
Όπου εκεί έχεις την παθογένεια του Altzheimer.
 
Οι δύο μοναδικές περιπτώσεις που στο μυαλό μου βγάζουν νόημα για on-premises υλοποίηση είναι η αδήριτη ανάγκη να κάνεις επεξεργασία δεδομένων σε κενό αέρος με τον υπόλοιπο κόσμο ή το να θέλεις να κάνεις fine-tune ένα μικρό μοντέλο για μια συγκεκριμένη διεργασία, χωρίς να πληρώσεις ποσά που δημιουργούν ίλιγγο σε κάποιον hypervisor.

Εννοείται ότι on-prem λύσεις είναι μόνο για έρευνα ή για πολύ ειδικές ανάγκες.

Εμείς εδώ για αυτές τις δυο περιπτώσεις τις έχουμε.
 
Για σπίτι και όχι για εταιρία υπάρχουν και οι λύσεις των AMD Ryzen AI MAX+ 395/128GB τα οποία τρέχουν αξιοπρεπώς τα Qwen3.5-122B-A10B και gpt-oss-120b και είναι διαθέσιμα τώρα από ~3500 ευρώ, ενώ αναμένονται άμεσα και τα Ryzen AI Max+ PRO 495 με 192 GB με αναμενόμενο κόστος τον Σεπτέμβρη / Οκτώβρη στα ~5000 ευρώ.
Τα DGX Spark δείχνουν τα δόντια τους σε περιβάλλον γραφείου όταν τα χρησιμοποιούν παράλληλα περισσότεροι χρήστες αν και λόγω Arm είναι αρκετά ιδιαίτερα. Τα μηχανάκια με AMD τρέχουν και windows αν χρειαστεί εκτός από Linux και για έναν χρήστη είναι πιο ολοκληρωμένη λύση. Τα apple που επίσης προσφέρουν αρκετή μνήμη (128 GB) είναι πιο ακριβά και δεν προσφέρουν κάτι παραπάνω τουλάχιστον σε benchmarks.

Θέλω να στήσω κάτι τοπικό για τα συμβόλαια που πρακτικά απαγορεύουν τη χρήση δημόσιων εργαλείων. Αν γίνεται ο διαχωρισμός για private tenant μπορώ οριακά να τρέξω Copilot for Business, αλλά έχω και άλλα συμβόλαια που δεν μπορώ να ανεβάσω τίποτα πουθενά για επεξεργασία.

Επίσης όλα τα εργαλεία που χρησιμοποιώ τα τρέχω με μνήμες απενεργοποιημένες και όταν θέλω κάτι απλά βάζω τα chats σε κοινό folder να βλέπουν μόνο ότι θέλω εγώ. Στο codex είναι πιο εύκολα τα πράγματα, αλλά κάθε project έχει δικό του folder που δεν μπορεί να βγει από αυτό. Με τρώει καιρό τώρα να αρχίσω να κρατάω μνήμη του τι κάνω και λογικά θα είναι χρήσιμο για το μέλλον. Όμως personal assistant στο cloud δεν είμαι ακόμη άνετος να το κάνω. Αν προχωρήσω όμως σε αγορά ενός από τα παραπάνω, θα έχω αρκετή επεξεργαστική ισχύ offline για να ξεκινήσω και όπου βγει. Λογικά θα αρχίσω με κάποιο από τα Hindsight ή MemMachine και με κάποιο μοντέλο που θα τρέχω αποκλειστικά offline.

Και σε καμία περίπτωση δεν θα σταματήσω ούτε την Pro συνδρομή στην OpenAI, ούτε την συνδρομή στο copilot business.
 
Με τα 5,000€ του DGX, παίρνεις για ~4 χρόνια τη συνδρομή των 100€ σε OpenAI ή Anthropic και μπορείς να τρέχεις έναν agent με το μεσαίο τους μοντέλο για ~10 ώρες την ημέρα συνεχόμενα. Το οποιοδήποτε μεσαίο μοντέλο χωρίς μεγάλο thinking budget, θα είναι απείρως πιο ευφυές από ένα ανοιχτό των 100-150B παραμέτρων.

Οι δύο μοναδικές περιπτώσεις που στο μυαλό μου βγάζουν νόημα για on-premises υλοποίηση είναι η αδήριτη ανάγκη να κάνεις επεξεργασία δεδομένων σε κενό αέρος με τον υπόλοιπο κόσμο ή το να θέλεις να κάνεις fine-tune ένα μικρό μοντέλο για μια συγκεκριμένη διεργασία, χωρίς να πληρώσεις ποσά που δημιουργούν ίλιγγο σε κάποιον hypervisor.



Αυτή την εβδομάδα ασχολήθηκα λίγο περισσότερο με τα κόστη.
Το 2008 -με τις τότε τιμές ΗΠΑ, που δεν έχουν σχέση με τις σημερινές, το ίδρυμα Linux είχε κάνει μια έρευνα με το συνολικό εκτιμώμενο κόστος ανά γραμμή κώδικα του kernel, από τη σύλληψη, αρχιτεκτονική, γράψιμο, review, όλο το chain. Κατέληξαν στο ότι κόστιζε 103$ (160$ σημερινά) ανά γραμμή κώδικα.
Και πάμε στο σήμερα. Έστω πως έχεις έναν άνθρωπο που ξέρει τι του γίνεται και του δίνεις το Fable 5/Mythos, ότι ακριβότερο και μεγαλύτερο υπάρχει σήμερα. Στο σενάριο του να του βάλεις κάτι δύσκολο και να θέλει 10 thinking tokens για 1 output, θα κοστίζει 5.5$ ανά 1000 γραμμές κώδικα.

Δείτε ένα πραγματικό παράδειγμα υλοποίησης μεγάλης νέας λειτουργικότητας που έκανα εγώ και πέραν από τον κώδικα, παρήγαγε συνοδά έγγραφα κλπ. 4 ώρες συνεχόμενα λειτουργούσαν οι agents, 11 ώρες το όλο session εφόσον έτρεχε μετά από κάθε task και όλα τα integration tests. Βλέπετε 4 μοντέλα, εφόσον το βασικό (Fable 5) χρησιμοποιούσε διαφορετικό μοντέλο για κάθε sub-agent ανάλογα με το τι έκανε.

View attachment 274882
Τον διαχωρισμό των task μεταξύ των 4 μοντέλων που χρησιμοποίησε την αποφάσισες εσύ ή το Fable?
Επίσης σε enterprise περιβάλλον που δεν υπάρχει ζήτημα κόστους για 3ψήφια ποσά, από ότι έχω διαβάσει (και δεν έχω τεστάρει) δουλεύει πάρα πολύ καλά το review να γίνεται από μοντέλο άλλης εταιρίας, κοινώς ότι βγάζουν τα μοντέλα της Anthropic να περνάνε εξωτερικό review από το 5.6-Sol και ανάποδα ότι βγαίνει από OpenAI μεριά να ελέγχεται από το Fable.
 
Εννοείς την τεχνική του να γράφει στη μνήμη του, σε αρχεία κλπ;
Αυτό θα δουλέψει (θεωρητικά) όταν δεν συνεχίζεις το ίδιο session.
Όπου εκεί έχεις την παθογένεια του Altzheimer.

Μέχρι πριν από κάποιους μήνες το context λειτουργούσε ως εξής:
Έδινες το οποιοδήποτε prompt στον agent και ξεκινούσε να ψάχνει τα αρχεία του κώδικα, έκανε ένα search, διάβαζε ένα αρχείο ή μέρος αυτού, το έστελνε ως input tokens στο μοντέλο, όντας μέρος του prompt. Αυτό δημιουργούσε το πρόβλημα του να στέλνεις σε κάθε prompt είτε του χρήστη είτε του agent και όλο το context. Και 25.000 token να είναι αυτό (λίγο), εάν κάνει 50 μπρος-πίσω ο agent, είναι 1.25εκ. input tokens.

Πλέον, αυτό που κάνουν είναι να τα εναποθέτουν σε μια cache, η οποία έχει TTL 1 ώρα. Το context που περιέχει την πληροφορία λοιπόν πάει εκεί στη πρώτη αναζήτηση που κάνει ο agent, χρεώνεται ως cache write και μετά ως cache read σε κάθε prompt, με εξαιρετικά μικρότερο κόστος.

Για σπίτι και όχι για εταιρία υπάρχουν και οι λύσεις των AMD Ryzen AI MAX+ 395/128GB τα οποία τρέχουν αξιοπρεπώς τα Qwen3.5-122B-A10B και gpt-oss-120b και είναι διαθέσιμα τώρα από ~3500 ευρώ, ενώ αναμένονται άμεσα και τα Ryzen AI Max+ PRO 495 με 192 GB με αναμενόμενο κόστος τον Σεπτέμβρη / Οκτώβρη στα ~5000 ευρώ.

1784895532998.png

Το Google AI Studio σου δίνει δωρεάν 500 prompts/ημέρα για το Gemini 3.5 Flash Light και 14.400 prompts/ημέρα για το Gemma 4 31B, που είναι καλύτερο μοντέλο από το GPT-OSS-120B. Παίρνεις ένα API key και κάνεις την όποια δευτερεύουσα ή τριτεύουσα δουλειά θα έβαζες ένα μικρό μοντέλο να κάνει.

Το καταλαβαίνω πως είναι εξαιρετικά ευχάριστο να το στήσεις μόνος σου και να λειτουργεί, το έχω κάνει και εγώ, τη χρησιμότητα αναζητώ και δεν τη βρίσκω.

Τον διαχωρισμό των task μεταξύ των 4 μοντέλων που χρησιμοποίησε την αποφάσισες εσύ ή το Fable?
Επίσης σε enterprise περιβάλλον που δεν υπάρχει ζήτημα κόστους για 3ψήφια ποσά, από ότι έχω διαβάσει (και δεν έχω τεστάρει) δουλεύει πάρα πολύ καλά το review να γίνεται από μοντέλο άλλης εταιρίας, κοινώς ότι βγάζουν τα μοντέλα της Anthropic να περνάνε εξωτερικό review από το 5.6-Sol και ανάποδα ότι βγαίνει από OpenAI μεριά να ελέγχεται από το Fable.

Μόνο του.
Κρατάς στο κυρίως session το Fable και το έχεις να ενορχηστρώνει και να επιβεβαιώνει τη δουλειά που κάνουν οι sub-agents. Εάν όλοι οι sub-agents τρέχουν το Fable -γίνεται, κάνεις απίστευτη σπατάλη πόρων άνευ λόγου.

Για τα code reviews, όντως, μπορείς να τα περνάς από διαφορετικά μοντέλα, ωστόσο εκτός και εάν κάνεις αλχημείες με τον κώδικα, δεν χρειάζεται. Η δική μου ροή είναι, να γράψει το πλάνο του κάθε agent το Fable, να τρέξει τα αντίστοιχα integration tests ο ίδιος ο sub-agent (Opus) και να κάνει τις όποιες διορθώσεις μέχρι να περάσουν όλα, το Fable επαληθεύει τη δουλειά που έγινε από τον sub-agent και μετά κάνω security review στο Pull Request.

Είναι υπερβολικό και στη συντριπτική πλειοψηφία των περιπτώσεων δεν βρίσκει τίποτα. Πρακτικά, από την εποχή του Opus 4.6 (το 4.7 δεν μου άρεσε ως εκ τούτου δεν το χρησιμοποιούσα) και μετά, το θέμα development έχει λυθεί. Πολύ καλά αποτελέσματα παίρνεις και μετά το GPT 5.5, έστω πως κάποιος προτιμάει την λίγο πιο αυτόνομη συμπεριφορά του GPT, χωρίς τις ερωτήσεις όλη την ώρα κλπ.
 
Δεν το έγραψα ξεκάθαρα.
Πάω προς τα εκεί στο home-office μου για επαγγελματικούς λόγους (δουλεύω αποκλειστικά από το σπίτι). Όπως είπα δεν κόβω με τίποτα την Pro συνδρομή στην OpenAI. Αλλά δυστυχώς έχω συμβόλαια που δεν μπορώ να χρησιμοποιήσω ΑΙ στο internet, τόσο απόλυτα. Ταυτόχρονα αυτά τα συμβόλαια δεν βάζουν κανένα περιορισμό για το τι κάνεις σε δική σου υποδομή.
Για αυτά τα συμβόλαια θέλω την υποδομή στο σπίτι. Πχ μπορείς να έχεις ένα μοντέλο που να αναλύει εμπιστευτικά έγγραφα και να να ετοιμάζει prompts για κομμάτια δουλειάς που να μπορέις να τα δώσεις σε frontier μένοντας σύμφωνος με τους όρους εμπιστευτικότητας.
Όσο για το GPT-OSS-120B είναι αρκετά καλό στο να κάνει review κειμένων που έχεις ετοιμάσει με πχ το Qwen3.5-122B-A10B, έχει καλό reasoning. Επίσης το Qwen3.5-35B-A3B κονταροχτυπιέται με το Gemma 4 31B.