Τεχνητή Νοημοσύνη (AI). Τι είναι, τι ξέρουμε, τι αλλάζει στη ζωή και στον πολιτισμό;

εγω αξιολογω ενα μοντελο κυριως σε εναν κωδικα που ξερω γνωστα bugs . ποσο γρηγορα θα τα βρει, αν τα βρει, αν βρει αλλα που μου διαφευγουν ή απλα επινοει bugs και φυσικα την προσσεγγιση επιλυσης. Μεχρι στιγμης το μοντελο που με εχει εντυπωσιασει ειναι το Argon . Και ημουν φανατικος του Sol... Το hydrogen αρκετα γρηγορο αλλα οχι τοσο εμπιστοσυνης . Και τσουπ εσκασε χτες το Neon και καπου μπερδευτικε το πραγμα ....
 
Υπήρξαν πολλά αντιφατικά reviews τις τελευταίες ημέρες για τα Astra/Sol 6.2. Ένας από τους βασικούς λόγους είναι ότι η OpenAI είχε δώσει πρόσβαση σε influencers εδώ και πολύ καιρό, είχαν ετοιμάσει τα βίντεο, αλλά δεν τους ενημέρωσε εγκαίρως πότε θα το βγάλουν και επίσης έκαναν αρκετές αλλαγές τις τελευταίες 3-4 ημέρες (όπως επίσημα είπε) που βελτίωσαν την κατάσταση. Έτσι από τα χάλια αρχικά σχόλια, περάσαμε στο ότι είναι αρκετά ως πολύ καλά μοντέλα.

Εγώ είμαι πολύ χαρούμενος από τον τρόπο που δουλεύουν. Τώρα τρέχω το μεγαλύτερο τασκ που τα έχω βάλει να κάνουν, να μου στήσουν sandbox για το harness του local model. Έχω σε ένα chat to Astra 6.2 που συζητήσαμε για το σχεδιασμό και μετά του είπα απλά να κάνει το Orchestration σε άλλα chat με το Sol 6.2 και να βάλει ένα goal να το περάσει στο production. Τρέχει ήδη 3 ώρες και το βασικό είναι ότι το usage meter έχει κουνηθεί ελάχιστα. Γιατί από τη μία το να ανοίξεις sub-agents με επιλογή Ultra σου κατεβάζει το usage με τη μία, αλλά το να χωρίσεις τη δουλειά σε πολλά παράλληλα chat (που στην πράξη είναι το ίδιο πράγμα με διαφορετική υλοποίηση) χωρίς να φοβάσαι για το usage. Αυτό το κάνουν καιρό αρκετοί με το Claude Code με το Fable σαν orchestrator και τότε το Sol 6.1 να τρέχει την πολύ δουλειά.

Πάντως καταλλήγοντας, το παρακάτω screenshot δείχνει την πραγματικότητα:
1795188343318.png

Το Fable έχει φτιάξει το καλύτερο βίντεο με διαφορά. Όμως το Fable κόστισε 209.50 δολάρια με το Astra sta 9.62....
Tο Astra με υποπολλαπλάσιο κόστος (μόλις το 4%) και υποπολλαπλάσιο χρόνο (25% του χρόνου) έβγαλε κάτι λίγο χειρότερο...Αν θες το απόλυτο περιμένεις και πληρώνεις...
Καλά το Sol είναι το άλλο άκρο...έβγαλε κάτι απλά αποδεκτό (καλά πολύ καλύτερο από ότι έβγαζε οποιοδήποτε μοντέλο 3 μήνες πίσω) με το 1% του κόστους και μόλις 16% του χρόνου.

Βέβαια εγώ αναρωτιέμαι, αν μπορούσε κάποιος να ζητήσει στο Astra να δουλέψει για 3 ώρες αντί για 46 λεπτά αν το αποτέλεσμα θα ήταν πιο κοντά σε αυτό του Fable.

Σε κάθε περίπτωση αυτό που ακόμη δεν έχουμε είναι αξιόπιστη επιλογή από ένα έξυπνο μοντέλο φθηνότερων λιγότερο έξυπνων μοντέλων για ολοκλήρωση μέρους ενός μεγάλου τασκ.
 
Δεν είναι εκεί το θέμα του.
Σε 3D είναι εξαιρετικό μοντέλο, στο frontier.

Σήμερα το πρωί το χρησιμοποίησα λίγο από το AWS, το έβαλα σε 2 codebases κάποιων open side-projects της δουλειάς.
Το πρόβλημα του είναι στον τρόπο που επικοινωνεί σε βαριά τεχνικά θέματα. Στα καλά του καθουμένου, σε ρωτάει κάτι από τη δομή σκέψης του. Το οποίο όμως πραγματικά σε "στέλνει". Και πρέπει να κάνεις follow up να καταλάβεις τι ρωτάει. Και αφού καταλάβεις με τα χίλια ζόρια, βρίσκεσαι να σκέφτεσαι "μα καλά τι με ρωτάει;".

Δείτε ένα πραγματικό παράδειγμα, τι σταμάτησε και ρώτησε χρήστη:

"does r24's reviewer write it's clips to 24_g521.mp4 or 24_p11.mp4?"

Αυτά στο development κυρίως και σε βαριά agentic tasks. Εκεί είναι το θέμα του. Σε συζήτηση "γενικών γνώσεων", computer use κλπ, είναι πάλι εξαιρετικό, frontier, δεν του λείπει τίποτα.

Το ίδιο το έπαθε σε ένα βαθμό η Anthropic με το Opus 5. Πολύ έξυπνο μοντέλο, αλλά σου αράδιαζε 12 παραγράφους, με τα μισά να μη βγάζουν νόημα σε σημείο να μην θέλεις να το επιλέγεις.



Και πάμε τώρα στο απρόσμενο outlier.
Το Gemini 4 Neon είναι εξαιρετικό σε agentic tasks. Είναι περίπου σαν να χρησιμοποιείς το Opus, το οποίο είναι μάλλον το καλύτερο κομπλιμέντο που μπορείς να κάνεις σε μοντέλο αυτή τη στιγμή.

Το flagship τους, Gemini 4 Carbon, ενώ επίσης εξαιρετικά έξυπνο, έχει άλλα προβλήματα.
Κάθε φορά που αποφασίζει να επικαλεστεί ένα "εργαλείο", του παίρνει 6-7 δευτερόλεπτα. Είναι απίστευτα αργό και στο χρόνο μέχρι το πρώτο token αλλά και στο decode.
Το πρόβλημα βέβαια δεν είναι μόνο στην ανάπτυξη αλλά σε κάθε χρήση. Θα το πρότεινα μόνο για tasks που μπορούν να περιμένουν ή να τρέχουν στο background και να ασχοληθείς όταν τελειώσουν.

Η ομάδα του cyber μου είπε ότι βρήκε ορισμένες πιθανές ευπάθειες που το Mythos δεν τις βρήκε.