Νέο Benchmark το οποίο στοχεύει να είναι πιο αντιπροσωπευτικό και να ξεφύγει από τα θεματάκια που έχουν τα περισσότερα benchmarks. Οι ίδιοι λένε ότι τα χαρακτηριστικά που τα κάνουν να διαφέρει είναι τα ακόλουθα:
- Χωρίς επιμόλυνση: Οι εργασίες γράφονται από την αρχή, δεν προσαρμόζονται από υπάρχοντα commits ή PRs (Pull Requests), επομένως κανένα μοντέλο δεν έχει δει τη λύση κατά τη διάρκεια της προεκπαίδευσης. (Σχόλιο - πολλά benchmarks ουσιαστικά βάζουν τεστ που βασίζονται σε open source προγράμματα που το πιο πιθανό να έχουν χρησιμοποιηθεί τα δεδομένα στο training).
- Υψηλή ποικιλομορφία: Οι εργασίες καλύπτουν μια ευρεία δεξαμενή 91 αποθετηρίων (repositories) σε 5 γλώσσες προγραμματισμού. (Σχόλιο - όσο και αν θέλουν να μας κάνουν να πιστέψουμε πως όλα είναι Python, απλά δεν είναι)
- Πολυπλοκότητα πραγματικού κόσμου: Οι προτροπές (prompts) έχουν το μισό μήκος από εκείνες του SWE-bench Pro, ωστόσο οι λύσεις απαιτούν 5,5 φορές περισσότερο κώδικα και ~2 φορές περισσότερα tokens εξόδου. (Σχόλιο - όλοι ξέρουμε ότι όλα τα μοντέλα έχουν καλύτερη απόδοση αν δώσεις τρελό context και τρομερά αναλυτικές οδηγίες / δεν είναι όμως έτσι στην πράξη)
- Αξιόπιστη επαλήθευση: Οι μηχανισμοί επαλήθευσης (verifiers) γράφονται στο χέρι για να ελέγχουν τη συμπεριφορά του λογισμικού, παρά τις λεπτομέρειες της υλοποίησης. (Σχόλιο - αυτό έπρεπε να το κάνουν όλα τα benchmarks)
Τα αποτελέσματα:
View attachment 272372
DeepSWE measures frontier coding agents on original, long-horizon software engineering tasks.
deepswe.datacurve.ai
Να πω την αλήθεια είναι το πρώτο Benchmark που δηλώνει εμφατικά αυτό που ένιωθα, ότι το 5.5 είναι ξεκάθαρα το καλύτερο μοντέλο σήμερα. Το πρώτο σημάδι που είχαμε είναι ότι το 5.5 για cybersecurity σκόραρε ψιλότερα από το Claude Mythos στον τομέα αυτό που το Mythos λανσαρίστηκε ως εξωφρενικά μπροστά από τα υπόλοιπα μοντέλα. Πιστέυω ότι το Mythos είναι το μοντέλο που είναι εφάμιλλο με το 5.5. Και επίσης μετά και από αυτό πιστεύω ότι ήταν και αρκετά communication driven το να ανακοινώσουν το Mythos, αλλά να μην το βγάλουν στον κόσμο γιατί απλά δεν έχει η Anthropic την υπολογιστική υποδομη για να το τρέξει.
Σημειώνω ότι στις μπάρες δεν υπάρχει το 5.5 Pro που είναι κανονικά ο ανταγωνιστής του Opus 4.7 Max.
Απίστευτο, αλλά ταυτόχρονα συμβατό με το πως νιώθω το Gemini 3.1 Pro σε σχέση με το Gemini 3.5 flash...
Καταλήγοντας, οι διαφορές όσες και να είναι, είναι στην πράξη τέτοιες που στις περισσότερες τυπικές δουλειές γραφείου δεν θα μπορεί κάποιος να τις ξεχωρίσει. Ταυτόχρονα είμαι σίγουρος ότι κάποιος που ξέρει, μπορεί να στήσει ένα πολυπρακτορικό εργαλείο που να έχει σε ένα τυπικό τασκ γραφείου το ίδιο αποτέλεσμα, ενώ χρησιμοποιεί ακόμη και το gemini 3.5 flash που είναι και φθηνό και γρήγορο. Όσο για τον προγραμματισμό το πάμθηνο Composer 2.5 μπορεί να καλύψει τα περισσότερα (αν όχι όλα) καθημερινά.
Όπως είπα και πιο πάνω, το επόμενο μεγάλο εμπόδιο είναι πως ο μέσος χρήστης θα μπορεί να στήνει πολυπρακτορικά workflows χωρίς να ξέρει τι είναι αυτά. Και για αυτό μου αρέσει αυτό το Benchmark μιας και στοχεύει σε όχι τέλεια Prompt με όχι τεράστιο context και άρα είναι πιο αντιπροσωπευτικό για το μέσο χρήστη.
