Τεχνητή Νοημοσύνη (AI). Τι είναι, τι ξέρουμε, τι αλλάζει στη ζωή και στον πολιτισμό;

[Γιώργος Κυριακαράκος]

Μήπως να κάνουμε ένα ξεχωριστό νήμα που να αφορά μόνο τα local μοντέλα; Νομίζω θα είχε ενδιαφέρον..

Μόλις έγινε!

 

[Γιώργος Κυριακαράκος]

Τον Φλεβάρη o CEO της Microsoft Satya Nadella προσομοίωσε το openclaw με ιό. Πριν από λίγες ημέρες η Microsoft έβγαλε στο κοινό το Autopilot. Το οποίο είναι βασισμένο στο Openclaw.
Μια χαρά!

Microsoft Autopilot is built on OpenClaw. The contributions go both ways. - OpenClaw Blog

From policy conformance and native Windows support to more reliable everyday interactions, Microsoft contributors are helping build OpenClaw for everyone.

openclaw.ai

Το μόνο Copilot προϊόν που χρησιμοποιώ και είναι τέλειο είναι το semantic search στα windows, το οποίο στην πράξη τρέχει τοπικά. Όλα τα υπόλοιπα τα χρησιμοποιώ μόνο εκεί που μου απαγορεύεται να χρησιμοποιήσω το ChatGPT. Φυσικά μόλις ενεργοποιηθεί στο λογαριασμό μου θα το χρησιμοποιήσω. Βάζω στοίχημα ότι θα είναι καλύτερο από το copilot όπως έχει ενσωματωθεί στο Word/Excel/Outlook...

 

[anderm]

Αύξησαν τη ταχύτητα του decode στις συνδρομές, όταν πρωτο-κυκλοφόρησε το 6.1 Sol ήταν δραματικά αργό, διπλασίασαν μια φορά το decode στα 30tok/sec και τώρα θα πάει στα 50tok/sec.

Στα LLM, η ταχύτητα decode εξαρτάται κυρίως από το "concurrency". Πόσα sessions εξυπηρετεί ταυτόχρονα το κάθε νοητό υποσύνολο της υποδομής. Όσους λιγότερους χρήστες βάζεις, τόσο μεγαλύτερη η ταχύτητα μέχρι περίπου τα ~250tok/sec.

 

[anderm]

Η semianalysis δημοσίευσε επικαιροποιημένο άρθρο-ανάλυση σχετικά με τις συνδρομές των OpenAI-Anthropic και την ενσωματωμένη χρήση.

Anthropic Subscriptions Offer 5x+ More Value Than OpenAI

Limit testing every AI subscription plan from Anthropic, OpenAI, Meta, SpaceXSI, MiniMax, Moonshot, Z.ai, Cursor, and Cognition

newsletter.semianalysis.com

 

[Tzimisce]

Πως ακριβώς τα μέτρησαν αυτά;
1) Το fable 5.1 δουλεύει μόνο με credits, οπότε είναι 1:1
2) Και σε api χρησιμοποιείται cache. Αν ξέρεις να γράψεις, το harness του είναι όλο cached και μπορεί να του στέλνεις 100k και τα 99k να είναι cached.
3) Σε συνδρομή, το χρησιμοποιήσεις δεν το χρησιμοποιήσεις, θα την πληρώσεις.

Δεν είναι χαζοί. Μόνο λεφτά δεν θέλουν να χάσουν.

 

[anderm]

Το Fable περιλαμβάνεται στις Claude Max συνδρομές αλλά μέχρι το 50% της εβδομαδιαίας χρήσης.
Και μέσω του API χρησιμοποιείται η cache, προφανώς, αλλά στο API δεν είναι δωρεάν και έχει άλλο TTL. Στις συνδρομές "χρεώνεται" μόνο ένα μέρος του cache write, τα reads δεν υπολογίζονται στη χρήση και έχει TTL 1 ώρας αντί για τα 5 λεπτά που είναι το προεπιλεγμένο στο API.

Επειδή κάνουμε χρήση και από το Bedrock της AWS, το κόστος του API είναι σουρεαλιστικά μεγαλύτερο. Τα 100-200$ της συνδρομής είναι 1 ώρα χρήσης στο API.

 

[Tzimisce]

Για αυτό εκτός από τα ΑΙ χρειάζονται harness και οι "προγραμματιστές"...

 

[anderm]

Καλά δεν είναι υπερβολικό.
Για αρχή δεν χρειάζεται να χρησιμοποιήσει κανείς το Fable με πολλούς sub-agents κλπ. Το Opus 5.5 είναι αντίστοιχα καλό αν όχι καλύτερο στο 1/3 του κόστους.

Αλλά για να το δούμε λίγο.
Σε 1 ώρα, το Opus θέλει περίπου 30-40$ σε κόστη API. Για να δουλεύει επί μια ώρα με sub-agents Κλπ, σημαίνει πως το έχεις βάλει να κάνει βαρβάτο implementation.
Αυτό το βαρβάτο implementation που θα κάνει σε 1 ώρα, 2-3 developers με το σκερπάνι, πρέπει να δουλεύουν 3-4 μέρες για να το βγάλουν και αυτό αν είναι καλοί. Στις περισσότερες των περιπτώσεων σε 3 μέρες άντε να έχεις το spec γραμμένο.

Ένα γρήγορο cybersecurity sweep σε ένα module που έτρεξα εγώ το πρωί:



Για ~11 λεπτά ενεργής χρήσης του Mythos (σε 30 λεπτά session), μας κόστισε 8.5$
Δεν το θεωρώ κακή περίπτωση.

 

[anderm]

Νέο μεγάλο μοντέλο από την Ευρωπαϊκή Mistral -η οποία είχε χαθεί.

Mistral has released Mistral Large 4, scoring 38 on the Artificial Analysis Intelligence Index; France is back to having the most intelligent model from outside the US and China
@MistralAI
has released Mistral Large 4 in Research Public Preview, with plans to release the weights of the 1T parameter (49B active) model at the end of October. It achieves 38 on the Artificial Analysis Intelligence Index, comparable to GPT-6 Luna (max, 38) and DeepSeek V4.1 Flash (max, 39). It also achieves 50% on the Artificial Analysis Cyber Index, level with GLM-5.3-Flash and ahead of models such as Kimi K3 and DeepSeek V4.1 Flash (max).Key benchmarking results for Mistral Large 4 Preview:
➤ Most intelligent model from outside the US and China: Mistral Large 4 Preview scores 38 on the Intelligence Index, comparable to DeepSeek V4.1 Flash (max, 39) and GPT-6 Luna (max, 38). This makes it the most intelligent model from outside the US and China, ahead of countries such as South Korea and the United Arab Emirates
➤ Level with GLM-5.3-Flash on cyber defense capability: Mistral Large 4 Preview scores 50 on the Artificial Analysis Cyber Index, level with GLM-5.3-Flash (50) and behind MiMo-V2.6-Pro (56). Once its weights are released, it will rank among the top three open weights models on the Cyber Index. Its strongest result is on CyberGym-E2E-AA, where it scores 82%, ahead of MiMo-V2.6-Pro (79%) and GPT-6 Luna (max, 78%)
➤ Over 4x the Cost per Task of similar-intelligence open weights models: Mistral Large 4 Preview costs $1.13 per Intelligence Index task with standard pricing of $1.36/$4.18 per 1M input/output tokens, with $0.14 per 1M cached input tokens. For the first two weeks, Mistral Large 4 Preview will be served at a 50% launch discount, bringing its Cost per Task down to $0.57. This is still more costly than GLM-5.3-Flash ($0.25) and DeepSeek V4.1 Flash (max, $0.27)
➤ Strong document and image reasoning: Mistral Large 4 Preview scores 19% on GDP.pdf, on par with MiMo-V2.6-Pro (19%) and behind Kimi K3 (22%). This is an 18-point improvement from Mistral Large 3, partly driven by improvements in their API, which now accepts 100 images per request, up from 8 for previous Mistral modelsKey model details:
➤ Context Window: 512k tokens
➤ Multimodality: Text and image input, with text output
➤ Pricing: $1.36/$4.18 per 1M input/output tokens ($0.14 per 1M cached input tokens), with 50% off for the first two weeks ($0.68/$2.09
➤ Availability: Research Public Preview on Mistral's API, with open weights planned for the end of October

Σημειώστε πως εκπαιδεύτηκε σε 4000 Nvidia Blackwell GPUs, ενώ το GPT-6 Astra σε 100.000
Αναλογικά με την υποδομή που είχαν, έκαναν μια χαρά δουλειά.

Για να έχουμε μια τάξη μεγέθους, στα Benchmarks είναι στο επίπεδο του GPT 5.4 το οποίο πριν από λίγους μήνες ήταν frontier.

Όλα τα benchmarks: