Τεχνητή Νοημοσύνη (AI). Τι είναι, τι ξέρουμε, τι αλλάζει στη ζωή και στον πολιτισμό;

Μπορεί να στο απαντήσει αυτό, ένα deterministic μοντέλο. Το πρόβλημα είναι πως θα είναι περιορισμένης χρήσης.
Τα μεγάλα, frontier μοντέλα είναι όλα τους non-deterministic. Από τη φύση τους, λειτουργούν με προβλέψεις. Όταν συγκρίνουμε μοντέλα μεταξύ τους, επί της ουσίας συγκρίνουμε την ακρίβεια των προβλέψεων τους. Επειδή να έχουν εκπαιδευτεί στα πάντα, με τους φυσικούς και οικονομικούς περιορισμούς που υπάρχουν, δεν γίνεται, σήμερα έχουμε Mode-of-Experts μοντέλα, τα οποία χρησιμοποιούν πρόσβαση σε εργαλεία όπως τις μηχανές αναζήτησης για να απαντήσουν με μεγαλύτερη ακρίβεια.
Αντρέα, τι ακριβώς μου λες τώρα; Ότι τα μεγάλα μη αιτιοκρατικά (non deterministic) μοντελα είναι Παντογνώστες και γι' αυτό δεν μπορούν να απαντήσουν "Δεν ξερω!" ???

Και για να'χουμε καλό 'ρώτημα εσύ κι' εγώ τι είδους μοντέλα είμαστε;
Deterministic ή Non Deterministic?
 
Είναι λογικό να μην λέει κάθε τρεις και λίγο "Δεν ξέρω". Γιατί πολύ απλά έχει πρόσβαση στο τι ξέρει η ανθρωπότητα, ειδικά για τα μοντέλα που μπορούν να ψάχνουν στο διαδίκτυο.
Σίγουρα μετράει και το prompt, σε συνδυασμό πάντα με τις custom οδηγίες που φορτώνουμε για όλες τις απαντήσεις που θα δώσει.
Παραδείγματα από ChatGPT 5.1 Thinking:
1. Do you know what happened before the big bang?
We do not know with confidence what happened “before” the Big Bang, and it is entirely possible that the question is ill-posed because time itself may be an emergent property that only becomes meaningful after some earliest physical regime.
A careful way to frame...
και μετά αναφέρει διάφορες επιστημονικές θεωρίες που προφανώς λέει ότι καμία δεν είναι επιβεβαιωμένη.
2. Do you know what exists after the event horizon of a black hole?
We do not know empirically what “exists” after the event horizon in the strong, literal sense, because by definition no signal from inside the horizon can influence an outside observer. In that limited but crucial epistemic sense, the interior is a sealed chapter in the book of the universe as read from infinity. That said, we do have a disciplined hierarchy of models. Each tells a different ....
και αναφέρει πάλι με πηγές επιστημονικές εργασίας.
3. Ξέρεις ποιος ήταν ο διπλανός μου στη δευτέρα δημοτικού;
Όχι, αυτό δεν μπορώ να το ξέρω.
Αλλά μπορώ να σε βοηθήσω να το θυμηθείς με μικρά “άγκιστρα” μνήμης...
μετά δίνει βοήθεια για να μπορέσω να τον ανακαλέσω.

Προφανώς και λέει δεν ξέρω εκεί που δεν ξέρει.
Αλλά γιατί να πει δεν ξέρω εκεί που ξέρει τόσα όσα άνθρωποι με διδακτορικό στον τομέα αυτό.
 
Last edited:
  • Like
Reactions: anderm
Ο τονισμός της πρότασης δικός μου.

Δηλαδή όλα τα παραπάνω δεν είναι έμμεσοι τρόποι για δημιουργία ζήτησης;
Αντιλαμβάνεσαι ότι η πρώτη (τονισμένη) πρόταση βρίσκεται σε αντίφαση με το υπόλοιπο σκεπτικό σου;
Συλλογίσου το λιγάκι...

Το ότι έχει rate limit το API είναι έμμεσος τρόπος δημιουργίας ζήτησης; Όχι.
Να περάσουμε από το θεωρητικό στο πρακτικό και πραγματικό παράδειγμα:

Χρησιμοποιείς το API του Claude για ένα εσωτερικό εργαλείο που έφτιαξες και κάνει security review σε κομμάτια κώδικα των εφαρμογών της εταιρίας. Είσαι ευχαριστημένος και από εκεί που είχες μια περιορισμένη χρήση, αποφασίζεις ως εταιρία, επειδή εσύ βλέπεις value, να επεκτείνεις τη χρήση στο σύνολο των custom εφαρμογών που έχει η εταιρία. Επειδή συνεχίζεις να είσαι ευχαριστημένος, πέραν από το security review, επεκτείνεις το εργαλείο να κάνει και logic review.

Χρησιμοποιούσες 20δις token το τρίμηνο και καταλήγεις να χρησιμοποιείς 200δις token/τρίμηνο. Εσύ ως εταιρία χρεώνεσαι με τα token που χρησιμοποίησες. Η εταιρία που τρέχει το μοντέλο, για τη δική σου χρήση από εκεί που δέσμευε σε ένα cluster 64 DGX H200 των 30 εκατομμυρίων 5 μέρες 24/7 ξαφνικά χρειάζεται να το δεσμεύσει για 1,5 μήνα στα 200B token, ενώ απαιτείται ο ίδιος χρόνος με 2 φετινά συστήματα GB300 NV72 των 4εκ. έκαστο. Για αυτό και η φρενήρης επένδυση σε υποδομές.

Αντρέα, τι ακριβώς μου λες τώρα; Ότι τα μεγάλα μη αιτιοκρατικά (non deterministic) μοντελα είναι Παντογνώστες και γι' αυτό δεν μπορούν να απαντήσουν "Δεν ξερω!" ???

Και για να'χουμε καλό 'ρώτημα εσύ κι' εγώ τι είδους μοντέλα είμαστε;
Deterministic ή Non Deterministic?

Εγώ δεν σου έδωσα τίποτα περισσότερο από τον ορισμό του τι είναι αυτό που χρησιμοποιείς και γιατί δεν σου απαντάει "δεν ξέρω" για πράγματα γνωστά.
Εάν θέλεις να σου απαντάει "δεν ξέρω", χρησιμοποιείς κάτι άλλο, που επίσης υπάρχει και είναι προσανατολισμένο για αυτή τη δουλειά.
 
Έτοιμο και το πρώτο proof of concept για ΑΙ datacenter στο διάστημα...1 επεξεργαστής τώρα, οκ, αλλά δουλεύει...


Άντε να μετακομίζουν στο διάστημα σιγά σιγά, γιατί εκεί που τόσα χρόνια προσπαθούσαμε να ρίξουμε τις καταναλώσεις ενέργειας, και το είχαμε καταφέρει σε έναν βαθμό, ήρθε το AI και ξαφνικά έγινε ok το να διπλασιαστεί η κατανάλωση ρεύματος από τα datacenters μέσα σε λίγα χρόνια.
 
  • Like
Reactions: Tzimisce
Σήμερα βγήκε η νέα έκδοση το ChatGPT 5.2
Προφανώς η OpenAI πήρε πάλι την κορυφή σε όλα τα benchmarks.
Αλλά αυτό που κέντρισε σε μένα το ενδιαφέρον ήταν στο κόστος (και συνεπακόλουθα στην ενεργειακή κατανάλωση).
Πριν 1 μόνο χρόνο σε συγκεκριμένο benchmark (ARC-AGI-1), το τότε μοντέλο ο3 έβγαλε ένα σκορ 88%, αυτό που βγήκε σήμερα έχει 90.5%. Ως εδώ τίποτα ενδιαφέρον.
Όμως το ο3 για να βγάλει αυτό το σκορ κόστισε 4500 δολάρια ανά τασκ. Το καινούργιο κόστισε 11.64 δολάρια ανά τακ. Αυτό είναι συνταρακτικό το λίγότερο.

Επίσης έχουν βελτιωθεί σημαντικά τα αρχεία που προετοιμάζει σε excel και powerpoint που τώρα πια έχουν πολύ πιο όμορφο formatting.
 
Άντε να μετακομίζουν στο διάστημα σιγά σιγά, γιατί εκεί που τόσα χρόνια προσπαθούσαμε να ρίξουμε τις καταναλώσεις ενέργειας, και το είχαμε καταφέρει σε έναν βαθμό, ήρθε το AI και ξαφνικά έγινε ok το να διπλασιαστεί η κατανάλωση ρεύματος από τα datacenters μέσα σε λίγα χρόνια.

Μακάρι να ήταν διπλάσια η κατανάλωση.
Από τα 15KW του μέσου compute rack ενός μέσου hyperscaler και τα 25-30KW σε πιο dense config είμαστε στα 150KW ανά rack στα νεότερα accelerated συστήματα.
 
Η επόμενη γενιά της nvidia όσον αφορά τα ολοκληρωμένα συστήματα full rack έχει τετραπλάσιο density σε σχέση με τα NVL72.
Από τα 150KW, στα 600 για το NVL576. Πλέον πάνε σε λογική "bring your own grid".


1765538823912.png

Edit: Λάθος, είναι πάνω από 4 φορές το density του NVL72 εφόσον έχουν ενσωματώσει τα δικτυακά spacers.
Θα το υπολογίσω και θα επανέλθω.
 
Last edited:
.... Πλέον πάνε σε λογική "bring your own grid"...
Αυτό είναι το μεγάλο πρόβλημα. Ο Τραμπ με το να απαγορεύει στις Πολιτείες να έχουν δικό τους ρυθμιστικό πλαίσιο επιτρέπει ουσιαστικά την άγρια δύση όπως γίνεται τώρα στο data center του Μασκ με τους αεριοστροβίλους που δεν έχουν άδεια και παράνομα δεν έχουν καν τα προβλεπόμενα φίλτρα από την ομοσπονδιακή νομοθεσία.
Το θέμα είναι πως θα διασφαλίσεις ότι και τα δίκτυα θα έχουν ένα net benefit (έστω και λίγο πάνω από το μηδέν) και ότι δεν θα ξεφύγουν.
Από μια πρόσφατη δημοσιευμένη εργασία μου κοιτάξτε πως αναμένεται να ανέβει η κατανάλωση για το ΑΙ μέχρι το 2035.
1765545519924.png
Πηγή: https://www.mdpi.com/2071-1050/17/21/9444
Αν δε τα σενάρια για τα ρομπότ από Μασκ και λοιπούς γίνουν πραγματικότητα, κλάφτα...άλλη μια φορά η συνολική κατανάλωση των ΗΠΑ.
 
Edit: Λάθος, είναι πάνω από 4 φορές το density του NVL72 εφόσον έχουν ενσωματώσει τα δικτυακά spacers.
Θα το υπολογίσω και θα επανέλθω.

Πάμε από 72 GPU και 36 CPU σε 576 GPU (4 pod x 18 blades x 8 GPU), όντως στα 600KW/rack, 800V DC.
10.7x σε επιδόσεις, από 1.4 Exaflops στο GB300 NVL72 σε 15 στο NVL576.
30% πιο efficient, 25PFLOPS/kW έναντι 19.4.

Υπολογίστε το αυτό x5000-6000 rack που έχει ένα μέσο datacenter κάποιου hyperscaler, έστω ότι το έστηνε αποκλειστικά για AI workloads.

Εντυπωσιακό πως για να ψύξεις τα 600KW χρειάζεται flow rate στην υδρόψυξη στα 860 λίτρα το λεπτό. Και κάπου εκεί φτάνουμε τα φυσικά όρια του τι είναι εφικτό αυτή τη στιγμή. Θα μου κάνει τρομερή εντύπωση να δούμε σπουδαία αύξηση στο density τα επόμενα χρόνια.

Αυτό είναι το μεγάλο πρόβλημα. Ο Τραμπ με το να απαγορεύει στις Πολιτείες να έχουν δικό τους ρυθμιστικό πλαίσιο επιτρέπει ουσιαστικά την άγρια δύση όπως γίνεται τώρα στο data center του Μασκ με τους αεριοστροβίλους που δεν έχουν άδεια και παράνομα δεν έχουν καν τα προβλεπόμενα φίλτρα από την ομοσπονδιακή νομοθεσία.
Το θέμα είναι πως θα διασφαλίσεις ότι και τα δίκτυα θα έχουν ένα net benefit (έστω και λίγο πάνω από το μηδέν) και ότι δεν θα ξεφύγουν.
Από μια πρόσφατη δημοσιευμένη εργασία μου κοιτάξτε πως αναμένεται να ανέβει η κατανάλωση για το ΑΙ μέχρι το 2035.

Ίσως μπορέσει να λυθεί με τους SMR (μικρά πυρηνικά) το πρόβλημα. 300MW-1GW εύκολα καλύπτεται.
Σήμερα, σε ορισμένες περιπτώσεις έχουμε και οριακά Net zero datacenters. Κάποια δικά μου services στο GCP, έχω επιλέξει να τα τρέχω στη Στοκχόλμη, αποκλειστικά λόγω αυτού.
 
Ίσως μπορέσει να λυθεί με τους SMR (μικρά πυρηνικά) το πρόβλημα. 300MW-1GW εύκολα καλύπτεται.
Σήμερα, σε ορισμένες περιπτώσεις έχουμε και οριακά Net zero datacenters. Κάποια δικά μου services στο GCP, έχω επιλέξει να τα τρέχω στη Στοκχόλμη, αποκλειστικά λόγω αυτού.
Είμαι αντίθετος στους μικρούς πυρηνικούς...αν τα βάλεις όλα κάτω κοστίζουν πολύ περισσότερο, απλά έχουν το τεράστιο πλεονέκτημα ότι είναι net-zero και δεν θέλουν χώρο.

Έχω βρεθεί τις τελευταίες ημέρες με ένα σωρό συνδρομές σε εργαλεία μόνο και μόνο για να είμαι GDPR compliant στη δουλειά μου και ως συνέπεια τρέχω τα πάντα εντός ΕΕ (εκτός από το Gemini που είναι προσωπική συνδρομή και δεν μου λέει που τρέχει).
 
Είμαι αντίθετος στους μικρούς πυρηνικούς...αν τα βάλεις όλα κάτω κοστίζουν πολύ περισσότερο, απλά έχουν το τεράστιο πλεονέκτημα ότι είναι net-zero και δεν θέλουν χώρο.

Το μεγάλο συν τους είναι πως για το δίκτυο ηλεκτρισμού θεωρούνται "καύσιμο" βάσης, έστω πως μπούν στο grid.
Για τα datacenter, εκτός και εάν τα κάνεις στη μέση του πουθενά, "bring your own grid" απλά δεν γίνεται. Στην Ελλάδα λ.χ. που έχουμε και αυξημένο ηλιακό δυναμικό, εάν φτιάξει κανείς 500MW datacenter στην Αττική, που θα βάλει 500+MW φωτοβολταϊκό + αποθήκευση; Σημ. πως για 500MW εγκατεστημένης ισχύος, απαιτούνται ~7 τετραγωνικά χιλιόμετρα φωτοβολταϊκού (το μέγεθος του Ελληνικού περίπου) και για μέση παραγόμενη ισχύ 500MW, 35 τετραγωνικά χιλιόμετρα φωτοβολταϊκό (~2 φορές η έκταση του αεροδρομίου στα Σπάτα).
 
Last edited:
Το μεγάλο συν τους είναι πως για το δίκτυο ηλεκτρισμού θεωρούνται "καύσιμο" βάσης, έστω πως μπούν στο grid.
Για τα datacenter, εκτός και εάν τα κάνεις στη μέση του πουθενά, "bring your own grid" απλά δεν γίνεται. Στην Ελλάδα λ.χ. που έχουμε και αυξημένο ηλιακό δυναμικό, εάν φτιάξει κανείς 500MW datacenter στην Αττική, που θα βάλει 500+MW φωτοβολταϊκό + αποθήκευση; Σημ. πως για 500MW εγκατεστημένης ισχύος, απαιτούνται ~7 τετραγωνικά χιλιόμετρα φωτοβολταϊκού (το μέγεθος του Ελληνικού περίπου) και για μέση παραγόμενη ισχύ 500MW, 35 τετραγωνικά χιλιόμετρα φωτοβολταϊκό (~2 φορές η έκταση του αεροδρομίου στα Σπάτα).
Με αυτή την κουβέντα γίνεται ξεκάθαρο γιατί στοχεύουν στο διάστημα...
Πάντως σε δυτικές χώρες έχεις δίκτυα για μεταφορές ενέργειας πολύ μακριά (πχ από την Ισπανία στην Γερμανία) και ήδη τα έργα αποθήκευσης αυξάνονται, λογικά σε λίγα χρόνια όλα τα υπάρχοντα υδροηλεκτρικά θα έχουν γίνει αντλισιοταμιευτικά.
Το θέμα είναι όταν θα πάνε σε αναπτυσσόμενες χώρες (όπως πάμε ήδη για ανανεώσιμα καύσιμα) τι θα γίνει...
 
Τι θα στείλουν στο διάστημα; Τα rack που ζυγίζουν 1,5 τόνο το καθένα;
Εδώ καλά καλά δεν προχώρησαν τα υποθαλάσσια datacenter που είναι και εξαιρετικά πιο απλά στην υλοποίηση.

Η λογιστική μεταφορά ενέργειας, όντως γίνεται, αλλά δεν σου λύνει το πρακτικό ζήτημα. Και από εμάς θεωρητικά μπορεί να αγοράσει κάποιος ενέργεια στην Ουγγαρία, να την αγοράσει και ως πράσινη και εν τέλει να καταναλώνει κάποια εισαγωγή από τη Ρουμανία, όπως αυτή παράχθηκε.

Το πρόβλημα που πρέπει να λυθεί είναι ότι χρειάζεσαι πολλή ενέργεια, πλησίον πληθυσμιακών κέντρων συνήθως, εφόσον δεν γίνονται datacenter στη μέση του πουθενά, οι hyperscalers θέλουν να εκμεταλλευτούν το μικρό latency και τη καλή δικτύωση δίπλα σε μεγάλες πόλεις. Εάν θα κοστίζουν τα SMR περισσότερο από τα φωτοβολταϊκά για τον hyperscaler, πρόβλημα του hyperscaler είναι. 500εκ περίπου θα κοστίζουν ανά 100MW και κάθε rack NVL72 GB300 σήμερα κοστίζει ~4εκ$.
 
Δεν μιλάω για λογιστική μεταφορά ενέργειας. Υποτίθεται επενδύουμε πολλά σε νέες γραμμές High Voltage DC για να μπορούμε να μεταφέρουμε ρεύμα με τις λιγότερες δυνατές απώλειες από τα σημεία παραγωγής (κυρίως ΑΠΕ) στην κατανάλωση.
Ήδη είναι υπο κατασκευή γραμμές rated στα 2000 MW (μάλιστα διπλές σε περιπτώσεις με σύνολο 4000 MW), ένω έχουμε λειτουργικές γραμμές στα 1000+ MW όπως πχ η NordLink στα 1,400 MW.

Υπάρχουν και άλλα θεματάκια. Κάποιες από τις εταιρίες ΑΙ έχουν σηκώσει λεφτά από εταιρίες που έχουν εσωτερικά Mandate για net-zero operations και έχουν μπει περιορισμοί. Τα μικρά πυρηνικά είναι οκ με αυτά, ενώ πχ οι αεριοστρόβιλοι με ορυκτά καύσιμα δεν είναι.

Πάντως για το διάστημα, ήδη έχουμε proof of concept για μεταφορά ενέργειας ασύρματα στη γη, αλλά από ότι φαίνεται αυτό που θα χρειαστεί να καλύψουμε ίσως να συμφέρει να είναι σε τροχιά ή στη σελήνη γιατί τα data μεταφέρονται πολύ πιο εύκολα...

Το μόνο σίγουρο ότι ελάχιστοι πίστευαν 3 χρόνια πριν ότι θα είμαστε δώ σήμερα. Έβλεπα λεπτομέρειες για την απόδοση του ChatGPT 5.2 στο GDPval που στην ουσία μετράει πως τα καταφέρνει ένα μοντέλο σε 44 πραγματικά επαγγέλματα.
H επιτυχία του προηγούμενου ήταν στο 38.8% και τώρα έχει ανέβει στο 70.9%. Νομίζω είναι απίστευτη αύξηση σε λίγους μήνες.

Τα λεγόμενά τους είναι: "We designed GPT‑5.2 to unlock even more economic value for people; it's better at creating spreadsheets, building presentations, writing code, perceiving images, understanding long contexts, using tools, and handling complex, multi-step projects"
όλα αυτά είναι ουσιαστικά αντικείμενο αρκετών επαγγελμάτων.
 
Δεν μιλάω για λογιστική μεταφορά ενέργειας. Υποτίθεται επενδύουμε πολλά σε νέες γραμμές High Voltage DC για να μπορούμε να μεταφέρουμε ρεύμα με τις λιγότερες δυνατές απώλειες από τα σημεία παραγωγής (κυρίως ΑΠΕ) στην κατανάλωση.
Ήδη είναι υπο κατασκευή γραμμές rated στα 2000 MW (μάλιστα διπλές σε περιπτώσεις με σύνολο 4000 MW), ένω έχουμε λειτουργικές γραμμές στα 1000+ MW όπως πχ η NordLink στα 1,400 MW.

Όντως, αλλά αυτό αφορά τις γειτονικές χώρες με τις οποίες έχουμε ή κατασκευάζουμε διασυνδέσεις. Με την Ιταλία λ.χ. εάν θυμάμαι σωστά έχουμε μια διασύνδεση 500MW. Εάν μέσω του ENEX, αγοράσει ενέργεια από εμάς, το σύστημα της Αυστρίας, γίνεται ένα balancing act, παρέχουμε την ισχύ που απαιτείται στο δίκτυο της Ιταλίας και το Ιταλικό στέλνει από το δικό του μείγμα στην Αυστρία την ποσότητα που έκαναν book σε εμάς.

Υπάρχουν και άλλα θεματάκια. Κάποιες από τις εταιρίες ΑΙ έχουν σηκώσει λεφτά από εταιρίες που έχουν εσωτερικά Mandate για net-zero operations και έχουν μπει περιορισμοί. Τα μικρά πυρηνικά είναι οκ με αυτά, ενώ πχ οι αεριοστρόβιλοι με ορυκτά καύσιμα δεν είναι.

Το να φτιάχνεις αεριοστρόβιλους ορυκτών για να παρέχεις ενέργεια σε datacenter θα έπρεπε να απαγορεύεται. Οι ΗΠΑ έχουν πολιτική "whatever it takes" στον αγώνα της τεχνητής νοημοσύνης και τα βλέπουν ψιλά γράμματα αυτά. Το πρόβλημα για εμένα είναι να έχουμε μεγάλη κατανάλωση ορυκτών για τα datacenter. Εάν μπορούμε να τα καλύψουμε με ΑΠΕ/πυρηνικά και ιδανικά εκτός grid για να μην ανεβάζουν τη ζήτηση στο εκάστοτε EnEx, κανένα πρόβλημα.

Το μόνο σίγουρο ότι ελάχιστοι πίστευαν 3 χρόνια πριν ότι θα είμαστε δώ σήμερα. Έβλεπα λεπτομέρειες για την απόδοση του ChatGPT 5.2 στο GDPval που στην ουσία μετράει πως τα καταφέρνει ένα μοντέλο σε 44 πραγματικά επαγγέλματα.
H επιτυχία του προηγούμενου ήταν στο 38.8% και τώρα έχει ανέβει στο 70.9%. Νομίζω είναι απίστευτη αύξηση σε λίγους μήνες.

Αυτοί έπαθαν κάτι που είχαν μείνει πίσω και παρουσίασαν 3 μοντέλα σε 4 μήνες. Αυτό από τη μια είναι απίστευτη πρόοδος, από την άλλη είναι εξαιρετικά προβληματικό για τα οικονομικά των project. Μέχρι σήμερα, ο κανόνας για τις 3 μεγάλες είναι πως κρατάνε κύκλους προϊόντων τέτοιους ώστε το απερχόμενο μοντέλο να είναι έστω οριακά κερδοφόρο. Για κάθε νεότερο απαιτούνται εξαιρετικά μεγαλύτερες επενδύσεις στην εκπαίδευση του, αλλά το κόστος του το βγάζει. Σε 4 μήνες 3 νέα μοντέλα δεν υπάρχει περίπτωση να έχουν ακολουθήσει αυτόν τον κύκλο.

Έκριναν πως ο κίνδυνος του να μείνουν πίσω για 5-6 μήνες είναι μεγαλύτερος από το να διαταραχθεί ο οικονομικός τους κύκλος. Εάν πάμε σε ράλι ανάπτυξης μοντέλων, θα δούμε αξιόλογους παίκτες που δεν θα μπορούν να ακολουθήσουν τον ρυθμό να εξαφανίζονται. Το αντεύχομαι.