Τεχνητή Νοημοσύνη (AI). Τι είναι, τι ξέρουμε, τι αλλάζει στη ζωή και στον πολιτισμό;

[ln()]

Κάνε μια δοκιμή στο chatgpt o3 και πες μας αποτέλεσμα.
Αν δεν έχεις πρόσβαση, στείλε μου το Prompt να βάλω εδώ το αποτέλεσμα.

Μπα, το chatgtp το εγκατέλειψα μετά τα πρώτα πειράματα όταν άρχισε να ζητά αριθμό τηλεφώνου για ταυτοποίηση.
Κι αφού έκανα τη δουλειά μου, δεν θα αρχίσω τις δοκιμές.

Σε άλλο κλίμα, είμαι σίγουρος ότι δύο από τις εργασίες που παρέλαβα από τους φοιτητές μου είναι προϊον ΑΙ. Έχουν σωστά αποτελέσματα, αλλά δεν βρίσκω ούτε μια από τις σωστά γραμμένες αναφορές (παρόμοιες και στις δύο) που έχει η βιβλιογραφία!

 

[Γιώργος Κυριακαράκος]

Σε άλλο κλίμα, είμαι σίγουρος ότι δύο από τις εργασίες που παρέλαβα από τους φοιτητές μου είναι προϊον ΑΙ. Έχουν σωστά αποτελέσματα, αλλά δεν βρίσκω ούτε μια από τις σωστά γραμμένες αναφορές (παρόμοιες και στις δύο) που έχει η βιβλιογραφία!

Αυτό είναι μεγάλο πρόβλημα, γιατί δεν υπάρχουν κατευθυντήριες στα ιδρύματα. Μου ήρθε μεταπτυχιακή που έκανε μπαμ ότι είναι ChatGPT, αλλά είχα κάνει 2 εκτενείς συζητήσεις με τον φοιτητή σε διαφορετικά στάδια της εξέλιξης της μελέτης και μπορούσα να καταλάβω ότι το αντικείμενο το καταλάβαινε καλά και είχε δουλέψει και αρκετά στην εξέλιξη της εργασίας του. Κοινώς το είχε χρησιμοποιήσει για να τον βοηθήσει με τη συγγραφή του κειμένου καθαυτού και όχι για την ανάπτυξη του υλικού. Με δεδομένο ότι σιγά σιγά υπάρχει ενσωμάτωση στo Word αυτή την πλευρά θα τη συναντάμε όλο περισσότερο.
Άσε που τα τσακάλια μπορούν να γράψουν με ΑΙ κείμενο που δεν αναγνωρίζεται από τα λογισμικά ελέγχου. Για να μην αναφέρουμε και την αγορά των Text Humanizers.

 

[SR-71]

Δηλαδη η βαθμολογια πηγε περιπατο ?

(ο μοναδικος λογος που δεν θελω να γυρισω με μια DeLorean πισω στην Α Γυμνασιου - Γ Λυκειου,
ενω ηταν τα καλυτερα χρονια της ζωης μου ....... ειναι ακριβως αυτη η γ@μημενη βαθμολογια !)

 

[evanfotis]

Για το θέμα αυτό οι ειδικοί τι λέτε;

AI models collapse when trained on recursively generated data - Nature

Analysis shows that indiscriminately training generative artificial intelligence on real and generated content, usually done by scraping data from the Internet, can lead to a collapse in the ability of the models to generate diverse high-quality output.

www.nature.com

'Model collapse': Scientists warn against letting AI eat its own tail | TechCrunch

If the models continue eating each other's data, perhaps without even knowing it, they'll progressively get weirder and dumber until they collapse.

techcrunch.com

 

[Γιώργος Κυριακαράκος]

Θα ακουστώ περίεργα αν πω ότι είναι old news. Στο ΑΙ τα paper έρχονται με το μήνα προχωρώντας πραγματικά μπροστά. Η απάντηση είναι ότι δεν μπορείς να πας με μόνο 1 μέθοδο μπροστά. Χρειάζεσαι συνδυαστικά 2/3/4 ή και περισσότερες μεθόδους.
Το παρακάτω βίντεο είναι κάπως σχετικό. Δεν αντιμετωπίζει το θέμα των άρθρων, αλλά δείχνει πως συνδυάζουμε διαφορετικά πράγματα για ένα καλύτερο αποτέλεσμα.

To view this content we will need your consent to set third party cookies.
For more detailed information, see our cookies page.

Accept third party cookies

 

[Γιώργος Κυριακαράκος]

Είπα να τεστάρω λίγο τα καινούργια μοντέλα της OpenAI και πιο συγκεκριμένα τα ο3 και o4-mini-high. Αρχικά τα αποτελέσματα ήταν πάρα πολύ καλά, εξαιρετικά καλά στην παραγωγή κειμένου. Όμως όταν άρχισα να τσεκάρω αναλυτικά τις απαντήσεις κατάλαβα ότι τα hallucinations έχουν επιστρέψει δυναμικά και επικίνδυνα. Παράγουν references που δεν υπάρχουν ή weblinks που επίσης δεν υπήρχαν ποτέ. Και το χειρότερο είναι ότι προβάλει συγκεκριμένα νούμερα με ανύπαρκτα references. Με λίγο ψάξιμο είδα ότι δεν το αντιμετωπίζω μόνο εγώ, αλλά είναι αναγνωρισμένο πρόβλημα.

OpenAI's new reasoning AI models hallucinate more | TechCrunch

OpenAI's reasoning AI models are getting better, but their hallucinating isn't, according to benchmark results.

techcrunch.com

Για μένα είναι πισωγύρισμα μιας και το ο1 ήταν σίγουρα καλύτερο σε αυτό τον τομέα. Συνολικά το 4.5 παραμένει πιστεύω το μοντέλο με τα ελάχιστα (ή ανύπαρκτα) hallucinations, αλλά δυστυχώς με το 20δόλαρο έχεις πολύ λίγα μηνύματα μαζί του και το πιο αποδοτικό είναι να το χρησιμοποιείς για Deep Research όπου τα αποτελέσματα είναι εξαιρετικά με τα σωστά prompts.

Πάντως ρώτησα το ίδιο το ο3 τι prompt να χρησιμοποιώ ώστε να μην παρουσιάζει το πρόβλημα με τα hallucinations στα references και μου πρότεινε να προσθέτω το ακόλουθο όταν το ρωτάω:

"Εnsure that when answering, to restrict yourself to data and metrics that are explicitly traceable to publicly available primary sources (e.g., peer-reviewed papers, or official reports). Include a working URL or DOI for every additional figure you want to use. If a value is derived (calculated or extrapolated) rather than reported verbatim, flag it with the phrase ‘calculation based on …’ and cite the underlying raw numbers.”

Με αυτό η κατάσταση βελτιώθηκε σημαντικά.

 

[Γιώργος Κυριακαράκος]

Κινέζοι ανέπτυξαν νέα μέθοδο που πρακτικά δεν χρειάζεται δεδομένα για την εκπαίδευση. Πρακτικά έβγαλαν τον άνθρωπο από τη διαδικασία εκπαίδευσης. Πλήρης αυτόνομη μαθησιακή διαδικασία - το μοντέλο φτιάχνει μόνο του τα δεδομένα και μαθαίνει από αυτά κρίνοντας αν είναι σωστά ή όχι.

Absolute Zero: Reinforced Self-play Reasoning with Zero Data.

Absolute Zero: Reinforced Self-play Reasoning with Zero Data

Reinforcement learning with verifiable rewards (RLVR) has shown promise in enhancing the reasoning capabilities of large language models by learning directly from outcome-based rewards. Recent RLVR works that operate under the zero setting avoid supervision in labeling the reasoning process, but...

www.arxiv.org

Κοινώς ξεπερνάμε το μεγαλύτερο εμπόδιο που είχαμε μπροστά μας την απουσία αρκετών δεδομένων για να εκπαιδεύσουμε τα νέα πιο εξελιγμένα μοντέλα. Ίσως είναι το εισιτήριο για Superintelligence...

 

[ln()]

Δηλαδή μαθαίνουμε κάποιον με τεχνητά δεδομένα και περιμένουμε μετά να τα εφαρμόσει στον πραγματικό κόσμο;
Ας πούμε μαθαίνεις κάποιον να μαζεύει ροδάκινα. Και τον μαθαίνεις να ξεχωρίζει τα ώριμα από το χρώμα χωρίς να έχει φάει ποτέ ροδάκινο. Δεν το λέω από το μυαλό μου, είναι project για αυτόματο συλλογέα φρούτων, με εκατοντάδες καλλιεργητές να συμμετέχουν στην διδασκαλία του ΑΙ.

 

[Tzimisce]

Αν κατάλαβα καλά, το μοντέλο θα δημιουργεί τα δεδομένα μόνο του.
Οπότε μιλάμε για κάτι ακόμη πιο δύσκολο.

 

[Γιώργος Κυριακαράκος]

Αν κατάλαβα καλά, το μοντέλο θα δημιουργεί τα δεδομένα μόνο του.
Οπότε μιλάμε για κάτι ακόμη πιο δύσκολο.

Ο τρόπος που εγώ το καταλαβαίνω είναι ότι θα έχουμε μια "αντιγραφή" της εξέλιξης της ανθρώπινης νοημοσύνης. Το ανθρώπινο είδος δεν ξύπνησε μια μέρα και διατύπωσε τη θεωρία των χορδών ή ταξίδεψε στο διάστημα. Πέρασε με μικρά βηματάκια σε εύρος χιλιετιών το μονοπάτι της εξέλιξης.

Τα LLM σήμερα τα εκπαιδεύουμε χοντρικά με τον τρόπο που έδωσε τη νοημοσύνη και γνώση στους ανθρώπους ο μονόλιθος στην αρχή της Οδύσσειας 2001 του Κλαρκ (ταινία από Κιούμπρικ).

To view this content we will need your consent to set third party cookies.
For more detailed information, see our cookies page.

Accept third party cookies

Οι ερευνητές του συγκεκριμένου άρθρου το είδαν διαφορετικά. Είπαν ότι με την επεξεργαστική ισχύ που έχουμε θα βάλουμε το LLM να θέτει μόνο του ερωτήματα κοντά στην περίμετρο της γνώσης του σε κάθε χρονική στιγμή, θα τα απαντά και μετά θα ελέγχει αν η απάντηση ήταν σωστή από μόνο του, με την ίδια φιλοσοφικά διαδικασία που παράγει η ανθρωπότητα γνώση. Της ανθρωπότητας της πήρε χιλιετίες ενώ για το LLM με την διαθέσιμη επεξεργαστική ισχύ μπορεί να είναι μέρες.
Και μην ξεχνάμε ότι η ανθρώπινη γνώση μέχρι το 1900 περίπου πήρε χιλιετίες για να φτάσει στην βάση αυτή, ενώ μόλις ενάμιση αιώνα σχεδόν για να φτάσουμε στο σήμερα. Δεν είναι αναγκαία η εκπαίδευση από το απόλυτο μηδέν, αλλά από μια βάση επιταγχύνοντας σημαντικά τη συνολική διαδικασία.

 

[Γιώργος Κυριακαράκος]

Δηλαδή μαθαίνουμε κάποιον με τεχνητά δεδομένα και περιμένουμε μετά να τα εφαρμόσει στον πραγματικό κόσμο;
Ας πούμε μαθαίνεις κάποιον να μαζεύει ροδάκινα. Και τον μαθαίνεις να ξεχωρίζει τα ώριμα από το χρώμα χωρίς να έχει φάει ποτέ ροδάκινο. Δεν το λέω από το μυαλό μου, είναι project για αυτόματο συλλογέα φρούτων, με εκατοντάδες καλλιεργητές να συμμετέχουν στην διδασκαλία του ΑΙ.

Αυτή η έρευνα με τρελαίνει. ΓΙΑΤΙ να βάλεις LLM;;;;;;;;;;;; Γιατί να ξοδεύεις τόση ενέργεια και επεξεργαστική ισχύ για κάτι που έχει λύθει εμπορικά ήδη με πιο απλές υλοποιήσεις ΑΙ με ένα σωστό visual interpretation (που μπορεί να βγαίνει και εκτός του ορατού). Και υπάρχει στοχευμένη και σωστή έρευνα στο αντικείμενο:
Πχ. με φωτογραφίες

https://www.sciencedirect.com/science/article/pii/S0168169923007573

ή με ψηφιακή "μύτη"

New Electronic Nose Sniffs Out Perfectly Ripe Peaches for Harvest

The e-noses can be dispersed across an orchard to ensure each tree is harvested at optimal times

spectrum.ieee.org

Ας χρησιμοποιήσουμε όλους αυτούς τους πόρους για να φτιάξουμε ένα ρεαλιστικό digital twin / simulation μιας ροδακινιάς που να μπορεί να μας απαντήσει πως θα αναπτυχθεί το δέντρο και τι καρπούς θα δώσει σε διάφορους συνδυασμούς καιρικών φαινομένων, ποτίσματος, καλλιεργητικών πρακτικών και εφαρμογής λιπασμάτων - κάτι που δεν το έχουμε σήμερα και το κυνηγάμε πολλά χρόνια τώρα. Ακόμη και από το abstract του επόμενου βλέπουμε πόσο μακριά είμαστε ακόμη από ένα ρεαλιστικό ολοκληρωμένο μοντέλο.

https://academic.oup.com/treephys/article-abstract/42/3/441/6372550

Τρελαίνομαι όταν βλέπω τέτοια σπατάλη ερευνητικών πόρων.

 

[Tzimisce]

Ο τρόπος που εγώ το καταλαβαίνω είναι ότι θα έχουμε μια "αντιγραφή" της εξέλιξης της ανθρώπινης νοημοσύνης. Το ανθρώπινο είδος δεν ξύπνησε μια μέρα και διατύπωσε τη θεωρία των χορδών ή ταξίδεψε στο διάστημα. Πέρασε με μικρά βηματάκια σε εύρος χιλιετιών το μονοπάτι της εξέλιξης.

Άρα μπορεί οι απαντήσεις του να βασίζονται σε μία πραγματικότητα που ισχύει σε κάποιο παράλληλο σύμπαν!
Πολλά τυχαία γεγονότα συνέβησαν τα οποία επηρεάζουν τη ζωή μας σήμερα.
Έτσι, εύκολα, μπορείς να το ρωτήσεις "ποια είναι η καλύτερη ώρα να πάω στο βουνό να δω το ηλιοβασίλεμα" και να σου απαντήσει "το μεσημέρι που οι δεινόσαυροι βρίσκονται στις σπηλιές τους"

 

[Γιώργος Κυριακαράκος]

Άρα μπορεί οι απαντήσεις του να βασίζονται σε μία πραγματικότητα που ισχύει σε κάποιο παράλληλο σύμπαν!
Πολλά τυχαία γεγονότα συνέβησαν τα οποία επηρεάζουν τη ζωή μας σήμερα.
Έτσι, εύκολα, μπορείς να το ρωτήσεις "ποια είναι η καλύτερη ώρα να πάω στο βουνό να δω το ηλιοβασίλεμα" και να σου απαντήσει "το μεσημέρι που οι δεινόσαυροι βρίσκονται στις σπηλιές τους"

Ε, για αυτό είπα ότι του δίνουμε πχ τη γνώση του 1900...

 

[ln()]

OpenAI's ChatGPT update was clearly programmed to fuel the male ego

To view this content we will need your consent to set third party cookies.
For more detailed information, see our cookies page.

Accept third party cookies

 

[Tzimisce]

Ε, για αυτό είπα ότι του δίνουμε πχ τη γνώση του 1900...

Θα ξέρει ότι το 99% του πληθυσμού στις ανεπτυγμένες χώρες κρατάει στα χέρια του όλη την γνώση του κόσμου και το χρησιμοποιεί για να κάνει like σε γατάκια και να αναπτύσσει θεωρίες συνωμοσίας ή θα του το κρατήσουν για έκπληξη;

 

[Γιώργος Κυριακαράκος]

Θα ξέρει ότι το 99% του πληθυσμού στις ανεπτυγμένες χώρες κρατάει στα χέρια του όλη την γνώση του κόσμου και το χρησιμοποιεί για να κάνει like σε γατάκια και να αναπτύσσει θεωρίες συνωμοσίας ή θα του το κρατήσουν για έκπληξη;

Εδώ ερχόμαστε στο ότι η τεχνολογική πρόοδος δεν -έστω- ακολουθείται από φιλοσόφους/πολιτικούς επιστήμονες/κλπ για να φωτιστούν αυτές οι πτυχές...

 

[ΚΩΣΤΑΣ ΖΑΓΓΟΓΙΑΝΝΗΣ]

Θα ξέρει ότι το 99% του πληθυσμού στις ανεπτυγμένες χώρες κρατάει στα χέρια του όλη την γνώση του κόσμου και το χρησιμοποιεί για να κάνει like σε γατάκια και να αναπτύσσει θεωρίες συνωμοσίας ή θα του το κρατήσουν για έκπληξη;

Καλύτερα να μην του το πουν γιατί μπορεί να αποφασίσει να κάνει reset στην ανθρωπότητα.

 

[SR-71]

Θα ηταν αστοχο και εκτος θεματος να πω ..............
οτι το μονο που μας σωζει απο μια αφανιστικη AGI .............. ειναι να την διδαξουμε Φιλοσοφια ?
Μονο αν εμφυσησουμε αμφιβολια και περισκεψη στον κωδικα της ..... δεν θα γινει "ολοκληρωτικη" μαζι μας.
Ναι αλλα ............. του υπολογιστες τους φτιαξαμε (in the first place) ............. ωστε να ΜΗΝ εχουν αμφιβολιες.
Αυτο που ταλανιζει εμας, σωστα ?

 

[Γιώργος Κυριακαράκος]

Θα ηταν αστοχο και εκτος θεματος να πω ..............
οτι το μονο που μας σωζει απο μια αφανιστικη AGI .............. ειναι να την διδαξουμε Φιλοσοφια ?

Θεωρητικά το κάνουμε αυτό...Χοντρικά ότι έχει γραφεί πριν το 1900 είναι χωρίς δικαιώματα και λογικά στο σετ εκμάθησης όλων των LLM αν και τα πιο γνωστά μέχρι σήμερα (Χάιντεγκερ, Ράσελ, Σατρ, Φουκό, ντε Μπουβουάρ κλπ) νομίζω ότι θα περιλαμβάνονται.

 

[SR-71]

Πεφτω απο τα συννεφα.

Καποιο λινκ, Γιωργο ?
Που να δειχνει οτι υπαρχει ως σκεψη (εστω και μελλοντικη)