Κάποτε ίσως να έπαιρνα σοβαρά τα λεγόμενα του. Μετά τα απανωτά ψεκασμένα και συνομωσιολογικα posts του στο Twitter, επαυσα να ασχολουμαι μαζί του...
Άκου να βάζει λέει όλα τα iPhone σε faraday cages
WWDC 2024 @ 10/06/2024
- Thread starter Μιχάλης Κορ.
- Start date
Άκου να βάζει λέει όλα τα iPhone σε faraday cages
Για το τελευταίο δεν ξέρω μήπως υπάρχει κάποιο Α.Ι. accelerator στον Α17 που δεν υπήρχε στον Α16 που φοράνε τα απλά iPhone 15.
karamela
AVClub Fanatic
- 6 November 2013
- 13,365
Αυτό είναι, το διάβασα από όσο έψαξα ότι ο Α17 έχει κάποιο χαρακτηριστικό που δεν το έχει ο Α16 άλλα και προηγούμενοι επεξεργαστές, και πάλι όμως είναι λίγο άσχημο να βγάζεις κάτι νέο και να μην το παίρνει πλήρως η νέα σειρά 15 ούτε καν η προηγούμενη ναυαρχίδα 14pro...προσωπικά δεν με νοιάζει καθώς έχει το 15 pro άλλα όπως και να έχει μου χτυπάει λίγο άσχημα.
Μπαρούφες , σιγά το AI που παρουσίασαν και δεν φτάνουν οι περσινοί επεξεργαστές.
Για να κάνει σύνοψη σε κανένα κείμενο και email , κανένα εφέ σε φωτογραφίες , κλπ...
Πάνε να τα αρπάξουν ακόμα μια φορά με στυγνό τρόπο.
Apple Intelligence "can't" run on an iPhone 15 (with an A16 chip) but can on an M1 chip with a much weaker NPU. The only explanation is money.
Apple has made the artificial decision to limit (at least for now) their AI features to devices with certain hardware—not because it's needed to run things (since they admitted in the keynote that many AI features will do cloud processing), but because they can. I'm sure the on-device AI...
"To be clear, the iPhone 15 (base) has a processor with a Neural Engine/NPU (chip designed to run AI capabilities) that is 150% more powerful than a Mac with the M1 Pro chip, and yet the Mac will be able to run Apple Intelligence features while the newer, more powerful iPhone 15 will not."
Δεν έχουν καταλάβει ΠΟΣΟ πίσω έχουν ΜΕΙΝΕΙ στο κομμάτι του ΑΙ και πόσο πίσω θα μείνουν και γενικότερα με την παρουσίαση περισσότερων συσκευών με Snapdragon Elite.
Από τη μία η Microsoft θερίζει παρέχοντας σοβαρό AI με το copilot Pro και το Copilot for Microsoft 365 το οποίο πληρώνω 30$ το μήνα σώζοντας μου πολλές εργατοώρες/εβδομάδα και από την άλλη θα έχουμε επιτέλους convertable συσκευές τύπου iPad με επεξεργαστές ARM επιδόσεων τουλάχιστον M2 , πλήρως AI συμβατούς , με αντίστοιχη μπαταρία και χωρίς να πληρώνεις 250 ευρώ για 8GB επιπλέον μνήμης ή 256GB σκληρού δίσκου.
Προσωπικά ότι μετοχές apple είχα στο χαρτοφυλάκιο μου σταδιακά τις πούλησα καθώς το ρίσκο για τους επόμενους 12-18 μήνες θεωρώ ότι έχει αυξηθεί σημαντικά.
Μπαρούφες , σιγά το AI που παρουσίασαν και δεν φτάνουν οι περσινοί επεξεργαστές.
Για να κάνει σύνοψη σε κανένα κείμενο και email , κανένα εφέ σε φωτογραφίες , κλπ...
Πάνε να τα αρπάξουν ακόμα μια φορά με στυγνό τρόπο.
Apple Intelligence "can't" run on an iPhone 15 (with an A16 chip) but can on an M1 chip with a much weaker NPU. The only explanation is money.
Apple has made the artificial decision to limit (at least for now) their AI features to devices with certain hardware—not because it's needed to run things (since they admitted in the keynote that many AI features will do cloud processing), but because they can. I'm sure the on-device AI...forums.macrumors.com
"To be clear, the iPhone 15 (base) has a processor with a Neural Engine/NPU (chip designed to run AI capabilities) that is 150% more powerful than a Mac with the M1 Pro chip, and yet the Mac will be able to run Apple Intelligence features while the newer, more powerful iPhone 15 will not."
Δεν έχουν καταλάβει ΠΟΣΟ πίσω έχουν ΜΕΙΝΕΙ στο κομμάτι του ΑΙ και πόσο πίσω θα μείνουν και γενικότερα με την παρουσίαση περισσότερων συσκευών με Snapdragon Elite.
Από τη μία η Microsoft θερίζει παρέχοντας σοβαρό AI με το copilot Pro και το Copilot for Microsoft 365 το οποίο πληρώνω 30$ το μήνα σώζοντας μου πολλές εργατοώρες/εβδομάδα και από την άλλη θα έχουμε επιτέλους convertable συσκευές τύπου iPad με επεξεργαστές ARM επιδόσεων τουλάχιστον M2 , πλήρως AI συμβατούς , με αντίστοιχη μπαταρία και χωρίς να πληρώνεις 250 ευρώ για 8GB επιπλέον μνήμης ή 256GB σκληρού δίσκου.
Προσωπικά ότι μετοχές apple είχα στο χαρτοφυλάκιο μου σταδιακά τις πούλησα καθώς το ρίσκο για τους επόμενους 12-18 μήνες θεωρώ ότι έχει αυξηθεί σημαντικά.
Νομίζω ότι προτρέχεις πάλι. Κανείς δεν ξέρει ακόμα τι A.I. models θα τρέχουν on device και ποσο απαιτητικα θα ειναι. Γιατι αν ειδες το presentation, δεν ηταν μονο συνοψεις κειμενων κλπ, αλλα και συνθετη αναζητηση δεδομενων απο διαφορετικες πηγες ΕΝΤΟΣ της συσκευης σου και 'σερβιρισμα" του query σε real time.
Επίσης, σε επίπεδο hardware ο ανταγωνισμός τώρα κάνει catch up. Η διαφορα ειναι πως η apple μπορει και ελεγχει ολη την αλυσιδα software-hardware και η συσκευη σου ειναι η μονη που εχει προσβαση στα πραγματικα προσωπικα σου δεδομενα ωστε να κανει το training και το σερβιρισμα των αποτελεσματων, tailor made για εσενα.
Όποτε υπομονή. The race has just begun..
Όσον αφορά το γιατί παίζει το Apple Intelligence μονο στο 15pro και οχι σε αλλα iPhone, ο αναλυτής Ming-Chi Kuo ανέφερε πως εχει να κάνει με την RAM οπου για να τρεξει ικανοποιητικα On Device LLM απαιτουνται 8GB RAM. Τα 15 Pro εχουν 8Gb, τα non-Pro εχουν 6GB.
bgr.com
Why the iPhone 15 won't support Apple AI in iOS 18, and why that's OK
The iPhone 15 isn’t good enough for the Apple Intelligence features in iOS 18, and that’s because Apple AI needs more RAM.
bgr.com
Καιρός ήταν να μπούν στον χορό.
Θεωρώ εξαιρετικά θετικό το ότι πήραν τη λύση της Microsoft (openai), παρότι λύση ανταγωνιστή και δεν πειραματίστηκαν με δικά τους μοντέλα, τα οποία ότι και να έκαναν δεν θα είχαν επαφή με τον ανταγωνισμό.
Έχει ενδιαφέρον να δούμε τι μοντέλό θα τρέχει on device, ποιός το φτιάχνει και τι θα κάνει. Λένε πως θα είναι "~3billion parameters" το on device τους χωρίς κάτι παραπάνω. Ότι είναι και το gemini nano που τράχει στα pixel & samsung s πάνω κάτω -3.25billion parameters το nano.
Θεωρώ εξαιρετικά θετικό το ότι πήραν τη λύση της Microsoft (openai), παρότι λύση ανταγωνιστή και δεν πειραματίστηκαν με δικά τους μοντέλα, τα οποία ότι και να έκαναν δεν θα είχαν επαφή με τον ανταγωνισμό.
Έχει ενδιαφέρον να δούμε τι μοντέλό θα τρέχει on device, ποιός το φτιάχνει και τι θα κάνει. Λένε πως θα είναι "~3billion parameters" το on device τους χωρίς κάτι παραπάνω. Ότι είναι και το gemini nano που τράχει στα pixel & samsung s πάνω κάτω -3.25billion parameters το nano.
Όπως έγραψα, τρέχουν δικά τους μοντέλα on device & σε Secure Cloud τα οποια ονομαζουν Apple Intelligence. To ChatGPT μπαινει on top, για queries που δεν μπορουν να εξυπηρετησουν τα μοντελα της Apple. Φανταζομαι πως εν καιρω, στοχος τους ειναι να αντικαταστησουν τελειως το ChatGTP με δικα τους μοντελα.
Οσο για τα μοντελα OpenELM που τρεχουν στο Apple Intelligence (on device), ειχαμε και πριν τη παρουσιαση πληροφοριες για τις δυνατοτητες τους:
appleinsider.com
arstechnica.com
Apple AI research finds reference resolution method faster than GPT-4
Apple AI research reveals a model that will make giving commands to Siri faster and more efficient by converting any given context into text, which is easier to parse by a Large Language Model.
appleinsider.com
Apple releases eight small AI language models aimed at on-device use
OpenELM mirrors efforts by Microsoft to make useful small AI language models that run locally.
arstechnica.com
Εδώ και μια αναλυτική παρουσίαση της Apple για το Apple Intelligence για οσους δεν ειδαν το presentation:
Introducing Apple Intelligence for iPhone, iPad, and Mac
Apple today introduced Apple Intelligence, the personal intelligence system for iPhone, iPad, and Mac.
www.apple.com
Καλά, περιπτωσιολογικα Ανδρέα μου, θα δεις κουκουρουκου απαντήσεις και από τα "μεγάλα" μοντέλα.
Αξέχαστη θα μείνει η κόλλα που πρότεινε το google AI για να κολλήσουμε το τυρί πάνω στη πίτσα!
www.forbes.com
Αξέχαστη θα μείνει η κόλλα που πρότεινε το google AI για να κολλήσουμε το τυρί πάνω στη πίτσα!
Google’s AI Recommended Adding Glue To Pizza And Other Misinformation—What Caused The Viral Blunders?
Sometimes the most prominent companies make unforced errors that can harm their reputations, and Google is no exception. Find out what's behind the company's latest viral outrage.
www.forbes.com
Κοιτά, όπως το έχω καταλάβει, στο σύστημα της Apple ισχύει η ακόλουθη ιεραρχία:
-Για τα απλά queries όπως πχ συνοψεις κειμένων, επεξεργασία φωτός, αναζήτησή δεδομένων από τις πηγές εντός του κινητού, θα εφαρμόζονται τα μικρά μοντέλα OpenELM, on device.
-Για τα πιο σύνθετα, το query πάει στους Private Cloud Compute servers της Apple οι οποιοι θα τρεχουν μεν μοντελα της Apple αλλα πιο advanced.
-Για τα ακόμα πιο σύνθετα queries, θα αναλαμβάνει δράση το ChatGPT, αφου ενημερωθει ο χρηστης οτι τα data φευγουν εκτος apple.
Το ποσό καλά θα δουλεύει ως AI σύστημα, θα το δούμε στην πράξη όταν κυκλοφορήσει σε Ios/IpadOS/MacOS και όχι σε έναν web emulator.
Αυτό που τρέχει στο web δεν είναι κάποιος emulator, αλλά το μοντέλο με τα 3billion instructions, κανονικότατο.
Καταλαβαίνω πως δεδομένου του ότι στη παραγωγή κειμένου δεν τα πάει καλά -όχι πως κανένα άλλο σε αυτό το μέγεθος τα πάει καταπληκτικά, θα στέλνει το query αλλού. Με λίγα λόγια δεν θα τρέχει διαφορετικά το μοντέλο, αλλά θα έχουν τη δυνατότητα να το κόψουν εκεί που θεωρούν πως θα απαντήσει πατάτα και θα σε στέλνει στο GPT. Ένα παρόμοιο φιλτράρισμα του GPT κάνει και ο copilot.
Εν τω μεταξύ, για να μην χάνεται κανείς στο marketing. Και για την Microsoft, όταν τρέχει GPT στο azure για δική της χρήση, private cloud θεωρείται. Όταν εγώ ως 3ος χρήστης χρησιμοποιώ τη κοινόχρηστη υποδομή του azure θεωρείται public cloud. Έχει να κάνει αποκλειστικά με το εάν ο πελάτης είναι ταυτόχρονα και ο μοναδικός χρήστης/ιδιοκτήτης της υποδομής.
Καταλαβαίνω πως δεδομένου του ότι στη παραγωγή κειμένου δεν τα πάει καλά -όχι πως κανένα άλλο σε αυτό το μέγεθος τα πάει καταπληκτικά, θα στέλνει το query αλλού. Με λίγα λόγια δεν θα τρέχει διαφορετικά το μοντέλο, αλλά θα έχουν τη δυνατότητα να το κόψουν εκεί που θεωρούν πως θα απαντήσει πατάτα και θα σε στέλνει στο GPT. Ένα παρόμοιο φιλτράρισμα του GPT κάνει και ο copilot.
Εν τω μεταξύ, για να μην χάνεται κανείς στο marketing. Και για την Microsoft, όταν τρέχει GPT στο azure για δική της χρήση, private cloud θεωρείται. Όταν εγώ ως 3ος χρήστης χρησιμοποιώ τη κοινόχρηστη υποδομή του azure θεωρείται public cloud. Έχει να κάνει αποκλειστικά με το εάν ο πελάτης είναι ταυτόχρονα και ο μοναδικός χρήστης/ιδιοκτήτης της υποδομής.
Ανδρέα, το link που έβαλες τρέχει ένα από τα μικρά μοντέλα της Apple (λαθος η λεξη emulator, αυτο εννοουσα και εγω), το οποιο προφανως δεν προοριζεται για να εξηγει τις διαφορες κεραιοσυστηματων αλλα για γρηγορο parsing δεδομενων on device και απαντησεις σε απλα queries. Για πιο πολυπλοκα queries παμε οπως ειπαμε στο Private Cloud Compute και για ακομα πιο advanced στο ChatGPT.
Όσο για το Private Cloud Compute, δεν ειναι απλα marketing lingo ουτε το λενε Private μόνο και μόνο επειδη ανήκει στην Apple.
Ειναι ενα Cloud συστημα που εχει στηθει για να διασφαλισει την μεγαλυτερη δυνατη ιδιωτικοτητα και ασφαλεια των δεδομενων, χρησιμοποιώντας Custom-built servers σε Apple Silicon, νέο OS και Swift-based ML stack.
"Private Cloud Compute is run on Apple Silicon, reportedly the M2 Ultra, and is designed to be impermanent and easily inspectable. Apple claims that after a request is processed and completed, any data used is deleted. The IP address of the device making the request is also masked, not unlike the iCloud Private Relay feature offered as part of iCloud+. According to Apple's press release, "independent experts can inspect the [Private Cloud Compute] code that runs on Apple Silicon servers to verify privacy" and Private Cloud Compute "cryptographically ensures" that Apple devices don't talk to servers unless "its software has been publicly logged for inspection."
If it all works correctly, these features combine to make sure that Private Cloud Compute never holds on to or knows any information it doesn't need and doesn't even connect to your device in the first place unless its privacy has been verified."
"With Private Cloud Compute, Apple Intelligence can flex and scale its computational capacity and draw on larger, server-based models for more complex requests. These models run on servers powered by Apple silicon, providing a foundation that allows Apple to ensure that data is never retained or exposed.
Independent experts can inspect the code that runs on Apple silicon servers to verify privacy, and Private Cloud Compute cryptographically ensures that iPhone, iPad, and Mac do not talk to a server unless its software has been publicly logged for inspection"
Περισσότερα εδώ:
Apple AI cloud: Custom-built server hardware based on Apple Silicon, a new OS and Swift-based ML stack
Apple yesterday published a blog post explaining the technology behind Private Cloud Compute. Here are the highlights.
mspoweruser.com
Everything we know so far about Apple Intelligence's privacy features
Apple Intelligence requires sharing information that would traditionally conflict with Apple's stance on privacy. Here's its plan to get around that.
www.pocket-lint.com
Η ιδιωτικότητα και η ασφάλεια δεδομένων έχει να κάνει με το πως τα επεξεργάζεται ο εκάστοτε πάροχος υπηρεσίας και όχι με το εάν το data center τρέχει σε apple silicon, qualcomm, Intel ή AMD. Όσον αφορά την φυσική ασφάλεια δεδομένων, όλοι οι μεγάλοι providers είναι στο ίδιο επίπεδο. Από τα φυσικά μέτρα προστασίας πρόσβασης, μέχρι την κρυπτογράφιση και τη καταστροφή τους.
Το ότι το λένε private φυσικά και είναι μαρκετινίστικο. Το τι είναι public και τι private cloud είναι γνωστόν τοις πάσι στην αγορά της πληροφορικής, δεν εφηύρε η aapl τον ορισμό το 2024.
Πιο ακριβής ορολογία θα ήταν "as cheap as it could possibly be", μιας και βασίζεται σε Apple Silicon.
Ισχυρίζεσαι δηλαδή πως τα δεδομένα που ανεβαίνουν πχ στο Gemini η στο CoPilot:
- μόλις επεξεργαστούν σβήνονται
-οι IPs των χρηστών είναι masked
-ανεξάρτητοι experts κάνουν inspection τον κώδικα του Cloud OS
-οι συσκευές που στέλνουν το query δεν μπορούν να καν συνδεθούν στο cloud server, εάν αυτός δεν έχει γίνει publicly logged για inspection.
Αν όντως ισχύουν αυτά τότε ναι, το όνομα που επέλεξε η Apple είναι μόνο για λόγους Marketing. Αλλά υποψιάζομαι ότι δεν ισχύει κάτι τέτοιο, αλλά το αντίθετο. Τα δεδομένα μένουν στους servers, δένονται με τους χρήστες και χρησιμοποιούνται για training.
Αυτό είναι το λιγότερο σημαντικό. Ο βασικός λόγος προφανώς έχει να κάνει με το ελάχιστο ενεργειακό αποτύπωμα του Apple silicon λόγω χαμηλής κατανάλωσης και την ασφάλεια ενός hardware stack που ελέγχει 100%.
Όχι, δεν ισχυρίζομαι καθόλου αυτό. Το "Private Cloud Compute" δεν έχει να κάνει με τίποτα από τα παραπάνω επίσης.
Όλα τα παραπάνω αυτά, μπορούν να γίνουν είτε σε private είτε σε public cloud. Αφορούν αποκλειστικά την εφαρμογή και όχι το μέταλο στο οποίο τρέχει.
Δεν χρειάζεται να γράφουμε τα ίδια και τα ίδια. Το private cloud σημαίνει πως η εταιρία/οργανισμός που το χρησιμοποιεί, κάνει αποκλειστική χρήση. Τίποτα περισσότερο και τίποτα λιγότερο. Μπορεί να φτιάξεις private cloud υποδομή που η φυσική ασφάλεια των δεδομένων να είναι εξαιρετικά υποδεέστερη ενός τυπικού public cloud provider. Azure, AWS, Google Cloud και αρκετά ακόμα έχουν πιστοποιήσεις για φιλοξενία και εκτέλεση επιχειρησιακών δεδομένων κυβερνήσεων.
Εφόσον τα ανέφερες όμως, το gemini σου δίνει τη δυνατότητα να μην κρατάει ιστορικό, ωστόσο by default είναι ενεργοποιημένο.