iOS 26’s failure shows what happens when you take customers for granted

Maestro said:
Αυτό το on-device processing ΙΜΗΟ παίζει να είναι το βασικότερο bottleneck που κρατάει τo ΑΙ αιώνες πίσω από τον ανταγωνισμό. Γι'αυτό και δεν το βλέπω να μακροημερεύει τώρα επί εποχής Gemini. Τώρα τα υπόλοιπα, μάλλον σε wishful thinking μου κάνουν, κανείς δε μπορεί να ξέρει τι γίνεται στην πράξη.
Click to expand...
Αναφορικά με το on device processing, να θυμίσω πως στον Α19 υπαρχουν neural accelerators για optimized ai workload που πιθανότατα θα επιτρέψουν να τρεξουν locally πιο advanced μοντελα. Για τα υπολοιπα, θα φανεί στη πράξη. Να εισαι σίγουρος πως εαν υπάρχουν κενά ασφαλείας, θα βρεθουν αμέσως.
Οπως και να εχει, απο το απολυτο 0 που ειμαστε σημερα στο θεμα ιδιωτικότητας στο Ai, οποιδηποτε βήμα προς την βελτίωση της κατάστασης ειναι καλοδεχουμενο.
 
  • Like
Reactions: lesarros
Δεν έχει εφευρεθεί κάποιος τροχός εδώ πάντως.
Κλασσικά τους αρέσει να κάνουν μεγαλύτερο ταρατατζούμ, εμένα μου σηκώνεται η τρίχα με το μάρκετινγκ, σε άλλους αρέσει, όπως και να έχει, μέχρι εκεί.

Στον κόσμο της πληροφορικής, οι έννοιες public και private cloud υπάρχουν από τις αρχές της δεκαετίας των 10s. Private cloud, προσφέρουν και όλοι οι hypervisors, από πάντα, εφόσον πρακτικά αυτοί το εφηύραν και το έφεραν στην αγορά. Τι εννοείς ως private cloud; Dedicated hosts. Σε ένα υποσύνολο της υποδομής, τρέχουν κατ αποκλειστικότητα διεργασίες ενός πελάτη.

Data privacy. Εάν έχω στα χέρια μου μοντέλο που το τρέχω εγώ σε υποδομή που ελέγχω, μπορώ να επιλέξω και τι data retention θα υπάρξει. Αυτό στα LLM των μεγάλων σήμερα μπορεί να είναι από το prompt+response, μόνο το prompt ή και τίποτα. Στο copilot 365, όταν επιλέγεις ένα μοντέλο της open ai, δεν υπάρχει κανένα retention. Το ίδιο και στο business/enteprise του Gemini και το VERTEX AI. Εάν κάποιος δεν το εμπιστεύεται, μπορεί να περνάει τα prompts από ένα bucket storage με CMEK και access control.

Πίσω στο μοντέλο που εγώ τρέχω σε υποδομή που ελέγχω, σήμερα, δεν μπορεί να μην υπάρξει data leakage εφόσον τα μοντέλα είναι όσο ευφυή είναι επειδή ακριβώς μπορούν να καλέσουν διάφορα tools, μεταξύ των οποίων και το απλό google search. Στην εταιρία χρησιμοποιούμε για διάφορα εσωτερικά webapps μοντέλα χωρίς πρόσβαση σε tools και δεν έχουν σχέση με τα LLM που χρησιμοποιούμε καθημερινά. Πόσο μάλλον για consumer προϊόν, δεν μπορείς να τα κόψεις.
 
Maestro said:
Αυτό το on-device processing ΙΜΗΟ παίζει να είναι το βασικότερο bottleneck που κρατάει τo ΑΙ αιώνες πίσω από τον ανταγωνισμό. Γι'αυτό και δεν το βλέπω να μακροημερεύει τώρα επί εποχής Gemini. Τώρα τα υπόλοιπα, μάλλον σε wishful thinking μου κάνουν, κανείς δε μπορεί να ξέρει τι γίνεται στην πράξη.
Click to expand...
Και όμως, στο τέλος όλα βγαίνουν το τι γίνεται στην πράξη. Απλά οι χρήστες το μαθαίνουν τελευταίοι ή καθόλου. Το δούλεμα, ότι τίποτα δεν φεύγει από local, εάν δεν είσαι μεγάλη εταιρία, ώστε να κυνηγήσεις να μάθεις, δεν θα το ξέρεις ποτέ. Και δεν το λέω τυχαία, απλά δεν μπορώ να παραθέσω το τι έχει γίνει.
Δεν μπορεί να δουλέψει κανένα εξωτερικό ΑΙ, χωρίς να του στείλεις τα data. Το ότι χρησιμοποιείται ο εσωτερικός επεξεργαστής, για κάποιες λειτουργίες, δεν σημαίνει ότι δεν φεύγουν data εκτός. Το ότι τα data δεν πάνε στην ΑΙ αλλά μένουν στον κατασκευαστή, πάλι δεν σημαίνει απολύτως τίποτα. Στην συσκευή σου και μόνο, δεν μένουν. Ταξιδεύουν κάπου, εκεί που είναι το database που θα χρησιμοποιήσει το ΑΙ για να δώσει αποτέλεσμα. Δεν είναι private local LLΜ, για να μην βγουν εκτός.
Από εκεί και πέρα, το εάν εμπιστεύεσαι μια εταιρεία και τους "ανεξάρτητους" ελεγκτές της, είναι τελείως διαφορετικό. Δόγμα όμως, ότι τα δεδομένα σου είναι ασφαλή, με οποιαδήποτε εταιρεία, είναι σαν να βγαίνεις στην μέση του αυτοκινητόδρομου, γιατί κυκλοφορούν μόνο αυτόνομα αυτοκίνητα και τους έχεις απόλυτη εμπιστοσύνη.
 
Ανδρεα, κατα το Gemini, αυτες ειναι οι διαφορες του Cloud Compute της apple σε σχεση με τον ανταγωνισμο.
Τα ειχα διαβασει και παλαιότερα, αλλα τα κανει ωραία summarize:

Η προσέγγιση της Apple με το Private Cloud Compute (PCC) διαφέρει θεμελιωδώς από το μοντέλο που χρησιμοποιούν οι ανταγωνιστές (όπως η Google, η Microsoft/OpenAI και η Meta) σε τρία βασικά επίπεδα: την αρχιτεκτονική, την πρόσβαση και τη διαφάνεια.

Εδώ είναι οι κυριότερες διαφορές:

1. Αρχιτεκτονική: Επέκταση της Συσκευής vs. Παραδοσιακό Cloud​

Η βασική διαφορά φιλοσοφίας είναι ότι το PCC δεν σχεδιάστηκε ως "cloud server" αλλά ως προέκταση του τσιπ του κινητού σου.

  • Apple PCC: Χρησιμοποιεί τους ίδιους επεξεργαστές Apple Silicon (M-series chips) που έχουν τα Mac και τα iPad, αντί για τυπικούς servers. Αυτό επιτρέπει στα εργαλεία ασφαλείας του iPhone (όπως το Secure Enclave) να "μιλούν" απευθείας με τον server, δημιουργώντας μια αδιάσπαστη αλυσίδα εμπιστοσύνης.
  • Ανταγωνιστές (Google/Microsoft): Χρησιμοποιούν τεράστια data centers με κάρτες γραφικών (π.χ. NVIDIA H100) και τυπικούς επεξεργαστές. Αν και πολύ ισχυρά, αυτά τα συστήματα είναι φτιαγμένα για γενική χρήση και συχνά βασίζονται σε λογισμικό για την ασφάλεια, όχι αποκλειστικά σε εξειδικευμένο hardware που ελέγχει η ίδια η εταιρεία από άκρη σε άκρη.

2. "Stateless" Επεξεργασία (Χωρίς Μνήμη)​

  • Apple PCC: Είναι σχεδιασμένο να είναι stateless. Μόλις το σύστημα σου δώσει την απάντηση, τα δεδομένα σου διαγράφονται κρυπτογραφικά και είναι αδύνατον να ανακτηθούν. Δεν υπάρχει "ιστορικό" στον server.
  • Ανταγωνιστές: Συχνά διατηρούν δεδομένα για διάφορους σκοπούς (βελτίωση μοντέλων, ιστορικό χρήστη, debug logs), εκτός αν είσαι εταιρικός πελάτης (Enterprise) και πληρώσεις για ειδικές συμβάσεις μη καταγραφής (zero-retention policies). Στη δωρεάν χρήση (π.χ. δωρεάν ChatGPT ή Gemini), τα δεδομένα σου συνήθως χρησιμοποιούνται για εκπαίδευση του μοντέλου.

3. Προνόμια Διαχειριστών (Privileged Access)​

  • Apple PCC: Έχει σχεδιαστεί χωρίς "πίσω πόρτα" για τους διαχειριστές. Δεν υπάρχει διεπαφή (όπως SSH ή remote shell) που να επιτρέπει στους τεχνικούς της Apple να μπουν στον server και να δουν τι τρέχει εκείνη τη στιγμή.
  • Ανταγωνιστές: Στα παραδοσιακά clouds, οι διαχειριστές συστήματος (SysAdmins) έχουν συνήθως ειδικά εργαλεία "break-glass" για να έχουν πρόσβαση στα δεδομένα σε περιπτώσεις έκτακτης ανάγκης ή για συντήρηση.

4. Επαληθεύσιμη Διαφάνεια (Verifiable Transparency)​

Αυτή είναι ίσως η πιο καινοτόμα διαφορά.

  • Apple PCC: Η Apple δημοσιεύει τα "images" (αντίγραφα) του λογισμικού που τρέχει στους servers της. Επιτρέπει σε ερευνητές να κατεβάσουν αυτό το λογισμικό και να το τρέξουν σε δικό τους περιβάλλον για να επιβεβαιώσουν ότι κάνει όντως αυτά που υπόσχεται.
  • Ανταγωνιστές: Λειτουργούν ως "μαύρα κουτιά" (black boxes). Πρέπει να εμπιστευτείς την εταιρεία ή τους ελεγκτές τρίτων (auditors) ότι τηρούν τους κανόνες ασφαλείας. Δεν μπορείς εσύ (ή ανεξάρτητοι ερευνητές) να ελέγξεις τον κώδικα που τρέχει στους servers της Google ή της OpenAI.
 
Έχει ένα ενδιαφέρον αυτό, αλλά δεν τα γράφει σωστά. Το PCC είναι μια πλατφόρμα για να τρέχει AI μοντέλα και μόνο, δεν είναι private cloud με την έννοια του όρου, το βάφτισαν μαρκετινίστικα έτσι. Δεν μπορείς να το συγκρίνεις με το VPC του AWS ή τα dedicated hosts του azure, είναι το αντίστοιχο του Bedrock της AWS, του VERTEX του GCP κλπ. Και είναι πραγματικά αστείο να υπερασπιστεί ο οποιοσδήποτε πως κάποιος υπάλληλος ενός οποιουδήποτε hypervisor μπορεί να μπεί με shell access σε μηχάνημα που λειτουργεί μέσα σε datacenter τους. Εάν ρωτήσουμε το Gemini για IAM & physical access σε datacenter της Google θα σου πεί "Ah, you are right" και θα γράψει 10 σελίδες.

Θα τρέξουν on premises μοντέλα της Google. Αυτό η Google το παρέχει ως υπηρεσία, το γνωρίζουμε και υπάρχει και documentation που απαιτεί όχι γενικά συμβατό hardware, αλλά συγκεκριμένα SKU, γραμμή προς γραμμή.

Gemini on GDC

Εάν φτιάξεις την υποδομή και σου δώσουν το μοντέλο, προφανώς έχεις πλήρη έλεγχο στα δεδομένα. Δεν είναι κάτι καινούριο.
 
….έκανε και ο Mkbhd σχετικό βίντεο
To view this content we will need your consent to set third party cookies.
For more detailed information, see our cookies page.
 
anderm said:
Έχει ένα ενδιαφέρον αυτό, αλλά δεν τα γράφει σωστά. Το PCC είναι μια πλατφόρμα για να τρέχει AI μοντέλα και μόνο, δεν είναι private cloud με την έννοια του όρου, το βάφτισαν μαρκετινίστικα έτσι. Δεν μπορείς να το συγκρίνεις με το VPC του AWS ή τα dedicated hosts του azure, είναι το αντίστοιχο του Bedrock της AWS, του VERTEX του GCP κλπ. Και είναι πραγματικά αστείο να υπερασπιστεί ο οποιοσδήποτε πως κάποιος υπάλληλος ενός οποιουδήποτε hypervisor μπορεί να μπεί με shell access σε μηχάνημα που λειτουργεί μέσα σε datacenter τους. Εάν ρωτήσουμε το Gemini για IAM & physical access σε datacenter της Google θα σου πεί "Ah, you are right" και θα γράψει 10 σελίδες.

Θα τρέξουν on premises μοντέλα της Google. Αυτό η Google το παρέχει ως υπηρεσία, το γνωρίζουμε και υπάρχει και documentation που απαιτεί όχι γενικά συμβατό hardware, αλλά συγκεκριμένα SKU, γραμμή προς γραμμή.

Gemini on GDC

Εάν φτιάξεις την υποδομή και σου δώσουν το μοντέλο, προφανώς έχεις πλήρη έλεγχο στα δεδομένα. Δεν είναι κάτι καινούριο.
Click to expand...
Καλήμέρα.Δεδομένου οτι δεν εχω ΙΤ τεχνικό υποβαθρο, εδωσα τα σχόλια σου στο gemini pro και μου απαντησε ως εξης:

"Ο φίλος σου εχει δίκιο σε αρκετά σημεία, αλλά συγκρίνει διαφορετικά πράγματα: συγκρίνει λύσεις Enterprise/B2B (που αγοράζουν εταιρείες) με μια λύση Consumer/B2C (που χρησιμοποιεί ο απλός κάτοχος iPhone).
Οντως το PCC δεν είναι 'Private Cloud' με την έννοια του IaaS (όπως ένα VPC στο AWS) αλλά μια dedicated πλατφόρμα για Inference. Ωστόσο, υπάρχουν τρεις λεπτομέρειες που κάνουν τη διαφορά στην περίπτωση της Apple:

1. Σύγκριση με Bedrock / Vertex (Πλατφόρμα vs. Appliance)​

Φίλος: "Είναι το αντίστοιχο του Bedrock/Vertex, όχι Private Cloud." Απάντηση: Σωστά, λειτουργικά είναι μια μηχανή inference (εκτέλεσης μοντέλων). Η διαφορά είναι στο Trust Model.

  • Στο Bedrock/Vertex, εμπιστεύεσαι την Amazon/Google ότι τηρούν τα policies τους. Είναι "Shared Responsibility Model".
  • Στο PCC, η Apple μετέφερε το μοντέλο ασφαλείας του iPhone στο Cloud. Το PCC λειτουργεί ως "remote accelerator". Δεν είναι απλώς ότι τρέχει το μοντέλο, είναι ότι το hardware (Apple Silicon) κάνει attest (επιβεβαίωση) στη συσκευή σου ότι τρέχει ακριβώς το signed software που έχει δημοσιευτεί, πριν στείλεις το παραμικρό byte. Αυτό δεν είναι standard στο consumer Bedrock/ChatGPT usage.

2. Πρόσβαση Admin & Shell (Policy vs. Architecture)​

Φίλος: "Είναι αστείο να λέμε ότι μπαίνει υπάλληλος με shell. Υπάρχουν IAM policies." Απάντηση: Εδώ υπάρχει η μεγαλύτερη παρανόηση. Φυσικά και η Google/AWS έχουν αυστηρότατα IAM και audit logs. Κανείς δεν μπαίνει "για πλάκα".

  • Η διαφορά είναι μεταξύ Policy Enforcement (απαγορεύεται να μπεις) και Technical Impossibility (δεν μπορείς να δεις δεδομένα ακόμα και αν μπεις).
  • Στο κλασικό Cloud, ο provider κρατάει τα κλειδιά κρυπτογράφησης (managed keys). Αν υπάρξει δικαστική εντολή ή αν (θεωρητικά) ένας rogue admin παρακάμψει το IAM, τα δεδομένα είναι προσβάσιμα.
  • Στο PCC, τα κλειδιά κρυπτογράφησης είναι ephemeral (εφήμερα), δημιουργούνται ανά αίτημα και "ζουν" μόνο στη RAM. Ακόμα και αν κάποιος πάρει φυσική πρόσβαση στο server ("cold boot attack") ή shell access, τα δεδομένα του χρήστη δεν υπάρχουν πλέον ή είναι κρυπτογραφημένα με κλειδί που έχει χαθεί. Είναι αυτό που λέμε Confidential Computing by default, χωρίς να χρειάζεται να το σετάρει ο χρήστης.

3. Google Distributed Cloud (Enterprise vs. Consumer)​

Φίλος: "Η Google έχει το GDC on-prem, δεν είναι κάτι καινούργιο." Απάντηση: Απόλυτα σωστό, η τεχνολογία υπάρχει. Η καινοτομία δεν είναι η ανακάλυψη της τεχνολογίας, αλλά η διάθεσή της στον απλό καταναλωτή.

  • Το GDC (Gemini on Google Distributed Cloud) απευθύνεται σε τράπεζες και κυβερνήσεις που στήνουν δικά τους racks.
  • Εγώ ως χρήστης Android με ένα Pixel, όταν μιλάω στο Gemini, τα δεδομένα μου πάνε στο public cloud της Google και χρησιμοποιούνται (by default) για εκπαίδευση (εκτός αν αλλάξω settings).
  • Η Apple έφερε την ασφάλεια του "air-gapped" server (που περιγράφεις με το GDC) στον απλό χρήστη που ρωτάει τη Siri "τι καιρό κάνει;", χωρίς να χρειάζεται να στήσει server room.

Συμπέρασμα​

Ο φίλος σου έχει δίκιο σε επίπεδο Enterprise IT: Οι τεχνολογίες αυτές (Confidential Computing, On-prem AI) υπάρχουν. Η Apple απλώς τις πακέταρε σε ένα Consumer Product με τρόπο που δεν απαιτεί καμία ρύθμιση από τον χρήστη και αφαίρεσε την ανάγκη να "εμπιστεύεσαι" τον διαχειριστή του συστήματος, αντικαθιστώντας την εμπιστοσύνη με κρυπτογραφική επαλήθευση."
 
Ωραία, έχω και τη βούλα του Gemini "κάτι ξέρει αυτός". Δεν πήγαν τσάμπα τόσα χρόνια σπουδές και δουλειά στον κλάδο 😂

Για το 2, εάν σας ενδιαφέρει εσάς, όχι το μοντέλο AI, το να αποκτήσει κάποιος πρόσβαση σε συγκεκριμένο server ενός hypervisor είναι πρακτικά αδύνατον. Εάν τρέχουν production workloads, το IAM, δεν σου δίνει SSH access στον server. Όλοι οι μεγάλοι έχουν live migration πρακτικές για τα VM πελατών και εφόσον βγεί εκτός το μηχάνημα, μόνο τότε μπορούν να πάρουν πρόσβαση.

Στα μοντέλα AI, by design, δεν τρέχει τίποτα σε persistant storage όχι για λόγους ασφαλείας αλλά λόγω του ότι δεν μπορούν να τρέξουν διαφορετικά. Ότι τρέχεις στο Bedrock ή το VERTEX που δεν έχουν retention, τρέχει στην VRAM. Όταν συζητάμε για foundation μοντέλα, δεν τρέχει το μοντέλο "σε ένα κουτί". Πρόκειται για distributed συστήματα που τρέχουν μέσω παραλληλισμού, εφόσον χρειάζονται εκατοντάδες GB VRAM για να φορτώσει το μοντέλο ολόκληρο συν το context των prompt απο τους χρήστες. Εάν κάποιος κρίνει ότι θέλει να προστατευτεί από τη περίπτωση του να κάνει κάποιος memory dump και να δεί fragments από το context ενός μοντέλου, μπορεί να τρέξει τα πάντα σε confidential computing που κρυπτογραφεί τη VRAM.

Πάντως, δεν θυμάμαι εγώ να έχει συμβεί ποτέ σε hypervisor περιστατικό φυσικής ασφαλείας ούτε και inside job. Στους hypervisors τρέχουν από πραγματικά confidential δεδομένα εταιριών μέχρι κρατών. Όχι το να ρωτήσω εγώ τι καιρό κάνει το gemini στο iphone.
 
Top Bottom