AI už zdražila operační paměť; Sam Altman z OpenAI tvrdí, že ji počítače s Windows využívají jen 5 % času
Generální ředitel OpenAI Sam Altman tvrdí, že je „docela hrozné“, když si každý nechává omezené světové zásoby pamětí DRAM ve vlastním počítači, kde se využívají jen 5 % času, přestože by je datová centra pro AI mohla využít lépe. Po rýpnutí od Elona Muska a získání nového jména na síti X — samozřejmě Ram Altman — nyní tvrdí, že jeho výroky byly vytrženy z kontextu.
MS, dlouholetý partner OpenAI, mezitím prosazuje opačný přístup. Satya Nadella chce „neměřenou inteligenci“ na každém pracovním stole, přičemž modely AI mají běžet na počítačích a v případě potřeby přistupovat ke cloudu. Oba generální ředitelé chtějí AI všude, neshodují se však v tom, kde by měla běžet a kam by měly směřovat světové zásoby pamětí RAM.
Proč si Sam Altman myslí, že RAM ve vašem počítači najde lepší využití v datových centrech AI
Altman tento výrok pronesl během epizody pořadu Cheeky Pint z 29. října, kterou moderoval prezident společnosti Stripe John Collison. Oba diskutovali o tom, proč nedostatek pamětí stále neustupuje. Krátce poté, co Collison zavtipkoval, že by se Intel mohl „v souladu s tradicí“ vrátit k výrobě pamětí, Altman otevřel téma lokální AI.
„Spousta lidí chce lokální inferenci. A z nějakého důvodu předpokládají, že je tím problém vyřešen. Protože budeme mít open-source modely. Budeme je moci spouštět na svých počítačích. A nebudeme tak potřebovat všechny ty věci v datových centrech. Z pohledu globálního rozdělování zdrojů je ale ve skutečnosti docela hrozné, když má každý ve svém počítači část omezených světových zásob pamětí DRAM, které se využívají jen 5 % času. Pokud se snažíte vypořádat s prostředím, kde je nabídka velmi omezená, chcete dosáhnout maximálního využití v cloudu.“
Myšlenku Sama Altmana lze přirovnat k publikování. Představte si, že píšete články na papír, tisknete je a posíláte je přímo do domácností čtenářů jako noviny. Bylo by to příjemné, ale neefektivní, protože už máme webové stránky, internet, sociální sítě, WordPress a vysoce efektivní ekosystém online publikování.
Doby, kdy lokální modely nebyly dostatečně dobré, jsou však pryč a výkonné systémy si s nimi nyní dokážou poradit.
Pokud vyvíjíte AGI a můžete rozhodovat o tom, kam připadne každý gigabajt, má Altman pravdu. Nikdo však takové rozhodnutí učinit nemůže. Rozhoduje trh a lidé si kupují RAM kvůli hraní, střihu videa nebo, jako v mém případě, aby mohli mít kvůli rešerším otevřeno téměř 100 karet v prohlížeči Edge. Využití RAM v mém notebooku se 16 GB se dříve neustále pohybovalo mezi 90 a 95 %, takže Altmanových 5 % je téměř přesným opakem mé zkušenosti.
„Ram Altman“ bere svá slova zpět, jeho argument se však nezměnil
Ukázka se rychle rozšířila mezi hráči na PC, kteří už nyní za paměti platí více. Elon Musk 1. listopadu zveřejnil meme s Hansem Landou z filmu Hanebný pancharti, který se ptá: „Zadržujete DRAM před cloudem, že ano?“ Musk dodal: „Lidé si také zaslouží mít svou RAM!“
Altman si 4. listopadu na žádost jednoho uživatele změnil jméno na síti X na Ram Altman a napsal: „ve skutečnosti chci, aby měl svět spoustu paměti a aby si lidé mohli do svých počítačů dát tolik, kolik chtějí, a je zatraceně otravné, že to bylo vytrženo z kontextu. už dlouho prosazuji, aby svět zvýšil výrobu pamětí.“ V další odpovědi dodal: „chci, abyste měli obrovské množství ram“ a „pojďme jí vyrábět více.“
Abychom byli spravedliví, Altman během podcastu také kritizoval výrobce pamětí za přílišnou opatrnost při rozšiřování výroby. Celý podcast jsem však sledoval a výše uvedená citace poskytuje relevantní kontext. Přání, aby měl každý více paměti, nemění jeho názor, že nedostatková DRAM přináší větší hodnotu v cloudu.
Satya Nadella chce neměřenou AI na každém pracovním stole a v každé domácnosti
Původním posláním MSu bylo dostat „počítač na každý pracovní stůl a do každé domácnosti“ a Nadella jej aktualizoval se zaměřením na AI. „Naším cílem je prostřednictvím Windows přinést neměřenou inteligenci do každé domácnosti a na každý pracovní stůl,“ uvedl v červnu.
Ve svém dopise k výroční zprávě za rok 2026 Nadella píše: „Jen si představte, kolik inteligence může být fakticky neměřené, až bude stále více schopných modelů běžet lokálně,“ přičemž pracovní úlohy se budou mezi cloudem a počítači přesouvat pomocí „automatického směrování“. Neměřená inteligence znamená, že práci provádí počítač, čímž odpadá nutnost platit za každý token vygenerovaný lokálním modelem. Uživatelé však stále musí zaplatit za samotný počítač a ty jsou dnes bolestivě drahé.
MS tento přístup nazývá hybridní inteligence. V blogovém příspěvku ze 7. října popisuje šéf Windows Pavan Davuluri Windows jako „platformu, na které mohou agenti běžet lokálně, když to dává smysl, a přistupovat ke cloudu, když jej potřebují.“ Se svolením uživatele může Copilot číst relevantní obsah v počítači, provádět akce napříč Windows a používat lokální modely pro vhodné úlohy, což podle Nadelly pomáhá „vytěžit z vašich tokenů více“.
MS rozhodně není proti cloudu. Funkce Cowork a Autopilot v Copilotu fungují prostřednictvím cloudové fakturace podle využití a MS podporuje OpenAI od své investice ve výši 1 miliardy dolarů v roce 2019. Redmond jednoduše nechce, aby se Windows proměnil v hloupý terminál pro datové centrum někoho jiného.
Surface Laptop Ultra od MSu se 128 GB ukazuje, kolik RAM lokální AI potřebuje
Pro upřesnění: lokální model běží na CPU, GPU nebo NPU počítače. Dokumentace Windows ML od MSu uvádí, že tento přístup zachovává „soukromí dat, eliminuje náklady na cloud a funguje bez připojení k internetu“, počítač však musí mít dostatek paměti pro uložení modelu.
Nejpůsobivějším příkladem od MSu je Surface Laptop Ultra, jehož čip NVIDIA RTX Spark sdílí mezi CPU a GPU až 128 GB sjednocené paměti — dostatek pro modely AI s až 120 miliardami parametrů. Model se 128 GB stojí 5 899,99 dolaru.
Zatímco se Altman 4. listopadu přejmenovával na síti X, inženýři MSu vysvětlovali, jak na RTX Spark provozují MAI-Code-1.1-Flash. Programovací model se 137,9 miliardy parametrů, z nichž je pro každý token aktivních 6,8 miliardy, vyžaduje při 16bitové přesnosti 276 GB. Kvantizace, která ukládá každou váhu pomocí menšího počtu bitů, jej zmenšuje na kontrolní bod o velikosti 53 GiB. Model stále potřebuje další paměť pro mezipaměť KV, která uchovává kontext kódu.
V konfiguraci MSu model při vstupu o délce 120 tisíc tokenů generoval mediánovou rychlostí 51,12 tokenu za sekundu. „Cílem je získat v rámci dostupných zdrojů užitečnější inteligenci, nikoli méně bitů na úkor přesnosti nebo odezvy,“ napsali inženýři.
Kvůli datovým centrům AI bude RAM ve vašem příštím počítači dražší
Altmanovy výroky přišly pro kupující počítačů v nelehké době. Společnost TrendForce očekává, že smluvní ceny běžných pamětí DRAM ve čtvrtém čtvrtletí roku 2026 mezikvartálně vzrostou o 10 až 15 %. Zároveň uvádí, že nabídka pamětí DRAM pro počítače by mohla v roce 2027 klesnout, „protože se větší část výrobní kapacity přesouvá k serverovým aplikacím“. Paměti HBM používané v serverech pro AI nejsou stejné jako DDR5 v noteboocích, oba typy však soupeří o výrobní kapacity malého počtu výrobců pamětí.
Za zmínku také stojí, že dodávky počítačů v minulém čtvrtletí klesly přibližně o 20 %.
Altman má pravdu, že datové centrum vytěží z každého gigabajtu větší hodnotu než můj notebook, počítač si ale nekupuji proto, abych maximalizoval globální využití pamětí DRAM. Kupuji si ho, abych mohl pracovat a hrát podle vlastních představ. Podle mého názoru je hybridní přístup MSu lepším řešením, pokud ovšem „neměřená inteligence na každém pracovním stole“ nebude nakonec znamenat pracovní stůl za 5 899 dolarů.
Chcete, aby AI běžela na vašem počítači, nebo v cloudu?
Windows Latest závisí na čtenářích, jako jste vy. Nastavte si nás jako preferovaný zdroj ve službách Google Discover a Vyhledávání Google a pomozte našemu nezávislému zpravodajství oslovit více lidí.
