Znalosti a uvažování mají v parametrech jinou cenovku
Sleduješ dvě čísla o stejném modelu a nesedí to. GLM-5.2 dělá 99,2 % na AIME 2026 se zhruba 40 miliardami aktivních parametrů na token. Qwen3.5 dělá 91,3 % se sedmnácti. To jsou soutěžní matematické úlohy, které před dvěma lety nezvládaly ani ty největší modely. A ty stejné modely mají na znalostním benchmarku míru halucinací kolem osmdesáti procent. Nejlepší výsledek na SimpleQA drží Gemini 2.5 Pro s 53 %.
Chytrý model, který nic neví. To není nedodělek, který se příští generací dožene. Je to důsledek toho, že fakta a postupy stojí v parametrech úplně jinak.
Dva bity na parametr
Nejužitečnější číslo z celé debaty pochází ze série Physics of Language Models: kapacita pro faktickou znalost je řádově dva bity na parametr. To je tvrdý strop, ne heuristika. Chceš, aby model věděl víc věcí, musíš přidat parametry, a to zhruba lineárně.
Uvažování se takhle nechová. Postup, jak řešit soustavu rovnic, jak rozložit důkaz, jak držet mezikrok, se v parametrech nechová jako záznam v tabulce, ale jako znovupoužitelná procedura. Naučí se jednou a aplikuje na neomezeně mnoho vstupů. Proto se sedmnáctimiliardový model dostane na 91 % v matematice a přitom neví, kdo co kdy podepsal.
Z toho plyne, že u MoE modelů jsou expertní vrstvy velkou částí uložištěm faktů. A pokud je to tak, dá se ta část odloupnout: celková velikost se přiblíží té aktivní a model kolem 20 až 40 miliard se ve čtyřbitové kvantizaci vejde na běžnou 24GB kartu. Ta konkrétní úvaha je zatím hypotéza autora, ne změřený výsledek — ale ta ekonomika pod ní platí bez ohledu na to, jak dopadne.
Proč jsou fakta ve vahách špatná investice
Ekonomika je jen půlka. Druhá je údržba. Fakta zapečená ve vahách mají tři vlastnosti, které z nich dělají špatné místo k uložení.
Zastarávají. Postup na řešení kvadratické rovnice platí napořád. Kdo je CEO a kolik stojí API, platí měsíce. Znalost ve vahách se ale aktualizuje jedině dalším tréninkem.
Nejde je opravit adresně. Když je v datech chyba, nemáš řádek, který bys přepsal. Máš rozprostřenou reprezentaci napříč vrstvami.
Neumíš je citovat. Model, který odpověď zná z vah, ti nemůže ukázat, odkud ji má. Model, který si ji dotáhl z retrievalu, ano — a ty můžeš ověřit zdroj místo ověřování modelu.
Tři nezávislé důvody, které ukazují stejným směrem: znalosti patří ven z vah. Ne proto, že by se tam nevešly, ale proto, že tam nejdou spravovat.
Co to mění v tom, co stavíš
Praktický důsledek pro aplikace je konkrétní. Když skládáš systém, přestaň se ptát, který model toho "ví nejvíc", a začni se ptát, který nejlíp uvažuje nad kontextem, který mu dodáš. To je jiná osa a benchmarky na ní vypadají jinak.
Znamená to taky, že retrieval, nástroje a vyhledávání přestávají být berlička pro slabé modely a stávají se paměťovou vrstvou architektury. Model je pak procesor, ne databáze. Tenhle posun mění, kde měříš kvalitu: většina chyb systému přestane vznikat v modelu a začne vznikat v tom, co jsi mu dal do kontextu.
A dává jinou odpověď na volbu velikosti. Když víc parametrů nakupuješ hlavně kvůli znalostem, které stejně dotahuješ zvenčí, platíš za kapacitu, kterou nepoužíváš. Malý model se silným uvažováním plus dobrý retrieval bývá levnější i přesnější než velký model, kterému věříš paměť.
Co si z toho odnést
Odděl v hlavě dvě schopnosti, které se schovávají pod slovem "chytrý". Uvažování se do vah komprimuje výborně a škáluje se s tréninkem. Faktická znalost stojí zhruba dva bity na parametr, zastarává a nejde adresně opravit.
Praktické pravidlo: cokoli, co může být zítra jinak, nepatří do vah. Patří do kontextu, kde se to dá vyměnit, verzovat a citovat. Když příště vybíráš model, nech znalostní benchmarky stranou a dívej se na uvažování a na kvalitu práce s kontextem — o faktech rozhoduje tvůj harness, ne trénink.