Co se modelu nedaří, často vychází z toho, na čem se učil
Context engineering zůstává těžký ze stejného důvodu jako před dvěma lety: model není člověk. Drew Breunig ve své přednášce ukazuje, že se mezitím posunulo hlavně to, kde se chyby berou. Dřív plynuly z délky kontextu. Dnes stále častěji plynou z tréninku. Když model nedělá, co mu říkáš, může to být tím, že jdeš proti tomu, na co byl natrénován. Tomu žádný chytřejší prompt nepomůže.
Delší okno znamená víc místa pro chyby
V roce 2024 okna narostla ze 128 tisíc tokenů na milion a slibovalo se, že retrieval a návrh agentů přestanou být potřeba, protože se do kontextu vejde všechno. Nestalo se. Breunig popisuje čtyři selhání, která s délkou rostou: otrava, rozptýlení, zmatení a střet.
Otrava vypadá takhle: Gemini 2.5 Pro hrálo Pokémona a hodiny se snažilo donést strážci ledový čaj, protože v kontextu uvízl fakt z jiné verze hry. Rozptýlení zase měří studie, kde model dostal instrukci odpovídat rusky, ale příklady byly francouzsky. Menší modely po pár špatných příkladech instrukci následovaly méně než v polovině případů. Technická zpráva Gemini 2.5 navíc uvádí, že nad zhruba 100 tisíc tokenů agent spíš opakuje minulé akce, než aby plánoval nové.
Sada oprav se přitom nemění: doplnění kontextu (RAG, skilly), výběr nástrojů, karanténa přes subagenty, prořezávání, odkládání do souborů a shrnutí. V DSPy přidají čtyři z těch oprav k agentovi na dvanáct řádků asi šestnáct dalších řádků. Těžká není implementace, ale rozhodnutí, kdy kterou použít.
Boj s vahami a setrvačnost kontextu
V roce 2026 laby trénují modely, aby samy řídily harness a spravovaly si kontext. To přineslo dvě nová selhání.
Boj s vahami. Model se přeučí na prostředí, ve kterém trénoval. Systémový prompt Claude Code opakuje instrukci o paralelním volání nástrojů několikrát na různých místech, protože trénink byl převážně sériový. Opakování tu není neschopnost autora, je to protitlak proti vahám.
Setrvačnost kontextu. Model se upne na hypotézu a táhne ji dál. Anthropic Memento proto zhruba každých 90 minut maže kontext a nechává jen soubory a krátkou předávací poznámku. V experimentech Microsoft Research skóre dlouho stálo na místě, protože agent dělal čím dál menší změny. Berkeleyská studie na úloze AHC014 naměřila u týmu s periodickým zapomínáním 1 144 695 bodů, u čtyř paralelních agentů 1 007 073 a u jednoho agenta 961 136.
Obecný vzorec: každý skok ve schopnostech mění, co svěříš modelu a co musí vynutit systém. Práce se přesouvá z pravděpodobnostních volání modelu do deterministického kódu.
Co si z toho odnést
Když agent v dlouhé session tvrdohlavě opakuje stejný postup, nejlevnější oprava bývá reset: uložit stav do souborů, sepsat krátké předání a začít s čistým kontextem. Breunig sám zbystří kolem 200 až 300 tisíc tokenů. Když model soustavně ignoruje určitou instrukci, podívej se do technické zprávy, na čem trénoval, než začneš přepisovat prompt. A počítej s tím, že u dlouhodobých osobních agentů se hlavním problémem stane strategické zapomínání, ne paměť.