Stejný model, šedesátkrát jiná spotřeba tokenů

Když ti agent spálí denní limit tokenů, první instinkt je sáhnout po levnějším modelu. Je to špatný instinkt. Na Terminal-Benchi vykázal stejný model napříč různými harnessy zhruba 66násobný rozptyl ve spotřebě tokenů. Jiná studie naměřila přes 54 procentních bodů rozdílu ve výkonu — se stejnými modely, jen s jiným uspořádáním kolem nich. Nerozhoduje model. Rozhoduje harness.

Rozděl role, ne úlohu

Používat jeden frontier model na všechno je nejdražší možná volba. Většina práce v agentu není náročná na inteligenci — je to hledání, formátování, spouštění nástrojů. Frontier model má smysl schovat na to, kde ho opravdu potřebuješ: na plánování a řešení sporů.

Proto se práce rozděluje podle poměru schopnost k ceně. Levný model hledá. Přesný ověřuje. Drahý orchestruje a rozhoduje, když se dva výsledky rozejdou. Nejlevnější model dělá triviální formátování. Tímhle rozdělením spadne spotřeba drahého modelu klidně na desetinu, aniž by se hnul výsledek. Klíč je nevidět agenta jako jeden mozek, ale jako tým s jasně rozdělenými rolemi.

Kdo nález najde, ten ho neověří

Druhá půlka je disciplína ověřování, a je to nejsilnější místo celého uspořádání. Platí dvě pravidla:

Kdo nález najde, nikdy ho neověřuje. Ověření dělá jiný model. Ten, kdo tvrzení vyprodukoval, je na něj zaujatý — přesně proto ho vydal. Oddělením nálezce od ověřovatele chytíš věci, které vypadají věrohodně, ale jsou vymyšlené.

Do znalostní báze nic nevejde bez URL a citace z primárního zdroje. Žádná odvozená čísla, žádné „model to tvrdil". Tvrzení musí nést přímý důkaz. Tahle dvě pravidla dělají z hromady levných modelů něco spolehlivějšího než jeden drahý, protože chyba jednoho článku neprojde dál bez nezávislé kontroly. Automatická pravidla přitom nestačí sama o sobě — v jednom případě zamítla i legitimní zdroje, takže lidská revize zůstává součástí.

Co si z toho odnést

Než začneš platit za silnější model, podívej se na harness. Rozptyl mezi tenkým a tlustým uspořádáním je tak velký, že přebíjí rozdíl mezi modely. Rozděl role: nech levný model hledat, přesný ověřovat, drahý jen orchestrovat. A oddělenou instanci pověř ověřováním, protože ten, kdo nález vyrobil, ho neposoudí nestranně. Levná pipeline s dobrou dělbou práce a povinným zdrojem u každého tvrzení dojde dál a spolehlivěji než jeden drahý model, kterému věříš na slovo.