Pro model je těžká úloha ta, která se hodně větví
Esej Ankita Maloo na Latent Space vysvětluje, proč jsou modely najednou dobré v matematice. Nemyslí jako matematici. Uspějí tam, kde řešení potřebuje málo koncepčních skoků a kde je v každém kroku jen pár věrohodných pokračování. Když existuje automatický verifikátor, vyplatí se prohledávat i nápady, které by člověk nikdy nezkusil. Z toho plyne docela přesná předpověď, co padne příště.
Obtížnost jako délka řetězce nápověd
Esej si půjčuje rámec Timothyho Gowerse: obtížnost úlohy je nejkratší posloupnost nápověd, ze které by expert řešení zrekonstruoval. Složitost roste exponenciálně s počtem nutných vhledů. Maloo přidává faktor větvení: kolik věrohodných nápověd připadá v úvahu v každém kroku. Cesta o k krocích při větvení b znamená zhruba b na k kandidátů.
Příklad je vyvrácení jedné domněnky o jednotkových vzdálenostech. Řetězec nápověd byl krátký: hledej protipříklad, zobecni nejlepší známou konstrukci, použij číselná tělesa rostoucího stupně. Úzké místo byl první krok. Gowers napsal, že ho nikdy nenapadlo domněnku vyvracet. Jiný expert, Tsimerman, protipříklad zvažoval a přestal, protože takové hledání podle něj většinou nevyjde.
Člověk hledá s přesvědčením, model s výpočtem
Výzkumník zkusí pár směrů zběžně, většinu zahodí a k několika se zaváže. Měsíce práce vyžadují silný důvod věřit, že nápad funguje. Proto zvláštní nápady neprochází. U úloh postavených na vhledu navíc chybí gradient. Studie Metcalfe a Wiebeho ukazují, že hlášený pokrok zůstává plochý až do okamžiku, kdy se řešení objeví. Řešitel neví, jak blízko je.
Model jde do hloubky a vyměňuje čas za výpočet. Bez kontroly produkuje krásné chybné důkazy. S verifikátorem, který dokončené argumenty prořezává, stojí test slabé nápovědy minuty. Harness pak kolem toho staví smyčku: draftér píše zadání podle minulých neúspěchů, řešitelé zkoušejí cesty a verifikátor kontroluje. Neúspěchy se mění v negativní nápovědy. Navier-Stokesův důkaz, který esej cituje, spotřeboval kolem 10 000 agentů, asi 300 miliard tokenů a 88 hodin, ale nad programem, který už byl zmapovaný.
Kde to padne dřív
Faktor větvení je prediktor. Kybernetická bezpečnost podle eseje padla jako první, protože mezikroky se tam větví jen jednou nebo dvakrát. Nejzranitelnější jsou úlohy se známým tvarem řešení a úzkým výběrem dalšího kroku, bez ohledu na to, jak prestižní jsou. Člověku zůstává výhoda tam, kde je strom hluboký a hodně rozvětvený.
Esej to shrnuje dělbou práce: lidé umí zužovat větve, modely umí zkracovat čas potřebný na prořezání jedné větve. Upozorňuje i na cenu. Neúspěšný lidský pokus nese informaci úměrnou přesvědčení, které za ním stálo. Když AI publikuje jen výsledky, komunita přijde o cestu k nim.
Co si z toho odnést
Když odhaduješ, jestli agent zvládne úlohu, neptej se, jak je těžká pro člověka. Ptej se, jestli existuje rychlý a spolehlivý verifikátor a jak široký je výběr v každém kroku. Testy, typová kontrola nebo reprodukovatelný exploit dělají z otevřeného problému prohledávání se zpětnou vazbou. Kde verifikátor chybí, model sám o sobě neví, že je vedle. Tvoje práce je zúžit větve a dodat kontrolu, ne psát kroky za něj.