Jak šetřit kredity? Pozor na 5minutovou cache
Antonín Hegr ·
Nejdražší věc, kterou většina lidí vůbec nevidí, je 5minutová cache. Když o ní víš, ušetříš a tvoje 5hodinové okno vydrží mnohem déle.
Když si s Claudem píšeš, celá konverzace se drží v cache. Drží se ale jen 5 minut. A ten čas běží od chvíle, kdy Claude dokončí svou práci, ne od tvého vstupu. Když do pěti minut pošleš další prompt, Claude čte z cache levně. Když je pauza delší, cache mezitím vyprší a tvůj další prompt načte celou konverzaci znovu od začátku. A platíš ji celou.
Rozhoduje tedy ta pauza, ne jak rychle píšeš. U dlouhé konverzace to bolí. Když se vrátíš k včerejšímu rozsáhlému chatu a napíšeš do něj dnes, jedním promptem ti to klidně ukrojí 30 % z tvého 5hodinového okna. Přečte se totiž celá ta historie nanovo.
Cíl: drž odpovědi do 5 minut
Dokud běží cache, je práce levná. Snaž se na rozdělaný chat vrátit dřív, než od Claudovy poslední odpovědi uplyne pět minut. Pak se historie nemusí číst znovu.
Nestíháš? Nech si vygenerovat kontext
Když to do pěti minut nedáš, nech si vygenerovat závěr, plán nebo kontext a pokračuj s ním v novém, kratším chatu, místo abys pořád oživoval obří historii.
Není to dogma. Někdy se prostě hodí přemýšlet déle a je lepší překousnout, že to vezme hodně. Důležité je, že o tom víš. Pak tě to nepřekvapí a snadno ušetříš.
U malých chatů je to zanedbatelné. Ale pokud máš rozepsaných víc dlouhých konverzací a u každé se po pěti minutách vrátíš, tvoje 5hodinové okno se vyčerpá nesrovnatelně rychleji.