Горячий prefix-кэш vLLM между ходами агента: с 55% до 95% попаданий
Автор месяц хостил Qwen3.8 27B локально на двух RTX 3090 под vLLM, пытаясь собрать замену Claude Code для повседневных задач. Первое утро было тяжёлым: в среднем полминуты до первого слова ответа, отд…