MIT и MIT-IBM описали SwaT для передачи KV-кеша между LLM

MIT CSAIL и MIT-IBM Computing Research Lab представили SwaT — исследовательский метод, который позволяет передавать между агентами не текстовый пересказ контекста, а уже вычисленный KV-кеш. По замыслу авторов это дает следующей модели возможность продолжить работу без повторного prefill, даже если агенты относятся к разным семействам LLM.

Авторы пишут, что проверили подход на 17 бенчмарках, 12 моделях и 6 семействах. В сочетании с компактизацией KV-кеша они заявляют в среднем на 40% более высокую точность и примерно 4-кратное ускорение относительно text-to-text передачи контекста.

Важно, что речь идет о публичном препринте на arXiv, а не о готовом продукте или API. Отдельно стоит учитывать caveat из research pack: ссылка Swarm Telepathy (SwaT) ведет не на новый метод, а на другую работу 2020 года, поэтому детали анонса имеет смысл сверять по arXiv-версии.