Глеб — Детерминированные кодинговые агенты и Shotgun
Вид: доклад (видео) с демонстрацией, стенограмма с ответами на вопросы
Коротко
Вопрос: как устроен и на чём основан кодинговый агент Shotgun?
Ответ: Глеб говорит, что верит в детерминированный процесс на жирных промтах (Т1), и называет опорой индекс проекта (Т3, Т4); трудными местами он называет сам такой процесс и дифы (Т5–Т7).
Тезисы
Т1. Глеб верит, что детерминированный процесс на жирных промтах хорошо работает
- Аргумент: так он формулирует итог своего опыта работы с Shotgun.
- Цитата: «Ну, короче говоря, я верю вот то, что детерминирован процесс на жирных промтах прямо хорошо работает.»
Т2. По Глебу, агент — это промт плюс заданный контекст
- Аргумент: так он поясняет своё понимание агента.
- Цитата: «И по сути агент - это синоним слова промт плюс некий заданный контекст.»
Т3. По Глебу, для хорошего жирного контекста должен быть хороший индекс
- Аргумент: это одно из его открытий при создании агента.
- Цитата: «Для того, чтобы вам получился хороший жирный контекст, должен быть хороший индекс.»
Т4. Скан проекта занимает около 20 000 токенов, тогда как кодовая база, по словам Глеба, больше полутора млн
- Аргумент: так Глеб показывает размер индекса на своём проекте.
- Цитата: «А скан, чтобы вы понимали, вот он 20.000 токенов, а кодовая база у меня больше полутора млн сейчас.»
Т5. По Глебу, сделать хороший детерминированный процесс трудно
- Аргумент: он противопоставляет это лёгкости создания агента, как у кодекса.
- Цитата: «А попробуй сделать хороший детерминированный процесс, с ума сойдешь.»
Т6. По Глебу, с дифами целая проблема, половина проблем вообще кодинговых агентов
- Аргумент: это его оценка по опыту применения дифов, сгенерированных агентами.
- Цитата: «с дифами целая проблема, половина проблем вообще кодинговых агентов.»
Т7. Глеб утверждает, что ни один из дешёвых агентов нормально не делает дифы, которые применяются
- Аргумент: так он описывает слабость дешёвых квантизированных моделей.
- Цитата: «Ни один из дешевых агентов нормально не может сделать дифы так, чтобы они применились.»