Команда лаборатории компьютерных технологий (CT-Lab) Университета ИТМО разработала библиотеку CoolPrompt для автоматической оптимизации промптов — инструкций для больших языковых моделей. Она упрощает и ускоряет написание запросов ИИ и дает возможность специалистам без глубоких технических знаний получать конкретные результаты запросов. Фреймворк впервые представили на конференции AI Journey в этом году.
Пользователи по всему миру применяют генеративный ИИ в разных областях, но его эффективность упирается в распространенную проблему: чтобы языковая модель правильно выполнила задачу, ей необходимо дать предельно четкую инструкцию. Для создания, например, простого текста, достаточно задать несколько промптов. Однако для более глубоких задач, например, вычислений или систематизации данных в области медицины или юриспруденции, нужен промпт-инженер. Процесс составления сложных запросов требует знаний в области технологий, много времени, проб и ошибок. CoolPrompt делает генерацию и тестирование разных промптов автоматически. Библиотека самостоятельно оптимизирует запросы и выводит лучший, чтобы точно адаптировать его под конкретную задачу.
«Преимущество CoolPrompt над аналогами, такими как Dspy, PromptWizard, Promptomatix, заключается в высокой эффективности подбора промптов и широком функционале. Фреймворк сам может генерировать данные для настройки и оценки запросов. Система позволяет выбирать метод оптимизации в зависимости от приоритета — скорость или качество, поддерживает широкий спектр языковых моделей, а также может генерировать понятный отчет по итогам оптимизации. Это очень важно, потому что часто бизнес-заказчики приходят с задачей, но без готовых размеченных данных», — пояснил руководитель RnD команды CT-Lab Никита Кулин.
Аналогичные библиотеки для автоматического промптинга ограничены техническими возможностями по сравнению с CoolPrompt. Разработка специалистов ИТМО отличается тем, что в ней используется комплекс методов, которые образуют полноценный пайплайн — то есть последовательность шагов от начала и до конца, через которые проходит задача. Ставка была сделана, во-первых, на метод ReflectivePrompt и его эволюционные алгоритмы — система работает по принципу естественного отбора, создавая и улучшая следующие запросы, которые сформировались из предыдущих. Во-вторых, на быстрый подход HyPE, который позволяет за одно действие написать структурированный по смыслу промпт. В-третьих, фреймворк может сам создавать учебные данные и дистиллировать промпты, то есть создавать их более эффективные и компактные варианты с помощью алгоритма DistillPrompt.
Понять разницу между запросами от рядового пользователя и CoolPrompt можно на простом примере. Базовый промпт «напиши эссе про осень» слишком абстрактный. Библиотека, используя метод HyPE, делает из него развернутую инструкцию: определяет роль ИИ («ты — эксперт в писательском деле»), задает структуру, стиль и тон, конкретизирует, какие аспекты времени года нужно раскрыть. Разработчики контролируют параметр «температура», который отвечает за разнообразие ответов, поэтому результат не выглядит шаблонным. Работа начинается с написания исходного промпта человеком, а далее большая языковая модель LLM автоматически создает синтетический набор. При этом качество последних данных не уступает оригинальным.
Технология уже доступна в каталогах GitHub и PyPI для Python-разработчиков и полностью совместима с российскими и иностранными ИИ. Фреймворк дает три ключевых преимущества:
демократизацию ИИ — в перспективе, например, врач или юрист сможет получать точные ответы без технических знаний; экономию ресурсов — автоматический процесс избавляет от часов ручной работы; стабильное качество — алгоритм обеспечивает воспроизводимый результат.CoolPrompt уже нашел свои первые внедрения в реальные проекты. Например, его метод HyPE добавили в разрабатываемую мультиагентную систему DMA-MAS — набор модулей с ИИ для выполнения сложных запросов. Это внедрение повысило эффективность ИИ-агентов и сократило затраты на обращение к внешним LLM-моделям. «Библиотека хорошо подходит для задач без датасетов — набора данных для машинного обучения — для пользовательских чатовых запросов. Это ее ключевое преимущество для быстрого прототипирования и обогащения запроса пользователя перед отправлением в чат», — прокомментировал старший промпт-инженер MWS AI Данила Катальшов.
В будущем разработчики планируют создать веб-сервис, где любой человек без IT-образования и глубоких знаний сможет улучшить промпт в «один клик». Специалисты продолжают добавлять новые алгоритмы оптимизации и совершенствовать библиотеку, чтобы промпт-инжиниринг был простым и понятного для каждого заинтересованного в современном искусственном интеллекте.
Фото: pinterest.com
Это новость от журнала ММ «Машины и механизмы». Не знаете такого? Приглашаем прямо сейчас познакомиться с этим удивительным журналом.