Генерация изображений

Генерация и редактирование изображений в ClickHouse Agents

Генерация изображений позволяет агенту создавать новые изображения по текстовому промпту или редактировать изображения, загруженные пользователем. Агент выбирает между генерацией и редактированием в зависимости от запроса и доступного контекста.

​

Включить генерацию изображений

Генерация изображений настраивается через модальное окно Add Tools в Конструкторе агентов (а не в разделе Capabilities). Нажмите Add Tools в нижней части панели Конструктора агентов, затем добавьте один из инструментов для генерации изображений — например, OpenAI Image Tools, DALL-E-3 или Stable Diffusion. Агент сам выберет подходящий инструмент на основе запроса, либо вы можете ограничить выбор в инструкциях.

​

Генерация

Когда пользователь запрашивает изображение, агент вызывает инструмент генерации с промптом и возвращает полученное изображение прямо в диалог. Агент сохраняет ссылку на изображение в своём контексте, чтобы затем описать или повторно использовать его в рамках того же диалога.

​

Редактирование

Если пользователь загружает изображение и просит внести изменения — поменять цвет, добавить объект, расширить композицию, — агент использует вариант инструмента для редактирования. Результат заменяет нужную область или расширяет исходное изображение в соответствии с запросом.

​

Примечания

• Сгенерированные изображения автоматически не отправляются на отдельный анализ в Vision. Если агенту нужно интерпретировать изображение, используйте Vision с изображением, загруженным пользователем.
• Действуют политики провайдера в отношении контента. Промпты, нарушающие политику провайдера, возвращают ошибку вместо изображения.