Проект PenEcho предлагает новый способ взаимодействия с искусственным интеллектом, заменяя привычный чат бесконечным рабочим пространством. Пользователь может свободно писать от руки, рисовать схемы, создавать диаграммы и записывать математические формулы, а модель анализирует не только текст, но и визуальный контекст. Она учитывает расположение объектов, связи между ними и общую структуру рабочей области, благодаря чему взаимодействие становится ближе к работе на обычной доске.
Во время работы PenEcho автоматически определяет нужную область холста и отправляет её языковой модели. Ответ появляется рядом с соответствующей частью записи, поэтому пользователю не приходится переключаться в отдельное окно чата. Такой подход особенно удобен при решении математических задач, изучении физики, проектировании систем, проведении мозговых штурмов и в других сценариях, где важную роль играют схемы, чертежи и рукописные заметки.
PenEcho работает локально на компьютере пользователя и поддерживает несколько способов подключения к современным языковым моделям, включая OpenAI-совместимые API, Codex CLI и Claude Code. Для снижения расхода токенов приложение передаёт не весь холст, а только необходимый фрагмент вместе с его координатами, что уменьшает стоимость обработки запросов.
Проект распространяется по лицензии AGPL-3.0 с открытым исходным кодом, поэтому любой желающий может изучить его устройство, предложить изменения или принять участие в развитии. Основная задача PenEcho заключается в том, чтобы сделать работу с искусственным интеллектом более естественной и встроить его в привычный процесс создания заметок и визуального мышления.
