Для бизнеса

Корпоративный сектор · LevPRO AI runtime

Локальный agentic AI внутри вашего периметра

LevPRO AI runtime — локальные агенты на llama-server и GGUF. Данные и инференс остаются на вашей инфраструктуре: без облачных LLM API по умолчанию. Подходит для команд, которым нужен ассистент в периметре с MCP-интеграциями и HTTP API.

Запросить консультацию Документация runtime

Почему LevPRO AI runtime

Данные в контуре

Инференс через локальный llama-server. Нет отправки промптов в коммерческие облачные LLM — удобно для периметра и коммерческой тайны.

Контроль над runtime

Открытый исходный код (MIT). Можно форкнуть, встроить в свой стек и развернуть на Windows, Linux или macOS (Python 3.11+).

Масштаб от железа

Нет лимитов облачного API. Контекст и скорость зависят от вашей модели и оборудования; параметры запуска подбирает планировщик.

Возможности LevPRO AI runtime

Только то, что реально есть в LevPRO AI runtime — без облачного SaaS и marketplace.

ReAct-агенты

Agent loop с tool calling, несколько именованных агентов в YAML, опциональный multi-model ensemble на разных GGUF.

MCP-инструменты

Capabilities (файлы, shell, git, HTTP и др.) подключаются через хостовый mcp.json. Транспорты stdio и HTTP; ApprovalGate для tools с requires_approval.

OpenAI-compatible HTTP

local-ai serve-http: /v1/chat/completions с SSE, /v1/models, /health. Опциональный Bearer-токен; TLS — через ваш reverse proxy.

Host-интеграции

CLI, NDJSON stdio-протокол для UI/хостов, Python-embedding через create_app() и SessionRunner.

Память и навыки

Опциональные extras: L0–L3 memory и RAG по Markdown, skills, monitor, autotune / ModelPlanner под GGUF и железо.

Ops

Супервизор llama-server, healthchecks, структурированные логи. Скетчи развёртывания: pip/venv, Windows NSSM, Linux systemd.

Модель безопасности

DirectoryGuard

Песочница путей для runtime-данных. MCP-серверы FS/shell хост контролирует отдельно.

ApprovalGate

Подтверждение опасных MCP-tools, помеченных requires_approval.

Контроль хоста

Какие MCP-серверы и tools доступны агенту — решает хост через mcp.json и allowed_tools.

LevPRO AI runtime не заменяет корпоративный IAM (SSO/LDAP/RBAC) и не поставляет процессный sandbox для кода, выполняемого MCP-серверами.

Как начать

Самостоятельно

Установите LevPRO AI runtime из исходников, настройте config.yaml и MCP. Подходит для пилотов и команд с опытом Python / llama.cpp.

Быстрый старт

Консультация

Обсудим сценарий внедрения: HTTP API для внутренних клиентов, MCP-интеграции, развёртывание как сервиса и требования к железу.

Запросить консультацию

Опишите задачу и контур — мы свяжемся по e-mail и обсудим варианты на базе LevPRO AI runtime.