Neuralwatt

В стандартных облачных API быстрый ответ из кэша за пару миллисекунд и тяжёлая генерация, которая греет видеокарту десять секунд, тарифицируются одинаково: по числу токенов. Американская компания Neuralwatt Inc., основанная в конце 2024 года бывшими инженерами Microsoft, привязала прайс к разъёмам питания GPU и выставляет счёт в киловатт-часах за фактически потраченное электричество.

Другие шлюзы каталога решают задачи маршрутизации и инфраструктуры классическими методами: Requesty страхует от сбоев умным роутингом и семантическим кэшем, AI/ML API держит сквозную совместимость с форматами OpenAI и Anthropic, а Novita AI сдаёт посекундные песочницы и кластеры без виртуализации. Neuralwatt же строит вокруг аппаратной телеметрии видеокарт и управления питанием ЦОД сразу три продукта: облачный шлюз Neuralwatt Cloud, балансировщик мощности Neuralwatt Optimize и систему Neuralwatt Deploy для работы на собственных или простаивающих серверах.

Счётчик на видеокарте и защита от переплат

Во время генерации драйвер NVIDIA NVML несколько раз в секунду снимает показания с кумулятивных счётчиков энергии ускорителя. Когда на одном сервере параллельно идут несколько диалогов, общие ватт-часы делятся пропорционально доле токенов каждого запроса в текущем пуле. Одиночные вызовы в полупустом кластере упираются в порог `attribution_cap`, чтобы клиент не оплачивал простой чужого железа.

От ценовых перекосов в обычных очередях страхует правило токенового потолка и механизм Surge Protection: запрос по энерготарифу не выйдет дороже внутреннего токенового эквивалента платформы (при желании в настройках можно вернуться к классической оплате за токены). Попутно API возвращает углеродный след каждого ответа в граммах CO₂, сверяясь с живыми данными локальной энергосети из Electricity Maps вместо бумажных «зелёных» сертификатов. Инженеры на Hacker News хвалят сервис за открытую аналитику фазы префилла, хотя указывают на слепую зону: система не умеет заранее оценивать расход энергии до отправки ветвящегося кэша.

Постоянного бесплатного тарифа здесь нет. После регистрации открываются веб-песочница Playground и ежедневная акционная квота на модели линейки Flash (действует до начала 2027 года), но для запуска триальных кредитов придётся привязать платёжную карту. На стартовых аккаунтах также жёстко урезаны лимиты на число одновременных запросов и объём некэшированного ввода в минуту.

Пять режимов генерации и доступные модели

Одни и те же веса нейросетей вызываются в пяти профилях энергопотребления со своими компромиссами:

• Reasoning включает полную цепочку рассуждений, а Fast отсекает её ради экономии времени и ватт.
• Short урезает длину контекста и снижает нагрузку на KV-кэш.
• Long принудительно сжимает историю переписки, но пересказывает старые сообщения своими словами и может терять точные детали диалога.
• Flex опускает приоритет задачи в очереди и даёт скидку, однако она срабатывает только при потоковой передаче (`stream`).

Для задач с минимальной задержкой выделены скоростные линии Speed lanes, где серверы нарезаны менее плотно, а стоимость рассчитывается уже поверх стандартного ценового потолка.

В веб-панели и по API собраны открытые семейства DeepSeek, ZhipuAI GLM, MoonshotAI Kimi, Google Gemma, Alibaba Qwen (включая модели эмбеддингов) и Xiaomi MiMo с поддержкой аудиовхода. Рядом работают собственные алиасы платформы (Neuralwatt Flash, Neuralwatt Small, Neuralwatt Large) и экспериментальный эндпоинт моделей принятия решений. Большинство текстовых нейросетей распознают изображения, вызывают внешние инструменты и выдают строгий JSON.

Интеграция в код, контроль бюджета и приватность

Подключение к готовым проектам обходится без переписывания клиентской логики: достаточно поменять базовый адрес в стандартных клиентах OpenAI (Python или Node.js) либо Anthropic SDK, Claude Code и OpenCode, а для консоли есть плагин к утилите llm. При потоковом выводе метрики киловатт-часов приходят внутри SSE-комментариев и не ломают строгие парсеры вроде Vercel AI SDK. Шлюз кэширует префиксы входящего контекста и содержит встроенные серверные инструменты, такие как веб-поиск через Brave или проверка остатка бюджета самой моделью.

Финансовые рамки задаются лимитами на конкретный API-ключ и жёсткими ограничениями прямо в HTTP-заголовках сессии или отдельного запроса. Политика приватности запрещает обучать нейросети на данных из API: тексты запросов не сохраняются на диск и живут в оперативной памяти мультисессий не дольше суток. Интерфейс и документация работают на английском языке, доступ открыт в веб-кабинете и по API.

Управление питанием в дата-центрах

За пределами публичного облака наработки компании разворачиваются как управляемая инфраструктура на серверах и GPU-кластерах заказчика. Движок Optimize работает поверх стека vLLM и TensorRT-LLM, корректируя лимиты мощности видеокарт каждые сто миллисекунд для сглаживания пиков потребления. В опубликованном кейсе на облаке Crusoe Cloud эта балансировка подняла пропускную способность на треть и уместила восемь ускорителей NVIDIA в энергопакете шести карт. Модуль Deploy ставит инференс на железо клиента и при скачке нагрузки за считанные секунды возвращает приоритет по питанию основным задачам дата-центра.