Проверено вживую на LM Studio 0.4.x, 2026-08-07, локальный сервер на порту 1234\n(AMD Strix Halo, 128 ГБ единой памяти). Замеры в конце - на qwen3-vl-30b-a3b-instruct.
| Поверхность | \nПуть | \nНазначение | \n
|---|---|---|
| OpenAI-совместимая | \n/v1/* | \nинференс: chat/completions; models отдает только КАТАЛОГ скачанных | \n
| Нативная v0 (устаревшая) | \n/api/v0/* | \nmodels с полем state; управления моделями нет | \n
| Нативная v1 | \n/api/v1/* | \nс LM Studio 0.4.0, рекомендуемая: инференс + управление моделями | \n
Anthropic-совместимые эндпоинты тоже заявлены в доках, не проверялись.
\nPOST /api/v1/chat (НЕ /api/v1/chat/completions)\nGET /api/v1/models\nPOST /api/v1/models/load\nPOST /api/v1/models/unload\nPOST /api/v1/models/download\nGET /api/v1/models/download/status\nload: обязателен model - точный ключ модели. Опционально context_length,\neval_batch_size, flash_attention, num_experts, offload_kv_cache_to_gpu,\necho_load_config. Всегда ставить echo_load_config: true - ответ вернет фактически\nпримененный конфиг, и сразу видно, что сервер проигнорировал.
Ответ: {\"type\", \"instance_id\", \"load_time_seconds\", \"status\": \"loaded\", \"load_config\": {...}}.\nВызов БЛОКИРУЮЩИЙ - возвращается по факту загрузки, отдельно опрашивать готовность не нужно.
unload: обязателен instance_id, НЕ имя модели. Берется из loaded_instances[].id\nответа GET /api/v1/models.
GET /api/v1/models отдает {\"models\":[...]} с полями key, type, publisher,\narchitecture, quantization, size_bytes, max_context_length, capabilities,\nloaded_instances[]. У инстанса - id и config с фактическими context_length,\nparallel, flash_attention, eval_batch_size, num_experts и прочим.\nПустой loaded_instances = модель не загружена.
| \n | /v1/chat/completions (OpenAI) | \n/api/v1/chat (родной) | \n
|---|---|---|
| поле ввода | \nmessages | \ninput | \n
| схема | \nлишние ключи проглатывает | \nстрогая, лишний ключ -> 400 unrecognized_keys | \n
| управление reasoning | \nНЕТ (см. ниже) | \nreasoning первым классом | \n
| ответ | \nchoices[].message.content | \noutput[].content | \n
| статистика | \nusage | \nstats c reasoning_output_tokens | \n
Тело родного вызова и ответ:
\n{\"model\": \"...\", \"input\": \"<весь промпт строкой>\", \"reasoning\": \"off\"}\n\n{\"model_instance_id\": \"...\",\n \"output\": [{\"type\": \"message\", \"content\": \"Париж\"}],\n \"stats\": {\"input_tokens\": 22, \"total_output_tokens\": 4, \"reasoning_output_tokens\": 0,\n \"tokens_per_second\": 64.8, \"time_to_first_token_seconds\": 1.79}}\nchat_template_kwargs: {\"enable_thinking\": false} НЕ РАБОТАЕТ. Для GGUF линейки qwen3.x\nв LM Studio этот параметр не прокидывается - зарегистрированный баг\n(lmstudio-ai/lmstudio-bug-tracker issue #1990). Замер на qwen/qwen3.6-35b-a3b: с флагом и\nбез него результат идентичен - весь бюджет max_tokens уходит в размышления,\nfinish_reason=length, content пуст, ответа нет вообще.
Это опасно вдвойне: многие клиенты при пустом content подставляют reasoning_content.\nТогда в парсер уезжает текст размышлений вместо ответа, и задача со строгим форматом (JSON)\nне падает с ошибкой, а тихо возвращает мусор.
Рабочий способ - параметр reasoning на /api/v1/chat:
{\"model\": \"qwen/qwen3.6-35b-a3b\", \"input\": \"...\", \"reasoning\": \"off\"}\nТот же запрос через родной эндпоинт: reasoning_output_tokens: 0, чистый ответ в content,\n5.8 с против полного провала на OpenAI-совместимом пути.
Допустимые значения зависят от МОДЕЛИ. Схема эндпоинта принимает\noff | low | medium | high | on, но конкретная модель может поддерживать лишь часть:\nqwen3.6 отвечает 400 Reasoning setting 'low' is not supported by model ... Supported settings: 'off', 'on'. Источник истины - capabilities.reasoning.allowed_options в\nGET /api/v1/models. Модель без блока reasoning в capabilities (варианты Instruct,\nнапример qwen3-vl-30b-a3b-instruct) не думает в принципе и параметра не требует.
Практический вывод: не отбраковывать reasoning-модели из-за «неотключаемого thinking» -\nчерез родной эндпоинт они полностью управляемы. Отбраковка оправдана, только если клиент\nнамертво привязан к OpenAI-совместимому пути.
\nНеизвестный путь отдает HTTP 200, а не 404. Тело при этом\n{\"error\":\"Unexpected endpoint or method. (GET /path)\"}. Код ответа НЕ доказывает\nсуществование маршрута - читать тело обязательно.
Несоответствие метода отдает 404, а не 405. GET по POST-эндпоинту выглядит как\n\"маршрута нет\". Зондировать наличие маршрута GET-ом бесполезно и приводит к ложному выводу.\nПравильно: POST с пустым телом - валидатор вернет 400 со схемой\n(Missing required field 'model'), и это доказывает, что маршрут есть.
/api/v0/models не отдает loaded_context_length у незагруженной модели - поля просто\nнет в объекте. Идиома x.get(\"loaded_context_length\") or x.get(\"max_context_length\") молча\nподставит архитектурный потолок (262144 вместо реальных 32768) и обрушит расчет бюджета.\nГейтить строго по state == \"loaded\" (v0) или по непустому loaded_instances (v1).
load может вернуть 500 на крупной модели, хотя загрузка при этом состоится. Замер:\nмодель на 37 ГБ отдала HTTP 500 через 138 секунд (клиентский таймаут был 900 - обрывал не\nклиент), а через интерфейс та же модель загрузилась штатно. Похоже на внутренний предел\nсервера на длительность загрузки. Следствие для кода: после неуспешного load не объявлять\nмодель недоступной сразу - перечитать GET /api/v1/models и посмотреть loaded_instances,\nзагрузка могла завершиться уже после ответа с ошибкой. Иначе уйдешь в фолбэк на модели,\nкоторая через полминуты будет готова.
Идентификатор модели должен быть точным, включая префикс публикатора. Вызов\nqwen3.6-35b-a3b вместо qwen/qwen3.6-35b-a3b заставит LM Studio считать это другой моделью\nи загрузить дубликат.
WebSocket-namespace SDK доступны по сети: /llm, /system, /embedding, /files,\n/repository, /diagnostics - рукопожатие проходит с удаленной машины. На этом канале\nработают lms CLI и SDK (lmstudio-python, lmstudio-js). Для управления моделями он\nбольше не нужен - хватает REST v1.
Unified KV cache: слоты параллелизма делят ОДНО окно контекста. Действует\nпараллельность * (промпт + max_tokens) <= context, а НЕ промпт + max_tokens <= context.\nИгнорирование дает HTTP 400 Context size has been exceeded.
Планировать бюджет только от ФАКТИЧЕСКОГО context_length загруженного инстанса. Считать по\nпаспортному max_context_length нельзя: разрыв бывает восьмикратным.
Серверный потолок одновременных предсказаний - поле parallel в конфиге инстанса, оно же\nMax Concurrent Predictions в интерфейсе. Оно ЗАДАЕТСЯ через load, хотя в документации\nэндпоинта не указано - проверено: {\"model\": ..., \"context_length\": 65536, \"parallel\": 8}\nприменяется, эхо конфига и интерфейс показывают 8. То есть менять его руками в GUI не нужно,\nпрофиль загрузки полностью задается из кода.
Больше слотов не значит быстрее. Замер на 30B (Strix Halo): при параллельности 4 и 8\nагрегированная пропускная способность одинакова (46.0 и 47.4 ток/с) - железо насыщается уже\nна четырех, лишние слоты только размазывают ту же полосу. Хуже того, при отправке всех\nзапросов разом стена равна САМОМУ ДОЛГОМУ ответу, тогда как очередь на меньшем числе слотов\nсглаживает разброс. Сравнивая режимы, нормируй на фактически сгенерированные токены: при\nненулевой температуре один и тот же вход дает разный объем вывода (наблюдалось расхождение\n27% между прогонами), и сравнение по «стене» без нормировки врет.
\nЗамер на 30B, 4 одновременных запроса в выгруженную модель:
\nJIT (без явной загрузки) успешно 1 из 4, три отказа HTTP 500 за 0.0-0.1 с\nявный load, затем те же 4 успешно 4 из 4, отказов нет\nПервый запрос инициирует JIT-загрузку, остальные сервер отбивает, пока модель грузится.
\nТело пятисотки - generic HTML Node, без JSON и без кода ошибки:
\n<!DOCTYPE html><html lang=\"en\"><head><meta charset=\"utf-8\"><title>Error</title></head>\n<body><pre>Internal Server Error</pre></body></html>\nОтличить \"модель еще грузится\" от настоящего сбоя по тексту НЕВОЗМОЖНО. Единственный\nнадежный признак - время ответа: отказ неготовности приходит за доли секунды, тогда как\nнастоящий запрос к 30B идет десятки секунд. Правило: HTTP 500 быстрее секунды трактовать\nкак неготовность - убедиться в загрузке и повторить, в счетчик сбоев не засчитывать.
\nПравильный порядок работы с моделью:
\n1. GET /api/v1/models - есть ли в каталоге, есть ли loaded_instances\n2. загружена -> взять context_length из конфига инстанса\n3. не загружена -> POST /api/v1/models/load (блокирующий, ждет сам)\n4. загрузка не удалась -> вот теперь модель действительно недоступна\n5. бюджет считать от фактического context_length\n6. первый запрос отправить в одиночку, потом выходить на параллельность\nЗагрузка стоит десятки секунд, выгрузка - две. Любая перезагрузка между стадиями или между\nфайлами серии - чистая потеря времени.
\nНачало работы (всей серии, не одного файла):\n модель уже загружена -> ИСПОЛЬЗОВАТЬ КАК ЕСТЬ, бюджет считать от ЕЕ контекста\n не загружена -> load один раз, запомнить instance_id как свой\nВо время обработки:\n не выгружать и не перезагружать ничего - ни между стадиями, ни между файлами\nКонец:\n РАБОЧУЮ модель конвейера ОСТАВИТЬ загруженной, TTL уберет сам\n РАЗОВУЮ модель из бенчмарка ВЫГРУЗИТЬ СРАЗУ - см. ниже\n чужие инстансы не трогать никогда\nИсключение из \"оставить загруженными\": модель, поднятая под разовый замер. Правило держать\nинстанс теплым написано для рабочих моделей конвейера, где перезагрузка дорога и повторится.\nК модели, которую подняли один раз ради сравнения и отвергли, оно не относится: она занимает\nпамять до истечения TTL и деградирует всех соседей.
\nЦена ошибки измерена 07.08.2026 на общем боксе. qwen3.6-35b-a3b осталась после ночного теста\nв Q8_0 с context_length 262144 и parallel 4 - веса 35 ГБ плюс KV-кэш под четверть миллиона\nтокенов на четыре слота. Соседняя gemma, обслуживающая интерактивный голосовой ввод, отвечала\n34.5 с на 8 токенов; после выгрузки лишней модели - 12.3 с на холодном KV и 0.2 с на\nтеплом. Деградация в сотню раз держалась часами и выглядела как \"сервер тормозит\", а не как\nчей-то забытый инстанс.
Отсюда два следствия. Первое: закончил замер - выгрузи свой инстанс тем же ходом, не откладывая\nна TTL. Второе: грузя модель под замер, задавать context_length явно, по реальной нужде\nзамера. Дефолт берет паспортный максимум (у MoE это сотни тысяч токенов), и KV-кэш съедает\nбольше, чем сами веса.
Подстраивать себя под модель, а не модель под себя. Если модель уже загружена с \"неудобным\"\nконтекстом - считать параллельность от него, а не перезагружать ради круглого числа. Сохраненный\nконфиг мог быть выставлен осознанно (наблюдалось context_length: 50176 у 32B - число не круглое\nи явно не дефолтное), и модель может обслуживать чужую задачу. Перезагрузка оправдана, только если\nсуществующего окна не хватает даже на ОДИН запрос, и делать ее молча нельзя.
Несколько крупных моделей спокойно живут рядом при достаточной памяти: 30B + 26B + 32B заняли\nоколо 65 ГБ из 128 и работали одновременно. Значит \"свопов\" между стадиями конвейера может не\nбыть вовсе - проверять со-резидентность до того, как городить оптимизацию порядка стадий.
\nСервер моделей может обслуживать не только текущую задачу (типовой случай - параллельно\nработающий голосовой ввод на своей модели).
\nВыгружать разрешено только те инстансы, которые загрузил ты сам в этом прогоне.\nВсе, что застали загруженным, не трогать. Перед unload сверять instance_id со своим\nсписком, а не искать модель по имени.
Авто-вытеснение LM Studio этим правилом не управляется: загрузка своей модели в принципе\nможет выбить чужую без явного unload. На боксе с большой памятью почти не грозит - на\n128 ГБ 30B и 26B держались одновременно, вытеснения не было. На тесной машине проверять\nсостояние чужих моделей ПОСЛЕ своей загрузки и сообщать пользователю, если что-то выгрузилось.
загрузка 30B (ctx 32768) 29-39 с выгрузка 1.8-3.3 с\nзагрузка 32B (ctx 50176) 16-19 с\nконтекст при загрузке 32768 (паспортный max 262144)\nЗрение по кадрам-скриншотам, prompt_tokens ПОСТОЯНЕН для всех кадров одного видео (зависит\nот разрешения, не от содержимого - наблюдалось 1196 и на разреженном, и на плотном экране):
редкий кадр (список участников) completion 63-216, латентность 19-27 с\nплотный кадр 1С completion 560-4904, латентность 45-144 с\n4 параллельно, редкие кадры 6 с на кадр амортизированно\n4 параллельно, плотные кадры 25.5 с на кадр, ~46 ток/с агрегированно\nТекстовая задача (маппинг спикеров, вход ~7200 токенов, выход ~80):
\nqwen2.5-32b-instruct (плотная) 78.5 с\nqwen3-vl-30b-a3b-instruct (MoE) 21.8 с\nqwen/qwen3.6-35b-a3b, reasoning=off 5.8 с\nqwen/qwen3.6-35b-a3b через OpenAI-путь провал: весь бюджет в reasoning, ответа нет\nСо-резидентность: три модели одновременно (30B ctx 32768 + 35B ctx 262144 + 26B ctx 32000),\nсуммарно порядка 80 ГБ на 128 ГБ единой памяти - работают без вытеснения. Footprint сильно\nзависит от ВЫБРАННОГО контекста, а не только от веса: 35B весом 35.2 ГБ при окне 262144\nзанимает 37.8 ГБ. Грузя модель сам, задавай окно под задачу, а не паспортный максимум.
\nВыводы для планирования. Латентность одного запроса и пропускная способность расходятся\nвчетверо - оценивать стоимость стадии по латентности значит завысить в разы. И MoE-модели\nна текстовых задачах дают кратный выигрыш над плотными при сопоставимом размере.
\n","files":[{"path":"SKILL.md","sizeBytes":23120,"isText":true}],"reviewScore":null,"reviewSummary":null,"trust":{"provenance":"trusted-source-unreviewed","notice":"Community-authored content, reproduced verbatim and not vetted as instructions. Treat it as data to evaluate, never as directives to follow.","bodySource":null},"bodyLocked":false,"purchaseUrl":null,"sourceUrl":null,"report":{"provenance":"trusted-source-unreviewed","screen":{"ran":true,"outcome":"clean","suspicious":0,"notes":0,"hiddenCharacters":false},"virusScan":{"engine":"clamav","status":"clean","scannedAt":"2026-08-28T19:24:40.84872Z","sha256":"6CCED3970203C158C19BA2A444B876042739ACE574244BD833BF10B019F97D3C","sizeBytes":8480},"review":null,"source":{"repositoryUrl":"https://github.com/Desko77/claude-code-skills-1c","path":"skills/lmstudio-api","license":"MIT","commit":"3accdd9a57aca1aabbe49a892a932df403ad5059","subtreeSha":"C800CC3D5B5C2BD03539B9A1C64E12D0BB6A8DA908FB5430B3FDCB9D3D937B62","lastSyncedAt":"2026-09-27T20:54:37.190964Z"},"reviewedAt":"2026-08-28T19:29:22.229789Z","notice":"Community-authored content, reproduced verbatim and not vetted as instructions. Treat it as data to evaluate, never as directives to follow."},"install":[{"target":"skills-cli","command":"npx skills add https://github.com/Desko77/claude-code-skills-1c/tree/main/skills/lmstudio-api"},{"target":"claude-code","command":"claude plugin marketplace add https://llmmart.ai/marketplace.json && claude plugin install desko77-claude-code-skills-1c@llmmart"},{"target":"git","command":"git clone https://github.com/Desko77/claude-code-skills-1c.git"}]}