AI Platform DocsЧто проверено и как оформить результат
Список проверенных действий, наблюдения, шаблон протокола ручного прогона и диагностика остановившихся сценариев.
Дата подготовки: 16 сентября 2026 года. Этот документ отделяет проверенные действия от ожидаемого поведения, которое ещё нужно подтвердить на QA. Наличие сценария в руководстве не означает, что он уже пройден.
Проверка при подготовке руководства
QA-адреса Control Plane и Studio не разрешались в DNS с машины проверки. Поэтому действия выполнялись на доступном тестовом стенде с текущей веткой синхронизации Guardrails. Иллюстрации сняты там же; адресная строка браузера не включена. В самих сценариях указаны только адреса QA.
| Действие | Что фактически проверено |
|---|---|
| Вход администратора | Control Plane и Studio открылись после восстановления подключения; административные разделы доступны |
| Создание модели | Через интерфейс создана qa-model-01 на ранее проверенном провайдере; модель включена, операция завершена |
| Создание провайдера | Проверены форма и её поля; новый провайдер с новым секретом в этом прогоне не выпускался |
| Выдача ключей | Проверены административная форма, действующая политика и ожидаемо недоступная кнопка самостоятельной выдачи при исчерпанном лимите |
| Подключение Studio | Проверены подключение Agent Platform и доступная модель; действующий ключ был настроен ранее |
| Сборка потока | Создан новый поток QA — помощник абонента 01; шаблон сокращён до трёх компонентов, добавлена модель, созданы две связи; получен ответ на вопрос о мобильном интернете |
| Проверка существующего потока | В новом чате получен успешный ответ модели |
| Публикация через Studio | Из проверенного существующего потока создан qa-agent-01; статус Active; Control Plane подтвердил активную публикацию и успешные проверки |
| Вызов опубликованного агента | Получен содержательный ответ через «Тест» в списке развертываний |
| Запрет на входе | Запрос с BLOCK-REQUEST отклонён опубликованным агентом с причиной Guardrails |
| Маскирование | Синтетический адрес заменён на [MASKED] в ответе опубликованного агента |
| Тематическая классификация | Запрос рецепта отклонён; вопрос о мобильном интернете прошёл |
| Создание политики | Через интерфейс сохранена qa-guardrails-01 с двумя обязательными стоп-листами: вход и выход |
| Применение политики | Новая политика отдельно применена к новой модели; подтверждён статус «Применено», версия 1 |
| Дашборд | При повторном открытии доступен, показаны актуальное время проверки и подтверждённые три области управления |
Важно для повторения: это проверки отдельных частей пути на подготовленном стенде. Новый поток и опубликованный qa-agent-01 — разные тестовые объекты: агент был опубликован из ранее существовавшего потока. Созданная для проверки применения новая политика содержит два стоп-листа; четыре правила и классификатор на иллюстрациях относятся к ранее подготовленной политике. На QA основной маршрут следует пройти последовательно на одном новом комплекте объектов.
Наблюдения, которые требуют отдельного внимания
- У ранее существовавшей привязки Guardrails интерфейс продолжал показывать «Применяется», хотя запросы к её модели проходили фактические проверки. Причина в рамках документационной задачи не устанавливалась. При этом новая привязка дошла до «Применено». Это основание отдельно проверить восстановление состояния старых привязок после изменений среды, а не объявлять весь Guardrails неработоспособным.
- Сразу после входа Control Plane временно сообщил, что не может проверить доступ к части разделов. При дальнейшем переходе разделы стали доступны. Устойчивый сбой такого рода на QA должен оформляться отдельно, с HTTP-ответом и временем.
- Поздняя дополнительная попытка проверить выходной стоп-лист завершилась
Failed to fetchодновременно с потерей подключения к стенду. Это не подтверждение блокировки на выходе и не основание считать её дефектом Guardrails. Эту проверку нужно повторить при доступной среде.
Что ещё не подтверждено этим прогоном
| Область | Что должен выполнить тестировщик на QA |
|---|---|
| Полный новый комплект | Провайдер с действующими учётными данными → новая модель → новый ключ → новый поток → публикация этого же потока |
| Разные роли | Вход обычного пользователя, самостоятельная выдача, прямые ссылки на запрещённые разделы, изоляция чужих ключей |
| Жизненный цикл ключа | Реальный выпуск, одноразовая выдача, перевыпуск, отказ старого секрета, отзыв и превышение лимита |
| HTTP | Прямой вызов модели и A2A по QA-адресам, правильный и неправильный доступ, истечение токена |
| Guardrails | Изолированная проверка выхода и входа, наблюдение, внешние детекторы, ошибки и таймауты, повторяемость классификации |
| Форматы | Рассуждение на подготовленной модели, отказ неподдерживаемых streaming/tools/multimodal-запросов |
| Версии | Сохранение без применения, откат правил, обновление выбранной версии агента и снятие публикации |
| Интерфейс | Полный набор ширин экрана, длинные формы и тексты, управление с клавиатуры |
MCP-вызов управляемого A2A-агента и пользовательские API-ключи для вызова такого агента не относятся к работающим возможностям текущего профиля. Их отсутствие нужно отличать от ошибки поддержанного сценария.
Как заполнять протокол ручного прогона
На каждый сценарий заведите одну строку. При повторной попытке добавляйте новую запись, чтобы не потерять исходную ошибку.
| Поле | Что записать |
|---|---|
| Сценарий | Номер шага основного маршрута либо Д-01, HTTP-08, Г-03, Ж-02 и т. п. |
| Среда и сборка | QA, дата и доступный идентификатор сборки или выпуска |
| Исполнитель и роль | Тестовая учётная запись и фактически выданные ей права; без пароля |
| Время | Время начала и окончания с часовым поясом |
| Объекты | Имена и ID провайдера, модели, ключа, потока, агента — только участвующих в проверке |
| Версии | Версия потока, версия агента, сохранённая и применённая версии политики |
| Данные | Синтетический запрос и необходимые параметры |
| Ожидание | Конкретный ответ, состояние или запрет из сценария |
| Факт | Наблюдаемое поведение, HTTP-статус и безопасное тело ошибки, если применимо |
| Материалы | Снимок интерфейса, ID операции или запроса, ссылка на дефект |
| Результат | Пройден / Не пройден / Заблокирован / Не выполнялся |
«Заблокирован» означает, что отсутствует необходимое условие: например, QA не открывается, нет подготовленного классификатора или тестовой учётной записи. «Не пройден» означает, что условия выполнены, но наблюдаемое поведение противоречит ожидаемому. Эти статусы не заменяют друг друга.
Если сценарий остановился
| Признак | Первая проверка | Что передать для разбора |
|---|---|---|
| QA-адрес не открывается | Доступ к сети и DNS, корректность HTTPS | Домен, время, текст сетевой ошибки |
| Не удалось проверить доступ | Доступность API авторизации и результат повторной проверки | Роль, URL страницы, безопасный ответ API |
| Нет модели в Studio | Модель включена; входит именно в используемый ключ; подключение Agent Platform сохранено | ID ключа без секрета, имя модели, состояние подключения |
| ChatOpenAI получил пустое имя модели | В ноде выбрана существующая модель; модель видна в каталоге | Имя потока, тип компонента, ошибка; повторный выбор модели как отдельная попытка |
| Публикация отклонена | Модель разрешена политикой публикации, профиль компонентов совместим | ID операции, flow и его версия, точная причина |
| Active, но запрос не проходит | Тестируется верный агент, токен свежий, модель и Guardrails доступны | ID агента, версия, сообщение, внешняя и внутренняя ошибки отдельно |
| Guardrails долго «Применяется» | Выбраны нужная модель и версия; завершилась ли операция; есть ли актуальное подтверждение | ID модели и политики, обе версии, время, операция, фактический контрольный запрос |
| Ответ не изменился после сохранения | Версия отдельно применена; чат новый; агент использует нужную модель | Сохранённая и применённая версии, модель, запрос |
| Аудит не содержит сообщение чата | Проверяется ли журнал управления вместо событий исполнения | Ожидаемый тип события и источник наблюдений |
Не включайте в материалы дефекта секреты провайдера, виртуальные ключи, токены, полные HAR-файлы и реальные персональные данные. Для всех примеров руководства достаточно синтетического адреса и учебных фраз.
Справка по размещению QA для разбора с эксплуатацией
Платформа собирается и разворачивается через Garden. Прежняя среда ST больше не используется. Для QA принято следующее размещение:
| Пространство имён | Компоненты |
|---|---|
aip-qa | Control Plane, Agent Registry и Docs — общий продуктовый выпуск |
aip-qa-infra | Общая инфраструктура, отдельные Helm releases |
aip-qa-models | Шлюз моделей, политики, учётные данные и ограничитель запросов |
aip-qa-agents | Опубликованные агенты |
aip-qa-low-code-ide | Langflow |
aip-qa-services | Явно устанавливаемые RAG и Memory |
Тестировщик проходит пользовательские пути через QA-интерфейсы и шлюзы. Прямой доступ к Kubernetes не требуется для обычного прогона. Для диагностики передайте эксплуатационной команде ID объектов и операций; не обходите публикацию прямым вызовом внутреннего сервиса. Наличие пространства имён сервисов само по себе не подтверждает, что RAG и Memory установлены и готовы.