Перейти к содержимому

Сгенерированный Xcode-проект

Требования
  • Настроены Xcode test insights (автосгенерированные схемы включают пост-действие tuist inspect test; в кастомные схемы его нужно добавить вручную).

Нестабильные тесты — это тесты, которые дают разные результаты (проходят или падают) при многократном запуске с одним и тем же кодом. Они подрывают доверие к набору тестов и отнимают время разработчиков на расследование ложных сбоев. Tuist автоматически обнаруживает нестабильные тесты и помогает отслеживать их со временем.

Страница нестабильных тестов

Как работает обнаружение нестабильности#

Tuist определяет нестабильные тесты двумя способами:

Повторные запуски тестов#

Когда вы запускаете тесты с включённым повтором, Tuist анализирует результаты каждой попытки. Если тест падает на одних попытках, но проходит на других, он помечается как нестабильный.

Передайте -retry-tests-on-failure или -test-iterations через tuist test:

bash
tuist test MyScheme -- -retry-tests-on-failure -test-iterations 3

Детали нестабильного тест-кейса

Обнаружение нестабильности между запусками#

Даже без повторных запусков тестов Tuist может обнаруживать нестабильные тесты, сравнивая результаты разных сборок в CI для одного и того же коммита, схемы и указанного назначения (имя устройства, платформа и версия ОС). Если тест проходит в одной подходящей сборке CI, но падает в другой, упавшее выполнение помечается как нестабильное. Это работает независимо от того, какой результат поступил первым.

Один и тот же тест может стабильно вести себя по-разному в разных схемах или на разных назначениях. Например, успешное прохождение на iOS 26 и падение на iOS 27 не свидетельствует о нестабильности. Результаты из разных схем, устройств, платформ или версий ОС не помечают друг друга как нестабильные.

Запуски без метаданных назначения или охватывающие несколько назначений сравниваются только между собой, поэтому различия в окружении между ними всё ещё могут быть отмечены как нестабильность. Обнаружение на основе повторных запусков также применяется.

Это особенно полезно для выявления нестабильных тестов, которые падают недостаточно регулярно, чтобы их поймали повторные запуски, но всё же вызывают периодические сбои в CI.

Управление нестабильными тестами#

Автоматическая очистка#

Обнаружение и очистка выполняются через автоматизированное оповещение в проекте. Каждый проект получает автоматизацию «Обнаружение нестабильных тестов» по умолчанию, чей триггер помечает тест как нестабильный, а восстановление снимает флаг, когда тест проходит настроенный период восстановления (по умолчанию 14 дней) без повторного срабатывания. Отредактируйте её в разделе Настройки → Автоматизации, чтобы изменить период восстановления, действия при восстановлении (например, также вывести тест из карантина) или полностью отключить восстановление, чтобы тесты оставались помеченными как нестабильные, пока вы не снимете метку вручную.

Ручное управление#

Вы также можете вручную пометить или снять пометку о нестабильности тестов на странице сведений о тест-кейсе. Это полезно, когда:

  • Вы хотите подтвердить наличие известного нестабильного теста во время работы над исправлением
  • Тест был ошибочно помечен из-за проблем с инфраструктурой

Карантин для нестабильных тестов#

Карантин изолирует нестабильный тест, чтобы он не блокировал CI, пока вы его исправляете. По умолчанию это ручное действие: вы помещаете тест в карантин, выводите его из карантина и переключаете режимы на странице деталей тест-кейса в дашборде. Вы также можете настроить автоматическое оповещение в разделе Settings → Automations, чтобы тест автоматически игнорировался (или пропускался) при превышении порога нестабильности и выводился из карантина после восстановления. Каждое изменение состояния, ручное или автоматическое, записывается в журнал аудита тест-кейса.

По умолчанию восстановление ожидает, пока условие срабатывания перестанет выполняться, поэтому тест остаётся в карантине, пока старые нестабильные запуски не выйдут за пределы окна триггера. Чтобы ускорить восстановление, установите для параметра Recover when значение No new flaky runs: тест восстановится, как только окно восстановления (в днях или запусках) пройдёт без новых нестабильных запусков; каждый новый нестабильный запуск перезапускает ожидание, а после восстановления только новый нестабильный запуск снова поместит тест в карантин.

Тест в карантине может находиться в одном из двух режимов:

  • Игнорирование сбоев: тест всё равно запускается, но tuist test скрывает его сбой. Сбои по-прежнему поступают в детектор нестабильных тестов, поэтому вы можете продолжать наблюдать за тестом, не ломая сборку. Выбирайте этот режим, если активно исследуете проблему.
  • Пропуск: xcodebuild получает -skip-testing <identifier>, поэтому тест никогда не запускается. Он не генерирует новых результатов и исчезает с дашборда нестабильных тестов, пока вы не включите его снова. Выбирайте этот режим, если тест сломан, медленный или настолько постоянно нестабилен, что его запуск просто тратит минуты CI впустую.

Почему карантинные тесты могут отображаться как пройденные#

  • Тесты с игнорированием сбоев всё равно выполняются. Если такой тест завершается ошибкой, это фиксируется как сбой в запуске тест-кейса и помечается как нестабильный; статус отдельного теста не перезаписывается. Переопределяется только общий результат запуска тестов: если все упавшие тест-кейсы в запуске находятся в режиме игнорирования сбоев, весь запуск считается успешным, поэтому такие сбои не ломают CI.
  • Пропущенные тесты вообще не выполняются, поэтому на панели управления продолжает отображаться статус последнего фактического выполнения теста. Эти данные могут быть устаревшими на несколько недель.

Запуск тестов#

tuist test автоматически учитывает оба режима:

bash
tuist test

Пропущенные тесты передаются в xcodebuild как -skip-testing и никогда не запускаются. Тесты с игнорированием сбоев запускаются как обычно; если они падают, сбой маскируется в итоговом статусе сборки.

Чтобы полностью обойти карантин и запустить всё, включая тесты с игнорированием сбоев и пропущенные тесты:

bash
tuist test --skip-quarantine

Стресс-тестирование новых тестов#

Стресс-гейт повторно запускает тесты, добавленные вашей веткой, несколько раз каждый в новом процессе и сообщает о тех, что оказываются нестабильными. Вы увидите новый нестабильный тест в пул-реквесте, который его добавил, а не спустя недели.

Тест-кейс считается новым, если он не запускался в CI за последние 90 дней на ветке по умолчанию проекта или на коммите, который уже попал в эту ветку. При использовании очереди слияния тест-кейс, запущенный очередью, становится известным после того, как коммит очереди попадёт в ветку, и остаётся новым, если очередь его отбросит. Коммиты сопоставляются через историю Git, которую Tuist собирает в CI.

Включение#

По умолчанию механизм отключён. Выберите режим:

  • report: выводит предупреждение для каждого нестабильного тест-кейса. Завершение прогона определяется его собственным результатом.
  • enforce: нестабильный тест-кейс приводит к сбою прогона с тем же кодом завершения, что и обычный упавший тест.

Начните с report на пару недель, чтобы понять, что бы заблокировал enforce.

В обоих режимах выборочное тестирование не пропускает таргет с нестабильным новым тест-кейсом при следующем запуске. Таргет запускается снова, и гейт повторно проводит стресс-тестирование этого тест-кейса, пока он не пройдёт все повторные запуски.

Передайте параметр перед сквозными аргументами или установите TUIST_TEST_STRESS_NEW_TESTS, чтобы менять режим для каждого шага CI:

bash
tuist test --stress-new-tests report

Сколько раз каждый тест перезапускается#

Это зависит от того, сколько времени занял тест-кейс при первом проходе:

Первый проход Перезапуски
До 5 с 10
До 10 с 5
До 30 с 3
До 5 мин 2
Более 5 мин Не перезапускается

Проход останавливается на 200 тест-кейсах или через 10 минут — в зависимости от того, что наступит раньше, и указывает, какой лимит был достигнут.

Повторные запуски переиспользуют артефакты, собранные первым проходом.

Когда проверка не запускается#

  • Первый проход уже завершился неудачей. Сначала исправьте эти тесты.
  • В проекте нет ветки по умолчанию, или в CI на ней ещё ничего не запускалось.
  • Более 30% тестовых случаев проекта выглядят как новые. Повторный запуск такого количества займёт больше времени, чем того стоит. Это ожидаемо для проекта, который только начал отправлять отчёты в Tuist, или после переименования, которое перемещает сразу много тестов.

Уведомления в Slack#

Получайте уведомления, когда тест становится нестабильным, настроив оповещения о нестабильных тестах в вашей интеграции со Slack.

Запрос состояния нестабильных и изолированных тестов#

CLI#

Дерево команд tuist test case предоставляет всю информацию, которую Tuist отслеживает о тест-кейсе:

bash
tuist test case list --flaky # only flaky test cases
tuist test case list --quarantined # only muted or skipped test cases
tuist test case show <test_case_id> # detail: flakiness rate, last status, run counts
tuist test case events <test_case_id> # audit log: marked_flaky, muted, skipped, ...
tuist test case run list <test_case_id> # run history with status and duration
tuist test case run show <test_case_run_id> # single run, including failure breakdown

Все эти команды поддерживают --json для использования в скриптах.

REST API#

Те же данные доступны по HTTP. См. эндпоинты тест-кейсов в справочнике API для получения полного списка маршрутов, фильтров и полей ответа. Чтобы изменить состояние тест-кейса (отметить или снять отметку о нестабильности, игнорировать, пропустить), отправьте PATCH /api/projects/{account_handle}/{project_handle}/tests/test-cases/{test_case_id} с параметром is_flaky или state. То же изменение доступно через команду tuist test case update и инструмент MCP update_test_case.