생성된 Xcode 프로젝트
- Xcode 테스트 인사이트가 구성되어야 합니다(자동 생성된 스킴에는
tuist inspect test포스트 액션이 포함되며, 사용자 정의 스킴에는 이를 추가해야 합니다).
불안정한 테스트는 동일한 코드로 여러 번 실행할 때마다 다른 결과(통과 또는 실패)를 내는 테스트입니다. 이러한 테스트는 테스트 스위트에 대한 신뢰를 떨어뜨리고, 잘못된 실패를 조사하는 데 개발자의 시간을 낭비하게 만듭니다. Tuist는 불안정한 테스트를 자동으로 감지하고 시간이 지남에 따라 추적할 수 있도록 도와줍니다.

불안정 테스트 감지 방식#
Tuist는 다음 두 가지 방법으로 불안정한 테스트를 감지합니다:
테스트 재시도#
재시도 기능을 사용해 테스트를 실행하면 Tuist는 각 시도의 결과를 분석합니다. 일부 시도에서는 실패하지만 다른 시도에서는 통과하는 테스트는 불안정한 것으로 표시됩니다.
tuist test를 통해 -retry-tests-on-failure 또는 -test-iterations를 전달하세요:
tuist test MyScheme -- -retry-tests-on-failure -test-iterations 3

실행 간 감지#
테스트 재시도 없이도 Tuist는 동일한 커밋, 스킴, 보고된 대상(기기 이름, 플랫폼 및 OS 버전)에 대한 서로 다른 CI 실행의 결과를 비교하여 불안정한 테스트를 감지할 수 있습니다. 일치하는 한 CI 실행에서는 테스트가 통과하지만 다른 실행에서는 실패하면, 실패한 실행은 불안정하다고 표시됩니다. 이 기능은 어떤 결과가 먼저 도착하든 상관없이 작동합니다.
동일한 테스트라도 스킴이나 대상에 따라 일관되게 다르게 동작할 수 있습니다. 예를 들어 iOS 26에서는 통과하고 iOS 27에서는 실패하는 경우 불안정성이 확립되지 않습니다. 서로 다른 스킴, 기기, 플랫폼 또는 OS 버전의 결과는 서로를 불안정하다고 표시하지 않습니다.
대상 메타데이터가 없거나 여러 대상을 포함하는 실행은 서로만 비교되므로, 이들 간의 환경 차이는 여전히 불안정성으로 보고될 수 있습니다. 재시도 기반 감지도 계속 적용됩니다.
이는 재시도로 포착될 만큼 일관되게 실패하지는 않지만 여전히 간헐적인 CI 실패를 유발하는 불안정한 테스트를 포착하는 데 특히 유용합니다.
불안정한 테스트 관리#
자동 해제#
탐지와 해제는 프로젝트의 자동화 알림을 통해 실행됩니다. 모든 프로젝트에는 기본 "불안정한 테스트 탐지" 자동화가 제공되며, 이 자동화의 트리거는 테스트를 불안정하다고 표시하고 복구는 테스트가 재트리거 없이 구성된 복구 기간(기본값 14일) 동안 지나면 플래그를 해제합니다. 설정 → 자동화에서 복구 기간을 변경하거나, 복구 작업(예: 테스트 격리 해제)을 수정하거나, 복구를 완전히 비활성화하여 직접 해제할 때까지 테스트가 불안정 상태로 유지되도록 설정할 수 있습니다.
수동 관리#
테스트 케이스 상세 페이지에서 테스트를 수동으로 불안정하다고 표시하거나 표시를 해제할 수도 있습니다. 이는 다음과 같은 경우에 유용합니다:
- 수정 작업을 진행하면서 이미 알려진 불안정한 테스트를 인지하고 싶을 때
- 인프라 문제로 인해 테스트가 잘못 표시되었을 때
불안정한 테스트 격리하기#
격리는 불안정한 테스트를 격리하여 수정하는 동안 CI가 차단되지 않도록 합니다. 기본적으로는 수동 작업입니다: 대시보드의 테스트 케이스 상세 페이지에서 테스트를 격리하고, 해제하며, 모드를 전환합니다. 또한 설정 → 자동화에서 자동화 알림으로 연결하여, 테스트가 불안정성 임계값을 초과하면 자동으로 음소거(또는 건너뛰기)되고, 복구되면 해제되도록 설정할 수 있습니다. 모든 전환(수동 또는 자동)은 테스트 케이스의 감사 로그에 기록됩니다.
기본적으로 복구는 트리거 조건이 더 이상 충족되지 않을 때까지 기다리므로, 이전의 불안정한 실행이 트리거 창을 벗어날 때까지 테스트는 격리된 상태로 유지됩니다. 더 빠르게 복구하려면 복구 시점을 새로운 불안정한 실행 없음으로 설정하세요: 새로운 불안정한 실행 없이 복구 창(일수 또는 실행 횟수)이 지나면 테스트가 복구되며, 새로운 불안정한 실행이 발생할 때마다 대기 시간이 초기화됩니다. 복구 후에는 새로운 불안정한 실행만 테스트를 다시 격리합니다.
격리된 테스트는 다음 두 모드 중 하나에 속합니다:
- 음소거됨: 테스트는 여전히 실행되지만
tuist test가 실패를 마스킹합니다. 실패 정보는 여전히 불안정 테스트 탐지기로 전달되므로 빌드를 중단하지 않고 테스트를 계속 모니터링할 수 있습니다. 적극적으로 조사 중인 테스트에 이 모드를 선택하세요. - 건너뜀: xcodebuild가
-skip-testing <identifier>를 수신하므로 테스트가 전혀 시작되지 않습니다. 새로운 결과가 생성되지 않으며 다시 활성화할 때까지 불안정 테스트 대시보드에서 제외됩니다. 테스트가 손상되었거나 느리거나, 지속적으로 불안정해서 실행하는 것이 CI 시간을 낭비하는 경우 이 모드를 선택하세요.
격리된 테스트가 통과로 표시될 수 있는 이유#
- 음소거된 테스트는 여전히 실행됩니다. 실패한 음소거 테스트는 테스트 케이스 실행에서 실패로 기록되고 불안정한 것으로 플래그가 지정되지만, 개별 테스트 상태는 재작성되지 않습니다. 재정의되는 것은 전체 테스트 실행입니다: 실행 내의 모든 실패한 테스트 케이스가 음소거되면, 전체 실행이 통과로 보고되므로 음소거된 실패가 CI를 중단시키지 않습니다.
- 생략된 테스트는 전혀 실행되지 않으므로, 대시보드는 테스트의 마지막 실제 실행 상태를 계속 표시합니다. 해당 스냅샷은 몇 주 전 것일 수 있습니다.
테스트 실행#
tuist test는 두 모드를 자동으로 준수합니다:
tuist test
건너뛴 테스트는 -skip-testing로 xcodebuild에 전달되어 절대 시작되지 않습니다. 음소거된 테스트는 정상적으로 실행되며, 실패할 경우 결과 빌드 상태에서 실패가 마스킹됩니다.
격리를 완전히 우회하고 음소거 및 건너뛴 테스트를 포함해 모든 것을 실행하려면:
tuist test --skip-quarantine
새 테스트 부하 테스트#
스트레스 게이트는 브랜치에 추가된 테스트 케이스를 각각 새 프로세스에서 여러 번 다시 실행하고, 불안정한 결과를 보이는 테스트를 보고합니다. 몇 주 후가 아니라 해당 문제를 도입한 풀 리퀘스트에서 새로운 불안정 테스트를 확인할 수 있습니다.
프로젝트의 기본 브랜치 또는 해당 브랜치에 병합된 커밋에서 지난 90일 동안 CI에서 실행되지 않은 테스트 케이스는 새로운 것으로 간주됩니다. 병합 큐를 사용하는 경우, 큐가 실행한 테스트 케이스는 큐의 커밋이 병합되면 인식되며, 큐가 이를 제거하면 새로운 상태로 유지됩니다. 커밋은 Tuist가 CI에서 수집하는 Git 히스토리를 통해 매칭됩니다.
활성화하기#
기본적으로 이 기능은 비활성화되어 있습니다. 모드를 설정하세요:
report: 각 불안정한 테스트 케이스에 대해 경고합니다. 실행은 여전히 자체 결과에 따라 종료됩니다.enforce: 불안정한 테스트 케이스가 실행을 실패로 처리하며, 실패한 테스트와 동일한 종료 코드를 반환합니다.
enforce가 무엇을 차단했을지 확인하기 위해 몇 주 동안 report로 시작하세요.
두 모드 모두에서 선택적 테스팅은 다음 실행에서 불안정한 새 테스트 케이스가 있는 테스트 타겟을 건너뛰지 않습니다. 타겟은 다시 실행되며, 게이트는 테스트 케이스가 모든 재실행을 통과할 때까지 다시 스트레스를 가합니다.
파스스루 인수 앞에 전달하거나, CI 레인별로 모드를 변경하려면 TUIST_TEST_STRESS_NEW_TESTS를 설정하세요:
tuist test --stress-new-tests report
각 테스트가 재실행되는 횟수#
첫 번째 실행에서 테스트 케이스에 걸린 시간에 따라 달라집니다:
| 첫 번째 실행 | 재실행 횟수 |
|---|---|
| 최대 5초 | 10 |
| 최대 10초 | 5 |
| 최대 30초 | 3 |
| 최대 5분 | 2 |
| 5분 초과 | 재실행 안 함 |
먼저 도달하는 기준인 200개의 테스트 케이스 또는 10분에 도달하면 실행이 중단되며, 어떤 제한에 도달했는지 표시됩니다.
재실행은 첫 번째 패스에서 빌드된 내용을 재사용합니다.
게이트가 실행되지 않을 때#
- 첫 번째 통과 단계가 이미 실패했습니다. 해당 테스트를 먼저 수정하세요.
- 프로젝트에 기본 브랜치가 없거나, CI에서 아직 아무것도 실행되지 않았습니다.
- 프로젝트의 테스트 케이스 중 30% 이상이 새로 보입니다. 이만큼 다시 실행하면 비용 대비 시간이 너무 많이 소요됩니다. Tuist에 보고를 막 시작한 프로젝트나 많은 테스트를 한 번에 이동시키는 이름 변경 후에는 이러한 현상이 발생할 수 있습니다.
Slack 알림#
Slack 통합에서 불안정한 테스트 알림을 설정하면 테스트가 불안정해질 때 알림을 받을 수 있습니다.
불안정하고 격리된 상태 쿼리하기#
CLI#
tuist test case 명령어 트리는 Tuist가 테스트 케이스에 대해 추적하는 모든 정보를 제공합니다:
tuist test case list --flaky # only flaky test cases
tuist test case list --quarantined # only muted or skipped test cases
tuist test case show <test_case_id> # detail: flakiness rate, last status, run counts
tuist test case events <test_case_id> # audit log: marked_flaky, muted, skipped, ...
tuist test case run list <test_case_id> # run history with status and duration
tuist test case run show <test_case_run_id> # single run, including failure breakdown
이 모든 명령어는 스크립팅을 위해 --json를 지원합니다.
REST API#
동일한 데이터를 HTTP를 통해 사용할 수 있습니다. 전체 경로, 필터 및 응답 필드 목록은 API 참조의 테스트 케이스 엔드포인트를 참조하세요. 테스트 케이스의 상태(불안정 표시 또는 해제, 음소거, 건너뛰기)를 변경하려면 PATCH /api/projects/{account_handle}/{project_handle}/tests/test-cases/{test_case_id}를 is_flaky 또는 state와 함께 전송하세요. 동일한 변경 사항은 tuist test case update 및 update_test_case MCP 도구를 통해서도 가능합니다.