Xcode-ის ტესტების დაყოფა
- Xcode-ის ტესტების ინსაიტები კონფიგურირებული. დაყოფა იყენებს ბოლო 30 დღის ტესტების შესრულების დროის მონაცემებს შარდების გასათანაბრებლად, ხოლო ინსაიტების გარეშე თითოეული შარდი ისე შესრულდება, თითქოს საწყობი უცნობი იყოს.
Xcode-ის პროექტებისთვის ტესტების დაყოფა იყენებს tuist xcodebuild build-for-testing შარდის გეგმის შესაქმნელად და tuist xcodebuild test თითოეული შარდის შესასრულებლად.
როგორ მუშაობს#
ტესტების დაყოფა ორეტაპიან სამუშაო პროცესს მიჰყვება:
- აგების ეტაპი: Tuist კითხულობს ტესტის მოდულებს აგებული
.xctestrunფაილიდან და ქმნის შარდის გეგმას სერვერზე. სერვერი იყენებს ბოლო 30 დღის ისტორიულ ტესტების შესრულების დროის მონაცემებს ტესტების შარდებში განაწილებისთვის, რათა თითოეულ შარდს დაახლოებით ერთი და იგივე დრო დასჭირდეს. აგების ეტაპი გამოაქვს შარდის მატრიცა, რომელსაც თქვენი CI სისტემა იყენებს პარალელური გამშვებების შესაქმნელად. - ტესტირების ეტაპი: თითოეული უწყვეტი ინტეგრაციის გამშვები იღებს შარდის ინდექსს და ზუსტ შარდის გეგმის იდენტიფიკატორს, შემდეგ ასრულებს ამ გეგმის ტესტების შერჩევას.
საწყობის დონის სიზუსტით, სერვერი იყენებს საწყობებს, რომლებიც ბოლო CI გაშვებებმა თქვენს ბრენჩზე შეატყობინეს თითოეული მოდულისთვის მიმდინარე .xctestrun-ში, ხოლო ბრენჩის ისტორიის არმქონე მოდულებისთვის გადადის პროექტის ნაგულისხმევ ბრენჩზე. რამდენიმე გაშვების გაერთიანება ინარჩუნებს საწყობებს, რომლებიც დაყოფილმა ან შერჩევითმა გაშვებამ ბოლო ანგარიშში ვერ მოიცვა.
როდესაც გამოიყენება --shard-granularity suite, Tuist ათანაბრებს ცნობილ საწყობებს მოთხოვნილ შარდების რაოდენობაზე და ბოლო შარდს იყენებს როგორც ყველაფრის შემცველს. მაგალითად, --shard-total 5 წარმოქმნის შარდის ინდექსებს 0-დან 4-მდე, სადაც შარდის ინდექსი 4 არის ყველაფრის შემცველი. ჩვეულებრივი შარდები შესრულდება -only-testing-ით მათთვის მინიჭებული საწყობებისთვის. ბოლო შარდი შესრულდება -only-testing-ის გარეშე და გადასცემს -skip-testing-ს თითოეული საწყობისთვის, რომელიც ადრეულ შარდებს მიენიჭა, რითაც ის ასრულებს თავის დაგეგმილ საწყობებს პლიუს ახლად დამატებულ საწყობებს ან ისტორიული ინვენტარიდან ამოვარდნილ საწყობებს. მოდულის დონის სიზუსტეს არ სჭირდება ყველაფრის შემცველი, რადგან .xctestrun ფაილი უზრუნველყოფს მოდულების სიას.
აგების ეტაპი#
ააგეთ თქვენი ტესტები და შექმენით შარდის გეგმა:
tuist xcodebuild build-for-testing \
-scheme MyScheme \
-destination 'platform=iOS Simulator,name=iPhone 16' \
--shard-total 5
ეს ბრძანება:
- აგებს თქვენს ტესტებს
xcodebuild build-for-testing-ით - ქმნის შარდის გეგმას Tuist-ის სერვერზე ისტორიული დროის მონაცემების გამოყენებით
- ტვირთავს
.xctestproductsბანდლს ან წერს შარდის არქივს შარდის გამშვებებისთვის გამოსაყენებლად - გამოაქვს შარდის მატრიცა თქვენი CI სისტემისთვის
ბილდის პარამეტრები#
| ფლაგი | გარემოს ცვლადი | აღწერა |
|---|---|---|
--shard-max <N> |
TUIST_TEST_SHARD_MAX |
შარდების მაქსიმალური რაოდენობა. გამოიყენება --shard-max-duration-თან ერთად შარდების რაოდენობის შესაზღუდად |
--shard-min <N> |
TUIST_TEST_SHARD_MIN |
შარდების მინიმალური რაოდენობა |
--shard-total <N> |
TUIST_TEST_SHARD_TOTAL |
შარდების ზუსტი რაოდენობა (ურთიერთგამომრიცხავია --shard-min/--shard-max-თან). სუიტის დონის დაყოფისას ბოლო შარდი შეიცავს ყველა დარჩენილ ტესტს |
--shard-max-duration <MS> |
TUIST_TEST_SHARD_MAX_DURATION |
მიზნობრივი მაქსიმალური ხანგრძლივობა თითოეული შარდისთვის მილიწამებში |
--shard-granularity <LEVEL> |
TUIST_TEST_SHARD_GRANULARITY |
module (ნაგულისხმევი) ანაწილებს მთლიან სატესტო მოდულებს შარდებზე; suite ანაწილებს ინდივიდუალურ სატესტო კლასებს უფრო წვრილმარცვლოვანი დაბალანსებისთვის |
--shard-reference <REF> |
TUIST_SHARD_REFERENCE |
შარდების გეგმის უნიკალური იდენტიფიკატორი (ავტომატურად განისაზღვრება მხარდაჭერილ CI პროვაიდერებზე) |
--shard-archive-path <PATH> |
TUIST_TEST_SHARD_ARCHIVE_PATH |
გზა, სადაც Tuist ჩაწერს ოპტიმიზირებულ შარდების არქივს ტესტების პროდუქტების დისტანციურ საცავში ატვირთვის ნაცვლად |
ტესტირების ეტაპი#
თითოეული შარდის გამშვები ასრულებს მისთვის მინიჭებულ ტესტებს:
tuist xcodebuild test \
-scheme MyScheme \
-destination 'platform=iOS Simulator,name=iPhone 16'
ტესტის პარამეტრები#
| ფლაგი | გარემოს ცვლადი | აღწერა |
|---|---|---|
--shard-index <N> |
TUIST_SHARD_INDEX |
შასრულებელი შარდის ნულოვანი ინდექსი |
--shard-plan-id <IDENTIFIER> |
TUIST_SHARD_PLAN_ID |
ზუსტი შარდის გეგმის იდენტიფიკატორი, რომელსაც ბილდის ფაზა გამოყოფს. გენერირებული პროვაიდერის გამომავალი მნიშვნელობები ამას ავტომატურად შეიცავს |
--shard-reference <REF> |
TUIST_SHARD_REFERENCE |
შარდის გეგმის უნიკალური იდენტიფიკატორი (ავტომატურად მიიღება მხარდაჭერილ CI პროვაიდერებზე) |
--shard-archive-path <PATH> |
TUIST_TEST_SHARD_ARCHIVE_PATH |
ლოკალურად მართული შარდის არქივის გზა; Tuist ამოიღებს მას ტესტის პროდუქტების დისტანციური საცავიდან ჩამოტვირთვის ნაცვლად |
Tuist ჩამოტვირთავს .xctestproducts ბანდლს და ფილტრავს მას ისე, რომ მოიცვას მხოლოდ იმ შარდისთვის განკუთვნილი ტესტები.
უწყვეტი ინტეგრაცია#
Tuist ავტომატურად ამოიცნობს შემდეგ CI პროვაიდერებს:
სხვა პროვაიდერებისთვის, იხილეთ .tuist-shard-matrix.json ფაილი პარალელური სამუშაოების დასაყენებლად.
GitHub Actions#
გამოიყენეთ მატრიცული სტრატეგია შარდების პარალელურად გასაშვებად:
name: Tests
on: [pull_request]
jobs:
build:
name: Build test shards
runs-on: macos-latest
outputs:
matrix: ${{ steps.build.outputs.matrix }}
steps:
- uses: actions/checkout@v4
- uses: jdx/mise-action@v2
- run: tuist auth login
- id: build
run: |
tuist xcodebuild build-for-testing \
-scheme MyScheme \
-destination 'platform=iOS Simulator,name=iPhone 16' \
--shard-total 5
test:
name: "Shard #${{ matrix.shard }}"
needs: build
runs-on: macos-latest
strategy:
fail-fast: false
matrix: ${{ fromJson(needs.build.outputs.matrix) }}
env:
TUIST_SHARD_INDEX: ${{ matrix.shard }}
TUIST_SHARD_PLAN_ID: ${{ matrix.shard_plan_id }}
steps:
- uses: actions/checkout@v4
- uses: jdx/mise-action@v2
- run: tuist auth login
- run: |
tuist xcodebuild test \
-scheme MyScheme \
-destination 'platform=iOS Simulator,name=iPhone 16'
GitLab CI#
Tuist ქმნის .tuist-shard-child-pipeline.yml-ს, რომელსაც თქვენ აღძრავთ როგორც შვილ პაიპლაინს. განსაზღვრეთ .tuist-shard შაბლონური დავალება, რომელსაც შექმნილი შარდის დავალებები გააფართოებენ:
# .gitlab-ci.yml
stages:
- build
- test
build-shards:
stage: build
tags: [macos]
script:
- tuist auth login
- |
tuist xcodebuild build-for-testing \
-scheme MyScheme \
-destination 'platform=iOS Simulator,name=iPhone 16' \
--shard-total 5
artifacts:
paths:
- .tuist-shard-child-pipeline.yml
test-shards:
stage: test
needs: [build-shards]
trigger:
include:
- artifact: .tuist-shard-child-pipeline.yml
job: build-shards
strategy: depend
# .gitlab/shard-template.yml
.tuist-shard:
tags: [macos]
script:
- tuist auth login
- |
tuist xcodebuild test \
-scheme MyScheme \
-destination 'platform=iOS Simulator,name=iPhone 16'
CircleCI#
Tuist ქმნის .tuist-shard-continuation.json-ს პარამეტრებით გაგრძელების ორბისთვის. shard-plan-id პარამეტრი უნდა იყოს გამოცხადებული თქვენს გაგრძელებულ კონფიგურაციაში:
# .circleci/config.yml
version: 2.1
setup: true
orbs:
continuation: circleci/continuation@1
jobs:
build-shards:
macos:
xcode: "16.0"
steps:
- checkout
- run:
name: Build and plan shards
command: |
tuist auth login
tuist xcodebuild build-for-testing \
-scheme MyScheme \
-destination 'platform=iOS Simulator,name=iPhone 16' \
--shard-total 5
- continuation/continue:
configuration_path: .circleci/continue-config.yml
parameters: .tuist-shard-continuation.json
workflows:
setup:
jobs:
- build-shards
# .circleci/continue-config.yml
version: 2.1
parameters:
shard-indices:
type: string
default: ""
shard-count:
type: integer
default: 0
shard-plan-id:
type: string
default: ""
jobs:
test-shard:
macos:
xcode: "16.0"
parameters:
shard-index:
type: integer
steps:
- checkout
- run:
name: Run shard
command: |
export TUIST_SHARD_INDEX=<< parameters.shard-index >>
export TUIST_SHARD_PLAN_ID=<< pipeline.parameters.shard-plan-id >>
tuist auth login
tuist xcodebuild test \
-scheme MyScheme \
-destination 'platform=iOS Simulator,name=iPhone 16'
workflows:
test:
jobs:
- test-shard:
matrix:
parameters:
shard-index: [<< pipeline.parameters.shard-indices >>]
Buildkite#
Tuist ქმნის .tuist-shard-pipeline.yml-ს თითოეული შარდისთვის ერთი ნაბიჯით. ატვირთეთ ის buildkite-agent pipeline upload-ით:
# pipeline.yml
steps:
- label: "Build test shards"
command: |
tuist auth login
tuist xcodebuild build-for-testing \
-scheme MyScheme \
-destination 'platform=iOS Simulator,name=iPhone 16' \
--shard-total 5
buildkite-agent pipeline upload .tuist-shard-pipeline.yml
agents:
queue: macos
თითოეულ შექმნილ ნაბიჯს გარემოში აქვს მითითებული TUIST_SHARD_INDEX და TUIST_SHARD_PLAN_ID. დაამატეთ ტესტის ბრძანება თითოეულ შარდის ნაბიჯში საერთო სკრიპტის გამოყენებით:
# .buildkite/shard-step.sh
#!/bin/bash
tuist auth login
tuist xcodebuild test \
-scheme MyScheme \
-destination 'platform=iOS Simulator,name=iPhone 16'
Codemagic#
Codemagic არ უჭერს მხარს დინამიურ მატრიცულ დავალებებს, ამიტომ განსაზღვრეთ ცალკეული სამუშაო ნაკადი თითოეული შარდისთვის. Tuist წერს TUIST_SHARD_MATRIX-ს და TUIST_SHARD_COUNT-ს CM_ENV ფაილში აგების სამუშაო ნაკადში გამოსაყენებლად. Codemagic-ის CM_ENV არის სამუშაო ნაკადის ფარგლებში, ამიტომ ზუსტი შარდის გეგმის იდენტიფიკატორი არ კვეთს სამუშაო ნაკადის საზღვრებს; ტესტის სამუშაო ნაკადები გადადიან მითითებაზე დაფუძნებულ შარდის ძებნაზე:
# codemagic.yaml
workflows:
build-shards:
name: Build test shards
instance_type: mac_mini_m2
environment:
xcode: latest
scripts:
- name: Build and plan shards
script: |
tuist auth login
tuist xcodebuild build-for-testing \
-scheme MyScheme \
-destination 'platform=iOS Simulator,name=iPhone 16' \
--shard-total 5
test-shard-0: &shard-workflow
name: "Shard #0"
instance_type: mac_mini_m2
environment:
xcode: latest
vars:
TUIST_SHARD_INDEX: 0
scripts:
- name: Run shard
script: |
tuist auth login
tuist xcodebuild test \
-scheme MyScheme \
-destination 'platform=iOS Simulator,name=iPhone 16'
test-shard-1:
<<: *shard-workflow
name: "Shard #1"
environment:
xcode: latest
vars:
TUIST_SHARD_INDEX: 1
test-shard-2:
<<: *shard-workflow
name: "Shard #2"
environment:
xcode: latest
vars:
TUIST_SHARD_INDEX: 2
test-shard-3:
<<: *shard-workflow
name: "Shard #3"
environment:
xcode: latest
vars:
TUIST_SHARD_INDEX: 3
test-shard-4:
<<: *shard-workflow
name: "Shard #4"
environment:
xcode: latest
vars:
TUIST_SHARD_INDEX: 4
Bitrise#
Bitrise-ზე, Tuist წერს .tuist-shard-matrix.json-ს (shard_plan_id-ის ჩათვლით) BITRISE_DEPLOY_DIR-ში, რაც ხდის მას ხელმისაწვდომს როგორც აგების არტიფაქტს ქვედა ნაკადის ეტაპებისთვის. თითოეული ტესტის სამუშაო ნაკადი ამოიღებს გეგმის ID-ს ჩამოტვირთული არტიფაქტიდან envman-ის გამოყენებით, რათა ის მოხვდეს ტესტის ბრძანების გარემოში:
# bitrise.yml
pipelines:
test-pipeline:
stages:
- build-stage: {}
- test-stage: {}
stages:
build-stage:
workflows:
- build-shards: {}
test-stage:
workflows:
- test-shard-0: {}
- test-shard-1: {}
- test-shard-2: {}
- test-shard-3: {}
- test-shard-4: {}
workflows:
build-shards:
steps:
- script:
title: Build and plan shards
inputs:
- content: |
tuist auth login
tuist xcodebuild build-for-testing \
-scheme MyScheme \
-destination 'platform=iOS Simulator,name=iPhone 16' \
--shard-total 5
- deploy-to-bitrise-io: {}
test-shard-0: &shard-workflow
envs:
- TUIST_SHARD_INDEX: 0
steps:
- pull-intermediate-files: {}
- script:
title: Set shard plan ID from artifact
inputs:
- content: |
PLAN_ID=$(jq -r '.shard_plan_id' "$BITRISE_DEPLOY_DIR/.tuist-shard-matrix.json")
envman add --key TUIST_SHARD_PLAN_ID --value "$PLAN_ID"
- script:
title: Run shard
inputs:
- content: |
tuist auth login
tuist xcodebuild test \
-scheme MyScheme \
-destination 'platform=iOS Simulator,name=iPhone 16'
test-shard-1:
<<: *shard-workflow
envs:
- TUIST_SHARD_INDEX: 1
test-shard-2:
<<: *shard-workflow
envs:
- TUIST_SHARD_INDEX: 2
test-shard-3:
<<: *shard-workflow
envs:
- TUIST_SHARD_INDEX: 3
test-shard-4:
<<: *shard-workflow
envs:
- TUIST_SHARD_INDEX: 4
Bitrise არ უჭერს მხარს დინამიურ პარალელურ დავალებათა შექმნას შესრულების დროს. განსაზღვრეთ ფიქსირებული რაოდენობის შარდის სამუშაო ნაკადები თქვენს პაიპლაინის ეტაპებში — ეტაპის შიგნით სამუშაო ნაკადები ავტომატურად პარალელურად სრულდება.
გაზიარებული ტომები#
ნაგულისხმევად, აგების ეტაპი ტვირთავს .xctestproducts ბანდლს დაშორებულ საცავში და თითოეული შარდის გამშვები მას ჩამოტვირთავს. თუ თქვენი CI პროვაიდერი უჭერს მხარს გაზიარებულ ტომებს (მუდმივი საცავი, რომელიც დამონტაჟებულია დავალებებში), თქვენ შეგიძლიათ სრულად გამოტოვოთ ეს ატვირთვა/ჩამოტვირთვა ტესტის პროდუქტების გაზიარებული ფაილური სისტემის მეშვეობით გადაცემით.
ეს შეიძლება მნიშვნელოვნად შეამციროს შარდის გაშვების დრო, განსაკუთრებით დიდი ტესტის ბანდლებისთვის.
გაზიარებული ტომების გამოყენებისთვის:
- აგების ეტაპში, გადაეცით
-testProductsPath, რომელიც მიუთითებს გაზიარებულ ტომზე და დაამატეთ--shard-skip-uploadდაშორებული ატვირთვის გამოტოვებისთვის:
tuist xcodebuild build-for-testing \
-scheme MyScheme \
-destination 'platform=iOS Simulator,name=iPhone 16' \
--shard-total 5 \
--shard-skip-upload \
-testProductsPath /path/to/shared/volume/$UNIQUE_ID/MyScheme.xctestproducts
- ტესტირების ეტაპში, გადაეცით იგივე
-testProductsPath, რათა Tuist წაიკითხოს ტესტის პროდუქტები ლოკალურად ჩამოტვირთვის ნაცვლად:
tuist xcodebuild test \
-scheme MyScheme \
-destination 'platform=iOS Simulator,name=iPhone 16' \
-testProductsPath /path/to/shared/volume/$UNIQUE_ID/MyScheme.xctestproducts
გამოიყენეთ უნიკალური გზა თითოეული სამუშაო ნაკადის გაშვებისთვის (მაგალითად, ჩართეთ CI გაშვების ID), რათა თავიდან აიცილოთ კონფლიქტები პარალელურად შესრულებულ გაშვებებს შორის. ასევე, გაასუფთავეთ ტესტის პროდუქტები შარდინგის დასრულების შემდეგ, რათა თავიდან აიცილოთ მოძველებული მონაცემების დაგროვება ტომზე.
| ფლაგი | გარემოს ცვლადი | აღწერა |
|---|---|---|
--shard-skip-upload |
TUIST_TEST_SHARD_SKIP_UPLOAD |
გამოტოვეთ ტესტის პროდუქტების ბანდლის ატვირთვა დაშორებულ საცავში |
თვითმართვადი არტიფაქტები#
თუ თქვენს CI პროვაიდერს უკვე აქვს არტიფაქტების ატვირთვისა და ჩამოტვირთვის ეტაპები, შეგიძლიათ Tuist-ს მიანდოთ არქივაციისა და ამოღების ოპერაციები, ხოლო ტრანსპორტირება დატოვოთ CI-სთვის.
- აგების ეტაპში, გადაეცით
--shard-archive-path, რათა Tuist-მა ჩაწეროს ოპტიმიზებული შარდის არქივი ლოკალურად ტესტის პროდუქტების ატვირთვის ნაცვლად:
tuist xcodebuild build-for-testing \
-scheme MyScheme \
-destination 'platform=iOS Simulator,name=iPhone 16' \
--shard-total 5 \
--shard-archive-path /tmp/shards/${UNIQUE_ID}/bundle.aar
-
ატვირთეთ ეს არქივი თქვენი CI-ს ნატიური არტიფაქტების ეტაპის გამოყენებით.
-
თითოეულ ტესტირების ეტაპის დავალებაში, ჩამოტვირთეთ არქივი და გადაეცით იგივე გზა უკან Tuist-ს:
tuist xcodebuild test \
-scheme MyScheme \
-destination 'platform=iOS Simulator,name=iPhone 16' \
--shard-archive-path /tmp/shards/${UNIQUE_ID}/bundle.aar
როდესაც --shard-archive-path დაყენებულია, Tuist ტოვებს ტესტის პროდუქტების დაშორებულ გადაცემას და იყენებს ლოკალურ არქივს. თუ ასევე გადასცემთ --shard-skip-upload, არქივის გზას ენიჭება უპირატესობა.
Namespace#
Namespace-ის გამშვებები კარგად მუშაობენ GitHub Actions არტიფაქტებთან. ერთხელ დააყენეთ TUIST_TEST_SHARD_ARCHIVE_PATH, რათა აგების დავალებამ ჩაწეროს შარდის არქივი ლოკალურად, ატვირთოთ ის და ჩამოტვირთოთ თითოეულ შარდის დავალებაში tuist xcodebuild test-ის გაშვებამდე:
name: Tests
on: [pull_request]
env:
TUIST_TEST_SHARD_ARCHIVE_PATH: /tmp/shards/${{ github.run_id }}/bundle.aar
jobs:
build:
name: Build test shards
runs-on: namespace-profile-default-macos
outputs:
matrix: ${{ steps.build.outputs.matrix }}
steps:
- uses: actions/checkout@v4
- uses: jdx/mise-action@v2
- run: tuist auth login
- id: build
run: |
tuist xcodebuild build-for-testing \
-scheme MyScheme \
-destination 'platform=iOS Simulator,name=iPhone 16' \
--shard-total 5
- uses: actions/upload-artifact@v4
with:
name: test-shard-archive
path: ${{ env.TUIST_TEST_SHARD_ARCHIVE_PATH }}
- if: always()
run: rm -rf /tmp/shards/${{ github.run_id }}
test:
name: "Shard #${{ matrix.shard }}"
needs: build
runs-on: namespace-profile-default-macos
strategy:
fail-fast: false
matrix: ${{ fromJson(needs.build.outputs.matrix) }}
env:
TUIST_SHARD_INDEX: ${{ matrix.shard }}
TUIST_SHARD_PLAN_ID: ${{ matrix.shard_plan_id }}
steps:
- uses: actions/checkout@v4
- uses: jdx/mise-action@v2
- run: tuist auth login
- uses: actions/download-artifact@v4
with:
name: test-shard-archive
path: /tmp/shards/${{ github.run_id }}
- run: |
tuist xcodebuild test \
-scheme MyScheme \
-destination 'platform=iOS Simulator,name=iPhone 16'
- if: always()
run: rm -rf /tmp/shards/${{ github.run_id }}