Elixir-ის ტესტების დაყოფა
Tuist-ის Hex პაკეტი შეიცავს Elixir-ის პროექტის ტესტების დაყოფის ჩაშენებულ მხარდაჭერას. ის იყენებს Tuist-ის სერვერს, რათა შექმნას დაბალანსებული დაყოფის გეგმები ისტორიული დროის მონაცემების საფუძველზე, და კომპილირებს თქვენს პროექტს ერთხელ, რათა ყოველმა გამშვებმა პირდაპირ გადავიდეს ტესტების გაშვებაზე.
- დაასრულეთ Elixir-ის საერთო კონფიგურაცია CI-ის დაყოფის ჯობების კონფიგურაციამდე
როგორ მუშაობს#
ტესტების დაყოფა მიჰყვება ორეტაპიან სამუშაო ნაკადს:
- აგების ეტაპი: Tuist კომპილირებს თქვენს პროექტს ტესტირებისთვის, აღრიცხავს თქვენს ტესტ ფაილებს და ქმნის დაყოფის გეგმას სერვერზე. სერვერი იყენებს ბოლო 30 დღის ისტორიულ ტესტების დროის მონაცემებს, რათა გაანაწილოს ტესტები დაყოფებში ისე, რომ თითოეულ დაყოფას დაახლოებით თანაბარი დრო დასჭირდეს. აგების ეტაპი ტვირთავს აგებას და გამოაქვს დაყოფის მატრიცა, რომელსაც თქვენი CI სისტემა იყენებს პარალელური გამშვებების შესაქმნელად.
- ტესტირების ეტაპი: თითოეული CI გამშვები იღებს დაყოფის ინდექსს, ტვირთავს აგებას და ასრულებს მხოლოდ იმ ტესტებს, რომლებიც ამ დაყოფას არის მინიჭებული.
ჩართულ Tuist Linux გამშვებებზე, დაყოფის აგებებს შეუძლიათ გამოიყენონ ლოკალური არტეფაქტების საცავი. ყველა დაყოფამ, რომელიც იყენებს ასეთ აგებას, უნდა გაეშვას ჩართულ გამშვებებზე ერთსა და იმავე ადგილას; ხელახლა გაუშვით აგება ლოკალური საცავის გამორთვით, როდესაც სამუშაო ნაკადს გადაიტანთ სხვა გამშვებებზე.
ტესტები ნაწილდება ფაილების მიხედვით: ფაილის ყოველი ტესტი ერთსა და იმავე დაყოფაზე გაეშვება. ტესტებს, რომლებიც Tuist-მა ჯერ არ იხილა, ენიჭებათ სავარაუდო დრო, ამიტომ პროექტის პირველი გეგმები ნაკლებად დაბალანსებულია, ვიდრე მოგვიანებითი.
აგების ეტაპი#
მოამზადეთ ტესტების დაყოფები tuist.test.build ამოცანის გამოყენებით:
MIX_ENV=test mix compile --warnings-as-errors
MIX_ENV=test mix tuist.test.build --shard-max 5
კომპილირება მოახდინეთ საერთო კონფიგურაციით დამონტაჟებული ალიასის მეშვეობით დაყოფის ამოცანის გამოძახებამდე. ცივ ჩეკაუთზე, Mix-ს შეუძლია დააკომპილიროს დამოკიდებულებები tuist.test.build-ის აღმოჩენისას, სანამ Tuist-ის დამოკიდებულებების ქეშს მათი აღდგენის შანსი მიეცემა. ცალსახა კომპილირება გაეშვება იმავე ტესტ გარემოში, რაშიც დაყოფის ამოცანა.
ეს ამოცანა:
- აკომპილირებს პროექტს ტესტ გარემოში
- ქმნის დაყოფის გეგმას Tuist-ის სერვერზე ისტორიული დროის მონაცემების გამოყენებით
- ტვირთავს აგებას, რათა დაყოფებმა ხელახლა არ დააკომპილირონ
- გამოაქვს დაყოფის მატრიცა თქვენი CI სისტემისთვის
აგების პარამეტრები#
| პარამეტრი | აღწერა |
|---|---|
--shard-max <N> |
დაყოფების მაქსიმალური რაოდენობა (ნაგულისხმევი: 2) |
--shard-min <N> |
დაყოფების მინიმალური რაოდენობა |
--shard-total <N> |
დაყოფების ზუსტი რაოდენობა, დიაპაზონის ნაცვლად |
--shard-max-duration <MS> |
მიზნობრივი მაქსიმალური ხანგრძლივობა თითოეული დაყოფისთვის მილიწამებში |
--shard-reference <REF> |
სახელი, რომლითაც დაყოფები პოულობენ გეგმას |
--no-upload |
დაგეგმეთ დაყოფები აგების ატვირთვის გარეშე; ამ შემთხვევაში თითოეული დაყოფა თავისთვის აკომპილირებს |
ყველა სხვა არგუმენტი გადაეცემა mix compile-ს.
დაყოფის მითითება ავტომატურად მიიღება CI გარემოს ცვლადებიდან (GITHUB_RUN_ID, CI_PIPELINE_ID, CIRCLE_WORKFLOW_ID, BUILDKITE_BUILD_ID) ან შეიძლება ცალსახად დაყენდეს TUIST_SHARD_REFERENCE გარემოს ცვლადის მეშვეობით. ამ პროვაიდერების გარეთ თქვენ უნდა დააყენოთ ის მნიშვნელობაზე, რომელსაც ერთი პაიპლაინის გაშვების აგების ეტაპი და დაყოფები იზიარებენ. GitHub Actions-ზე, მითითებები ასევე მოიცავს გაშვების მცდელობას: როდესაც ხელახლა აშვებთ მხოლოდ ჩავარდნილ ჯობებს, გადაეცით საწყისი აგების ჯობის მითითება, ნაცვლად ახლის გამოყვანისა დაყოფის ჯობებში.
ტესტირების ეტაპი#
როდესაც TUIST_SHARD_INDEX დაყენებულია, პაკეტი იღებს დაყოფის განაწილებას სერვერიდან, ტვირთავს აგებას და ასრულებს მხოლოდ მინიჭებულ ტესტ ფაილებს კომპილირების გარეშე. ცივ გამშვებზე, გაუშვით SDK-ის ბუტსტრაპი და ჩატვირთეთ მისი გზები ამოცანის გამოძახებამდე:
MIX_ENV=test TUIST_SHARD_INDEX=0 mix do deps.compile tuist_ex --include-children + deps.loadpaths --no-compile --no-deps-check + tuist.test
SDK-ის კომპილირება Mix-ის სამუშაო პროცესებში არ ტვირთავს მას მშობელ პროცესში. ცალსახა deps.loadpaths ნაბიჯი ხელს უშლის ამოცანების აღმოჩენას დარჩენილი დამოკიდებულებების კომპილირებაში აგების ჩამოტვირთვამდე. ეს ერთბრძანებიანი ფორმა ინარჩუნებს თქვენი პროექტის ტესტების მომზადების ალიასს. თუ მისი კონფიგურაციის ბრძანებები იწვევენ კომპილირებას, გამოიყენეთ ქვემოთ მოცემული ცალკეული კონფიგურაციის თანმიმდევრობა.
ნებისმიერი ტესტ ფაილი ან დირექტორია, რომელსაც გადასცემთ, კიდევ უფრო ამცირებს დაყოფას: გაეშვება მხოლოდ ის ფაილები, რომლებიც ერთდროულად არიან დაყოფაში და თქვენს შერჩევაში. დაყოფა, რომელიც ტესტების გარეშე რჩება, წარმატებით სრულდება.
ყველა დაყოფის შედეგები დაშბორდზე ერთი ტესტების გაშვების სახით ჩნდება, და მისი დაყოფები სექცია აჩვენებს, თუ რამდენი ხანი დასჭირდა თითოეულს.
თუ კონფიგურაცია უნდა გაეშვას ტესტებამდე, ჯერ ჩამოტვირთეთ აგება აპლიკაციის გაშვების გარეშე:
MIX_ENV=test TUIST_SHARD_INDEX=0 mix do deps.compile tuist_ex --include-children + deps.loadpaths --no-compile --no-deps-check + tuist.test --prepare-only
გაუშვით თქვენი კონფიგურაცია ცალკეულ პროცესში კომპილირების გამორთვით. მაგალითად, Ecto პროექტს შეუძლია შექმნას და გადაიტანოს მისი მონაცემთა ბაზები შემდეგნაირად:
MIX_ENV=test mix run --no-start --no-compile --no-deps-check -e 'Mix.Tasks.Ecto.Create.run([]); Mix.Tasks.Ecto.Migrate.run([])'
შეინახეთ ნებისმიერი სხვა პროექტისთვის სპეციფიკური მომზადება ამ ეტაპზე. თქვენმა კომპილირების ალიასმა ასევე უნდა გაითვალისწინოს --no-compile ბუტსტრაპის სამუშაოს შესრულებამდე: Mix მხოლოდ ბოლო ამოცანას გადასცემს ფლაგებს სიის ალიასში, ამიტომ ადრეული უპირობო deps.compile მაინც გაეშვება. იხილეთ დაცული ალიასი ხელით კომპილირების ინტეგრაციაში.
შემდეგ ჩატვირთეთ აღდგენილი SDK კომპილირების გარეშე დაყოფის შესრულებამდე. ეს ასევე ხელს უშლის ამოცანების აღმოჩენას დააკომპილიროს გზის დამოკიდებულება, როდესაც მისი წყაროები უფრო ახალია, ვიდრე ჩამოტვირთული აგება:
MIX_ENV=test TUIST_SHARD_INDEX=0 mix do deps.loadpaths --no-compile --no-deps-check + tuist.test --no-download
ორივე ბრძანებას სჭირდება ერთი და იგივე დაყოფის მითითება. --prepare-only საჭიროებს ატვირთულ აგებას, და --no-download მარცხდება, თუ მომზადებული აპლიკაციის არტეფაქტი არ არსებობს. --no-download ცალსახად ტოვებს თქვენი პროექტის ტესტების მომზადების ალიასს, მათ შორის ხელახალი ცდების დროსაც, და ბეჭდავს შეტყობინებას, როდესაც კონფიგურაციის ნაბიჯებს ტოვებს. ჩვეულებრივი გაშვებები ინარჩუნებენ თავიანთ ალიასებს, მაშინაც კი, როდესაც გადასცემთ --no-compile --no-deps-check. მონაცემთა ბაზის მიგრაციების ცალკეულ პროცესში შენარჩუნება ასევე თავიდან აცილებს მოდულის ხელახლა განსაზღვრის გაფრთხილებებს, როდესაც მიგრაციის რეგრესიული ტესტები თავად ტვირთავენ ამ მოდულებს.
სხვადასხვა გარემოების ტესტირებისას, გადაეცით სტაბილური --scheme ლეიბლი, როგორიცაა --scheme clickhouse-current ან --scheme clickhouse-floor. სხვადასხვა ლეიბლის შედეგები არ განიხილება ერთი და იგივე კონფიგურაციის არასტაბილური ხელახალი გაშვებებად.
რა სჭირდება დაყოფებს#
ატვირთული აგება არის _build/test დირექტორია. თითოეულ დაყოფის გამშვებს კვლავ სჭირდება:
- იგივე ჩეკაუტი, რაც აგების ეტაპზე
- Elixir-ისა და Erlang/OTP-ის იგივე ვერსიები
- დამოკიდებულებების წყაროები,
mix deps.get-დან
ქოლგის პროექტის ფესვიდან დაყოფა ჯერჯერობით მხარდაჭერილი არ არის. გაუშვით ორივე ეტაპი მის ერთ-ერთ აპლიკაციაში.
უწყვეტი ინტეგრაცია#
GitHub Actions#
GitHub Actions-ზე აგების ეტაპი წერს დაყოფის ინდექსებს თავისი ნაბიჯის matrix გამოტანაში. გამოიყენეთ მატრიცული სტრატეგია დაყოფების პარალელურად გასაშვებად:
name: Tests
on: [pull_request]
env:
MIX_ENV: test
TUIST_TOKEN: ${{ secrets.TUIST_TOKEN }}
jobs:
build:
name: Build test shards
runs-on: ubuntu-latest
outputs:
matrix: ${{ steps.build.outputs.matrix }}
steps:
- uses: actions/checkout@v4
- uses: erlef/setup-beam@v1
with:
elixir-version: '1.18'
otp-version: '27'
- run: mix deps.get
- run: mix compile --warnings-as-errors
- id: build
run: mix tuist.test.build --shard-max 5
test:
name: "Shard #${{ matrix.shard }}"
needs: build
runs-on: ubuntu-latest
strategy:
fail-fast: false
matrix:
shard: ${{ fromJson(needs.build.outputs.matrix).shard }}
env:
TUIST_SHARD_INDEX: ${{ matrix.shard }}
steps:
- uses: actions/checkout@v4
- uses: erlef/setup-beam@v1
with:
elixir-version: '1.18'
otp-version: '27'
- run: mix deps.get
- run: mix do deps.compile tuist_ex --include-children + deps.loadpaths --no-compile --no-deps-check + tuist.test --prepare-only
# Ecto example: keep all project-specific test preparation here.
# The project's compile alias must honor --no-compile (see above).
- run: mix run --no-start --no-compile --no-deps-check -e 'Mix.Tasks.Ecto.Create.run([]); Mix.Tasks.Ecto.Migrate.run([])'
- run: mix do deps.loadpaths --no-compile --no-deps-check + tuist.test --no-download
სხვა პროვაიდერები#
GitHub Actions-ის გარეთ აგების ეტაპი წერს გეგმას .tuist-shard-matrix.json-ში:
{
"reference": "gitlab-1234",
"shard_count": 2,
"shards": [
{
"index": 0,
"test_targets": ["MyApp.AccountsTest", "MyApp.CheckoutTest"],
"estimated_duration_ms": 41000
},
{
"index": 1,
"test_targets": ["MyAppWeb.PageControllerTest"],
"estimated_duration_ms": 39500
}
]
}
გამოიყენეთ shard_count პარალელური სამუშაოების შესაქმნელად და მიანიჭეთ თითოეულ სამუშაოს მისი TUIST_SHARD_INDEX, 0-დან shard_count - 1-მდე. იმ პროვაიდერზე, საიდანაც Tuist არ გამოჰყავს მითითება, ასევე მიანიჭეთ ყველა სამუშაოს ერთი და იგივე TUIST_SHARD_REFERENCE.