გადადით შინაარსზე

Xcode-ის არასტაბილური ტესტები

მოთხოვნები
  • Xcode-ის ტესტების ინსაიტები კონფიგურირებული. Tuist აღმოაჩენს არასტაბილურ ტესტებს ყოველი ტესტების გაშვების მიერ ატვირთული ტესტ-ინსაიტის მოვლენებიდან.

არასტაბილური ტესტები არის ტესტები, რომლებიც ერთი და იგივე კოდით მრავალჯერ გაშვებისას განსხვავებულ შედეგებს (წარმატება ან ჩავარდნა) იძლევა. ისინი ამცირებენ ნდობას თქვენი ტესტების ნაკრების მიმართ და ფუჭად ხარჯავენ დეველოპერების დროს ცრუ ჩავარდნების გამოკვლევაზე. Tuist ავტომატურად აღმოაჩენს არასტაბილურ ტესტებს და გეხმარებათ მათ თვალყურის დევნაში დროთა განმავლობაში.

არასტაბილური ტესტების გვერდი

როგორ მუშაობს არასტაბილურობის აღმოჩენა#

Tuist აღმოაჩენს არასტაბილურ ტესტებს ორი გზით:

ტესტების ხელახლა ცდა#

როდესაც ტესტებს ცდის ფუნქციონალით ასრულებთ, Tuist აანალიზებს თითოეული ცდის შედეგებს. თუ ტესტი ზოგიერთ ცდაზე ვერდება, მაგრამ სხვებზე გადის, ის მონიშნულია როგორც არასტაბილური.

გაატარეთ -retry-tests-on-failure ან -test-iterations tuist xcodebuild test-ის მეშვეობით:

bash
tuist xcodebuild test \
-scheme MyScheme \
-retry-tests-on-failure \
-test-iterations 3

არასტაბილური სატესტო შემთხვევის დეტალები

გაშვებებს შორის დეტექცია#

ტესტების ხელახალი გაშვების გარეშეც, Tuist-ს შეუძლია არასტაბილური ტესტების აღმოჩენა იმავე კომიტზე, სქიმასა და მითითებულ დანიშნულებაზე (მოწყობილობის სახელი, პლატფორმა და ოპერაციული სისტემის ვერსია) შესრულებული სხვადასხვა CI გაშვების შედეგების შედარებით. თუ ტესტი ერთ შესაბამის CI გაშვებაში წარმატებით სრულდება, ხოლო მეორეში — ვერა, მაშინ ვერშესრულებული გაშვება მონიშნული იქნება როგორც არასტაბილური. ეს მუშაობს მიუხედავად იმისა, რომელი შედეგი მოვა პირველი.

იგივე ტესტს შეიძლება ჰქონდეს თანმიმდევრულად განსხვავებული ქცევა სხვადასხვა სქიმასა თუ დანიშნულებაში. მაგალითად, წარმატება iOS 26-ზე და ვერშესრულება iOS 27-ზე არ ნიშნავს არასტაბილურობას. სხვადასხვა სქემებიდან, მოწყობილობებიდან, პლატფორმებიდან ან OS ვერსიებიდან მიღებული შედეგები ერთმანეთს არასტაბილურად არ მონიშნავენ.

გაშვებები, რომლებსაც არ აქვთ დანიშნულების მეტამონაცემები ან რამდენიმე დანიშნულებას ფარავენ, შედარებულია მხოლოდ ერთმანეთთან, ამიტომ მათ შორის გარემოს განსხვავებები მაინც შეიძლება მონიშნული იყოს როგორც არასტაბილური. ხელახალი გაშვებაზე დაფუძნებული დეტექცია კვლავ მოქმედებს.

ეს განსაკუთრებით სასარგებლოა ისეთი არასტაბილური ტესტების დასაჭერად, რომლებიც არ ვერდებიან საკმარისად თანმიმდევრულად, რომ ხელახალი გაშვებით დაიჭირონ, მაგრამ მაინც იწვევენ პერიოდულ CI შეცდომებს.

არასტაბილური ტესტების მართვა#

ავტომატური გასუფთავება#

აღმოჩენა და გასუფთავება ხორციელდება პროექტზე არსებული ავტომატიზაციის შეტყობინების მეშვეობით. ყოველ პროექტს აქვს ნაგულისხმევი „არასტაბილური ტესტების აღმოჩენის“ ავტომატიზაცია, რომლის ტრიგერი ტესტს არასტაბილურად ნიშნავს, ხოლო აღდგენა ხსნის ამ ნიშანს, როცა ტესტი კონფიგურირებულ აღდგენის ფანჯარაში (ნაგულისხმევი 14 დღე) ხელახლა არ გააქტიურებს ტრიგერს. შეცვალეთ ის პარამეტრები → ავტომატიზაციები განყოფილებაში, რათა შეცვალოთ აღდგენის ფანჯარა, აღდგენის ქმედებები (მაგალითად, ასევე მოხსნათ ტესტი კარანტინიდან) ან სრულიად გამორთოთ აღდგენა, რათა ტესტები დარჩეს არასტაბილურად მონიშნული, სანამ ხელით არ გაასუფთავებთ.

ხელით მართვა#

ტესტების არასტაბილურად მონიშვნა ან ნიშნის მოხსნა შესაძლებელია სატესტო შემთხვევის დეტალური გვერდიდან. ეს სასარგებლოა, როცა:

  • გსურთ აღიაროთ ცნობილი არასტაბილური ტესტი, სანამ მის გამოსწორებაზე მუშაობთ
  • ტესტი ინფრასტრუქტურული პრობლემების გამო შეცდომით იყო მონიშნული

არასტაბილური ტესტების კარანტინში მოქცევა#

კარანტინი იზოლირებს არასტაბილურ სატესტო შემთხევას, რათა მან არ დაბლოკოს CI სისტემა მისი გამოსწორების დროს. ნაგულისხმევად ეს არის ხელით შესრულებული ქმედება: თქვენ აყენებთ ტესტს კარანტინში, ათავისუფლებთ მას და ცვლით რეჟიმებს დაშბორდის სატესტო შემთხვევის დეტალური გვერდიდან. ასევე შეგიძლიათ ის დააკავშიროთ ავტომატიზაციის გაფრთხილებასთან განყოფილებაში პარამეტრები → ავტომატიზაციები, რათა ტესტი ავტომატურად დადუმდეს (ან გამოიტოვოს), როცა ის გადალახავს არასტაბილურობის ზღვარს, და გათავისუფლდეს, როცა აღდგება. ყოველი გადასვლა, ხელით თუ ავტომატურად, ფიქსირდება სატესტო შემთხვევის აუდიტის ჟურნალში.

ნაგულისხმევად, აღდგენა ელოდება, სანამ ტრიგერის პირობა აღარ იქნება მოქმედი, ამიტომ ტესტი რჩება კარანტინში, სანამ მისი ძველი არასტაბილური გაშვებები არ დატოვებენ ტრიგერის ფანჯარას. უფრო სწრაფად აღსადგენად, დააყენეთ აღდგენის პირობა მნიშვნელობაზე ახალი არასტაბილური გაშვებების გარეშე: ტესტი აღდგება, როცა აღდგენის ფანჯარა (დღეები ან გაშვებები) გავა ახალი არასტაბილური გაშვების გარეშე, ყოველი ახალი არასტაბილური გაშვება თავიდან იწყებს ამ ლოდინს და აღდგენის შემდეგ მხოლოდ ახალი არასტაბილური გაშვება კვლავ აყენებს მას კარანტინში.

კარანტინში მოქცეული ტესტი ერთ-ერთ რეჟიმშია:

  • ჩუმად დატოვებული: ტესტი მაინც სრულდება, მაგრამ tuist xcodebuild test ფარავს შეცდომას. შეცდომები კვლავ კვებავენ არასტაბილური ტესტების დეტექტორს, ასე რომ, შეგიძლიათ აკვირდეთ ტესტს ბილდის გაწყვეტის გარეშე. აირჩიეთ ეს იმ ტესტისთვის, რომელსაც აქტიურად იკვლევთ.
  • გამოტოვებული: xcodebuild იღებს -skip-testing <identifier>, ამიტომ ტესტი არასდროს იწყება. ის არ წარმოქმნის ახალ შედეგებს და ქრება არასტაბილური ტესტების დაშბორდიდან მის ხელახლა ჩართვამდე. აირჩიეთ ეს, როდესაც ტესტი გაუმართავია, ნელია, ან იმდენად მუდმივად არასტაბილურია, რომ მისი გაშვება უბრალოდ CI-ის წუთების ფლანგვაა.

რატომ შეიძლება კარანტინში მყოფი ტესტები წარმატებულად გამოისახოს#

  • ჩუმად დატოვებული ტესტები მაინც სრულდება. ჩუმად დატოვებული ტესტი, რომელიც ვერ გადის, ფიქსირდება როგორც ვერ გაიარა სატესტო შემთხვევის გაშვებისას და მონიშნულია როგორც არამყარი; ცალკეული ტესტის სტატუსი არ იცვლება. რაც გადაიწერება, არის ტესტების გაშვების საერთო სტატუსი: თუ გაშვებაში ყველა ვერ გასული სატესტო შემთხვევა ჩუმად არის დატოვებული, მთლიანი გაშვება აღირიცხება როგორც წარმატებული, ამიტომ ჩუმად დატოვებული ვერ გასვლები არ არღვევენ CI-ს.
  • გამოტოვებული ტესტები საერთოდ არ სრულდება, ამიტომ დაშბორდი აგრძელებს ბოლო რეალური შესრულების სტატუსის ჩვენებას. ეს სნეპშოტი შეიძლება კვირების ძველი იყოს.

ტესტების გაშვება#

tuist xcodebuild test არის პასსთრაუ გარსი, რომელიც ავტომატურად ითვალისწინებს ორივე რეჟიმს. გამოიყენეთ ის ისევე, როგორც xcodebuild-ს გამოიძახებდით:

bash
tuist xcodebuild test -scheme MyScheme

გამოტოვებული ტესტები ემატება თქვენს xcodebuild-ის გამოძახებას როგორც -skip-testing <identifier> და არასდროს იწყება. ჩუმად დატოვებული ტესტები ჩვეულებრივად სრულდება; თუ ისინი ვერდება, შეცდომა იფარება მიღებულ ბილდის სტატუსში.

კარანტინის გვერდის ავლა#

tuist xcodebuild test იღებს --skip-quarantine-ს ყველაფრის გასაშვებად, ჩუმად დატოვებული და გამოტოვებული ტესტების ჩათვლით:

bash
tuist xcodebuild test --skip-quarantine -scheme MyScheme

xcodebuild-ის პირდაპირ გამოძახება#

თუ tuist xcodebuild test-ის გავლა არ შეგიძლიათ, თავად გააფართოვეთ კარანტინში მოქცეული ტესტები -skip-testing არგუმენტებად tuist test case list-ის მეშვეობით:

bash
xcodebuild test \
-scheme MyScheme \
$(tuist test case list --quarantined --skip-testing)

ეს არის უსაფრთხო ნაგულისხმევი tuist xcodebuild test-ის გარეთ: ჩუმად დატოვებული ტესტების შეცდომების დაფარვა ხდება მხოლოდ მაშინ, როდესაც ამ ბრძანების გავლით მოქმედებთ, ამიტომ ორივე რეჟიმის გამოტოვება თავიდან აიცილებს ცრუ CI-ის შეცდომებს. თუ უფრო ზუსტი კონტროლი გჭირდებათ, გამოიყენეთ tuist xcodebuild test.

ახალი ტესტების სტრეს-ტესტირება#

სტრეს-გეიტი ხელახლა ასრულებს თქვენი ბრენჩის მიერ დამატებულ ტესტებს, თითოეულს რამდენჯერმე ახალ პროცესში, და აფიქსირებს იმ შემთხვევებს, რომლებიც არასტაბილური აღმოჩნდება. ახალ არასტაბილურ ტესტს პულ-რეკვესტზე ნახავთ, სადაც ის გაჩნდა, და არა კვირების შემდეგ.

სატესტო შემთხვევა ითვლება ახლად, თუ ის ბოლო 90 დღის განმავლობაში არ გაშვებულა CI-ზე პროექტის ნაგულისხმევ შტოზე, ან კომიტზე, რომელიც მასზე შემდგომში მოხვდა. მერჯის რიგით, ტესტის შემთხვევა, რომელიც რიგმა გაუშვა, ცნობილი ხდება მას შემდეგ, რაც რიგის კომიტი მოხვდება შტოზე, და რჩება ახლად, თუ რიგი მას ტოვებს. კომიტები შეესაბამება Git-ის ისტორიას, რომელსაც Tuist აგროვებს CI-ზე.

მისი ჩართვა#

კარიბჭე ნაგულისხმევად გამორთულია. აირჩიეთ რეჟიმი:

  • report: აფრთხილებს თითოეულ არამდგრად სატესტო შემთხვევაზე. გაშვება მაინც სრულდება საკუთარი შედეგის მიხედვით.
  • enforce: არამდგრადი სატესტო შემთხვევა აცდენს გაშვებას, იმავე გასვლის კოდით, რაც ჩავარდნილ ტესტს.

დაიწყეთ report-ით რამდენიმე კვირის განმავლობაში, რომ ნახოთ, რას დაბლოკავდა enforce.

გაატარეთ ის პასსთრაუ არგუმენტებამდე, ან დააყენეთ TUIST_TEST_STRESS_NEW_TESTS რეჟიმის CI-ის თითოეული არხისთვის ვარიაციისთვის:

bash
tuist xcodebuild test --stress-new-tests report -scheme MyScheme

რამდენჯერ გაიმეორება თითოეული ტესტი#

ეს დამოკიდებულია იმაზე, თუ რამდენი ხანი დასჭირდა სატესტო შემთხვევას პირველ გაშვებაზე:

პირველი გაშვება გამეორებები
5 წმ-მდე 10
10 წმ-მდე 5
30 წმ-მდე 3
5 წთ-მდე 2
5 წთ-ზე მეტი არ მეორდება

გაშვება ჩერდება 200 სატესტო შემთხვევის ან 10 წუთის შემდეგ, იმის მიხედვით, რომელი ლიმიტიც უფრო ადრე მიიღწევა, და მიუთითებს, რომელი ლიმიტი ამოიწურა.

ხელახლა გაშვებები იყენებენ იმას, რაც პირველმა გაშვებამ ააგო.

როდესაც გეიტი არ მუშაობს#

  • პირველი გაშვება უკვე ჩავარდა. ჯერ ეს ტესტები შეასწორეთ.
  • პროექტს არ აქვს ნაგულისხმები ბრენჩი, ან მასზე CI-ში ჯერ არაფერი გაშვებულა.
  • პროექტის ტესტების 30%-ზე მეტი ახალი ჩანს. ამ რაოდენობის ხელახლა გაშვება იმაზე მეტ დროს წაიღებს, ვიდრე სასარგებლოა. ეს მოსალოდნელია პროექტზე, რომელიც ახლახანს დაიწყო Tuist-თან რეპორტინგს, ან სახელის ცვლილების შემდეგ, როცა ერთდროულად ბევრი ტესტი გადაადგილდება.

Slack-ის შეტყობინებები#

მიიღეთ შეტყობინება, როდესაც ტესტი არამდგრადი ხდება, თქვენს Slack ინტეგრაციაში არამდგრადი ტესტების გაფრთხილებების დაყენებით.

არასტაბილური და კარანტინში მყოფი მდგომარეობის მოთხოვნა#

CLI#

tuist test case ბრძანებების ხე საშუალებას გაძლევთ ნახოთ ყველა ინფორმაცია, რასაც Tuist აკვირდება სატესტო შემთხვევის შესახებ:

bash
tuist test case list --flaky # only flaky test cases
tuist test case list --quarantined # only muted or skipped test cases
tuist test case show <test_case_id> # detail: flakiness rate, last status, run counts
tuist test case events <test_case_id> # audit log: marked_flaky, muted, skipped, ...
tuist test case run list <test_case_id> # run history with status and duration
tuist test case run show <test_case_run_id> # single run, including failure breakdown

ყველა ეს ბრძანება იღებს --json პარამეტრს სკრიპტებისთვის.

REST API#

იგივე მონაცემები ხელმისაწვდომია HTTP-ით. სრული სიისთვის (მარშრუტები, ფილტრები და პასუხის ველები) იხილეთ Test Cases endpoints API-ის ცნობარში. სატესტო შემთხვევის მდგომარეობის შესაცვლელად (არასტაბილურად მონიშვნა/მოხსნა, ჩუმად დატოვება, გამოტოვება), გააგზავნეთ PATCH /api/projects/{account_handle}/{project_handle}/tests/test-cases/{test_case_id} პარამეტრებით is_flaky ან state. იგივე ცვლილების განხორციელება შესაძლებელია ასევე tuist test case update ბრძანებით და update_test_case MCP ინსტრუმენტით.