გენერირებული Xcode პროექტი
- Xcode ტესტების ინსაითები კონფიგურირებული (ავტომატურად გენერირებული სქემები შეიცავს
tuist inspect testpost-action-ს; მორგებულ სქემებს საჭიროებს დამატებას).
არასტაბილური ტესტები არის ტესტები, რომლებიც ერთი და იგივე კოდით მრავალჯერ გაშვებისას განსხვავებულ შედეგებს (წარმატება ან ჩავარდნა) იძლევა. ისინი ამცირებენ ნდობას თქვენი ტესტების ნაკრების მიმართ და ფუჭად ხარჯავენ დეველოპერების დროს ცრუ ჩავარდნების გამოკვლევაზე. Tuist ავტომატურად აღმოაჩენს არასტაბილურ ტესტებს და გეხმარებათ მათ თვალყურის დევნაში დროთა განმავლობაში.

როგორ მუშაობს არასტაბილურობის აღმოჩენა#
Tuist ორი გზით აღმოაჩენს არასტაბილურ ტესტებს:
ტესტების ხელახლა გაშვება#
როდესაც ტესტებს აშვებთ ხელახლა გაშვების ფუნქციით, Tuist აანალიზებს თითოეული ცდის შედეგებს. თუ ტესტი ზოგიერთ ცდაზე ვერდება, მაგრამ სხვებზე გადის, ის მონიშნულია როგორც არასტაბილური.
გადაეცით -retry-tests-on-failure ან -test-iterations tuist test-ის მეშვეობით:
tuist test MyScheme -- -retry-tests-on-failure -test-iterations 3

გაშვებებს შორის დეტექცია#
ტესტების ხელახალი გაშვების გარეშეც, Tuist-ს შეუძლია არასტაბილური ტესტების აღმოჩენა იმავე კომიტზე, სქიმასა და მითითებულ დანიშნულებაზე (მოწყობილობის სახელი, პლატფორმა და ოპერაციული სისტემის ვერსია) შესრულებული სხვადასხვა CI გაშვების შედეგების შედარებით. თუ ტესტი ერთ შესაბამის CI გაშვებაში წარმატებით სრულდება, ხოლო მეორეში — ვერა, მაშინ ვერშესრულებული გაშვება მონიშნული იქნება როგორც არასტაბილური. ეს მუშაობს მიუხედავად იმისა, რომელი შედეგი მოვა პირველი.
იგივე ტესტს შეიძლება ჰქონდეს თანმიმდევრულად განსხვავებული ქცევა სხვადასხვა სქიმასა თუ დანიშნულებაში. მაგალითად, წარმატება iOS 26-ზე და ვერშესრულება iOS 27-ზე არ ნიშნავს არასტაბილურობას. სხვადასხვა სქემებიდან, მოწყობილობებიდან, პლატფორმებიდან ან OS ვერსიებიდან მიღებული შედეგები ერთმანეთს არასტაბილურად არ მონიშნავენ.
გაშვებები, რომლებსაც არ აქვთ დანიშნულების მეტამონაცემები ან რამდენიმე დანიშნულებას ფარავენ, შედარებულია მხოლოდ ერთმანეთთან, ამიტომ მათ შორის გარემოს განსხვავებები მაინც შეიძლება მონიშნული იყოს როგორც არასტაბილური. ხელახალი გაშვებაზე დაფუძნებული დეტექცია კვლავ მოქმედებს.
ეს განსაკუთრებით სასარგებლოა ისეთი არასტაბილური ტესტების დასაჭერად, რომლებიც არ ვერდებიან საკმარისად თანმიმდევრულად, რომ ხელახალი გაშვებით დაიჭირონ, მაგრამ მაინც იწვევენ პერიოდულ CI შეცდომებს.
არასტაბილური ტესტების მართვა#
ავტომატური გასუფთავება#
აღმოჩენა და გასუფთავება ხორციელდება პროექტზე არსებული ავტომატიზაციის შეტყობინების მეშვეობით. ყოველ პროექტს აქვს ნაგულისხმევი „არასტაბილური ტესტების აღმოჩენის“ ავტომატიზაცია, რომლის ტრიგერი ტესტს არასტაბილურად ნიშნავს, ხოლო აღდგენა ხსნის ამ ნიშანს, როცა ტესტი კონფიგურირებულ აღდგენის ფანჯარაში (ნაგულისხმევი 14 დღე) ხელახლა არ გააქტიურებს ტრიგერს. შეცვალეთ ის პარამეტრები → ავტომატიზაციები განყოფილებაში, რათა შეცვალოთ აღდგენის ფანჯარა, აღდგენის ქმედებები (მაგალითად, ასევე მოხსნათ ტესტი კარანტინიდან) ან სრულიად გამორთოთ აღდგენა, რათა ტესტები დარჩეს არასტაბილურად მონიშნული, სანამ ხელით არ გაასუფთავებთ.
ხელით მართვა#
ტესტების არასტაბილურად მონიშვნა ან ნიშნის მოხსნა შესაძლებელია სატესტო შემთხვევის დეტალური გვერდიდან. ეს სასარგებლოა, როცა:
- გსურთ აღიაროთ ცნობილი არასტაბილური ტესტი, სანამ მის გამოსწორებაზე მუშაობთ
- ტესტი ინფრასტრუქტურული პრობლემების გამო შეცდომით იყო მონიშნული
არასტაბილური ტესტების კარანტინში მოქცევა#
კარანტინი იზოლირებს არასტაბილურ სატესტო შემთხევას, რათა მან არ დაბლოკოს CI სისტემა მისი გამოსწორების დროს. ნაგულისხმევად ეს არის ხელით შესრულებული ქმედება: თქვენ აყენებთ ტესტს კარანტინში, ათავისუფლებთ მას და ცვლით რეჟიმებს დაშბორდის სატესტო შემთხვევის დეტალური გვერდიდან. ასევე შეგიძლიათ ის დააკავშიროთ ავტომატიზაციის გაფრთხილებასთან განყოფილებაში პარამეტრები → ავტომატიზაციები, რათა ტესტი ავტომატურად დადუმდეს (ან გამოიტოვოს), როცა ის გადალახავს არასტაბილურობის ზღვარს, და გათავისუფლდეს, როცა აღდგება. ყოველი გადასვლა, ხელით თუ ავტომატურად, ფიქსირდება სატესტო შემთხვევის აუდიტის ჟურნალში.
ნაგულისხმევად, აღდგენა ელოდება, სანამ ტრიგერის პირობა აღარ იქნება მოქმედი, ამიტომ ტესტი რჩება კარანტინში, სანამ მისი ძველი არასტაბილური გაშვებები არ დატოვებენ ტრიგერის ფანჯარას. უფრო სწრაფად აღსადგენად, დააყენეთ აღდგენის პირობა მნიშვნელობაზე ახალი არასტაბილური გაშვებების გარეშე: ტესტი აღდგება, როცა აღდგენის ფანჯარა (დღეები ან გაშვებები) გავა ახალი არასტაბილური გაშვების გარეშე, ყოველი ახალი არასტაბილური გაშვება თავიდან იწყებს ამ ლოდინს და აღდგენის შემდეგ მხოლოდ ახალი არასტაბილური გაშვება კვლავ აყენებს მას კარანტინში.
კარანტინში მოქცეული ტესტი ერთ-ერთ რეჟიმშია:
- ჩუმად: ტესტი მაინც ეშვება, მაგრამ
tuist testნიღბავს შეცდომას. შეცდომები მაინც კვებავს არასტაბილური ტესტების დეტექტორს, ასე რომ შეგიძლიათ აკვირდეთ ტესტს ბილდის გაწყვეტის გარეშე. აირჩიეთ ეს იმ ტესტისთვის, რომელსაც აქტიურად იკვლევთ. - გამოტოვებული: xcodebuild იღებს
-skip-testing <identifier>-ს, ამიტომ ტესტი არასდროს იწყება. ის არ წარმოქმნის ახალ შედეგებს და ქრება არასტაბილური ტესტების დაშბორდიდან, სანამ ხელახლა არ ჩართავთ. აირჩიეთ ეს, როდესაც ტესტი გატეხილია, ნელია, ან იმდენად მუდმივად არასტაბილურია, რომ მისი გაშვება უბრალოდ ფუჭად ხარჯავს CI წუთებს.
რატომ შეიძლება კარანტინში მყოფი ტესტები წარმატებულად გამოისახოს#
- ჩუმად დატოვებული ტესტები მაინც სრულდება. ჩუმად დატოვებული ტესტი, რომელიც ვერ გადის, ფიქსირდება როგორც ვერ გაიარა სატესტო შემთხვევის გაშვებისას და მონიშნულია როგორც არამყარი; ცალკეული ტესტის სტატუსი არ იცვლება. რაც გადაიწერება, არის ტესტების გაშვების საერთო სტატუსი: თუ გაშვებაში ყველა ვერ გასული სატესტო შემთხვევა ჩუმად არის დატოვებული, მთლიანი გაშვება აღირიცხება როგორც წარმატებული, ამიტომ ჩუმად დატოვებული ვერ გასვლები არ არღვევენ CI-ს.
- გამოტოვებული ტესტები საერთოდ არ სრულდება, ამიტომ დაშბორდი აგრძელებს ბოლო რეალური შესრულების სტატუსის ჩვენებას. ეს სნეპშოტი შეიძლება კვირების ძველი იყოს.
ტესტების გაშვება#
tuist test ავტომატურად პატივს სცემს ორივე რეჟიმს:
tuist test
გამოტოვებული ტესტები გადაეცემა xcodebuild-ს როგორც -skip-testing და არასდროს იწყება. ჩუმად ტესტები ჩვეულებრივად ეშვება; თუ ისინი ვერდებიან, შეცდომა ინიღბება მიღებულ ბილდის სტატუსში.
კარანტინის სრულად გასაბათილებლად და ყველაფრის გასაშვებად, ჩუმად და გამოტოვებული ტესტების ჩათვლით:
tuist test --skip-quarantine
ახალი ტესტების სტრეს-ტესტირება#
სტრეს-გეიტი ხელახლა ასრულებს თქვენი ბრენჩის მიერ დამატებულ ტესტებს, თითოეულს რამდენჯერმე ახალ პროცესში, და აფიქსირებს იმ შემთხვევებს, რომლებიც არასტაბილური აღმოჩნდება. ახალ არასტაბილურ ტესტს პულ-რეკვესტზე ნახავთ, სადაც ის გაჩნდა, და არა კვირების შემდეგ.
სატესტო შემთხვევა ახლად ითვლება, თუ ის ბოლო 90 დღის განმავლობაში არ გაშვებულა CI-ზე პროექტის ძირითად შტოზე, ან კომიტზე, რომელიც მას შემდეგ ჩაერთო. მერჯის რიგით, ტესტის შემთხვევა, რომელიც რიგმა გაუშვა, ცნობილი ხდება მას შემდეგ, რაც რიგის კომიტი ჩაერთვება, და რჩება ახალი, თუ რიგი მას გამოტოვებს. კომიტები შეესაბამება Git ისტორიის მეშვეობით, რომელსაც Tuist აგროვებს CI-ზე.
მისი ჩართვა#
კარიბჭე ნაგულისხმევად გამორთულია. აირჩიეთ რეჟიმი:
report: აფრთხილებს თითოეულ არამდგრად სატესტო შემთხვევაზე. გაშვება მაინც სრულდება საკუთარი შედეგის მიხედვით.enforce: არამდგრადი სატესტო შემთხვევა აცდენს გაშვებას, იმავე გასვლის კოდით, რაც ჩავარდნილ ტესტს.
დაიწყეთ report-ით რამდენიმე კვირის განმავლობაში, რომ ნახოთ, რას დაბლოკავდა enforce.
ორივე რეჟიმში, შერჩევითი ტესტირება არ გამოტოვებს ტესტის სამიზნეს არასტაბილური ახალი სატესტო შემთხვევით შემდეგ გაშვებაზე. სამიზნე ხელახლა ეშვება, და გეიტი ხელახლა ატესტებს სატესტო შემთხვევას, სანამ ის ყველა ხელახლა გაშვებას არ გაივლის.
გადაეცით ის პასთროუ არგუმენტებამდე, ან დააყენეთ TUIST_TEST_STRESS_NEW_TESTS რეჟიმის შესაცვლელად თითოეული CI არხისთვის:
tuist test --stress-new-tests report
რამდენჯერ გაიმეორება თითოეული ტესტი#
ეს დამოკიდებულია იმაზე, თუ რამდენი ხანი დასჭირდა სატესტო შემთხვევას პირველ გაშვებაზე:
| პირველი გაშვება | გამეორებები |
|---|---|
| 5 წმ-მდე | 10 |
| 10 წმ-მდე | 5 |
| 30 წმ-მდე | 3 |
| 5 წთ-მდე | 2 |
| 5 წთ-ზე მეტი | არ მეორდება |
გაშვება ჩერდება 200 სატესტო შემთხვევის ან 10 წუთის შემდეგ, იმის მიხედვით, რომელი ლიმიტიც უფრო ადრე მიიღწევა, და მიუთითებს, რომელი ლიმიტი ამოიწურა.
ხელახლა გაშვებები იყენებენ იმას, რაც პირველმა გაშვებამ ააგო.
როდესაც გეიტი არ მუშაობს#
- პირველი გაშვება უკვე ჩავარდა. ჯერ ეს ტესტები შეასწორეთ.
- პროექტს არ აქვს ნაგულისხმები ბრენჩი, ან მასზე CI-ში ჯერ არაფერი გაშვებულა.
- პროექტის ტესტების 30%-ზე მეტი ახალი ჩანს. ამ რაოდენობის ხელახლა გაშვება იმაზე მეტ დროს წაიღებს, ვიდრე სასარგებლოა. ეს მოსალოდნელია პროექტზე, რომელიც ახლახანს დაიწყო Tuist-თან რეპორტინგს, ან სახელის ცვლილების შემდეგ, როცა ერთდროულად ბევრი ტესტი გადაადგილდება.
Slack-ის შეტყობინებები#
მიიღეთ შეტყობინება, როდესაც ტესტი არამდგრადი ხდება, თქვენს Slack ინტეგრაციაში არამდგრადი ტესტების გაფრთხილებების დაყენებით.
არასტაბილური და კარანტინში მყოფი მდგომარეობის მოთხოვნა#
CLI#
tuist test case ბრძანებების ხე საშუალებას გაძლევთ ნახოთ ყველა ინფორმაცია, რასაც Tuist აკვირდება სატესტო შემთხვევის შესახებ:
tuist test case list --flaky # only flaky test cases
tuist test case list --quarantined # only muted or skipped test cases
tuist test case show <test_case_id> # detail: flakiness rate, last status, run counts
tuist test case events <test_case_id> # audit log: marked_flaky, muted, skipped, ...
tuist test case run list <test_case_id> # run history with status and duration
tuist test case run show <test_case_run_id> # single run, including failure breakdown
ყველა ეს ბრძანება იღებს --json პარამეტრს სკრიპტებისთვის.
REST API#
იგივე მონაცემები ხელმისაწვდომია HTTP-ით. სრული სიისთვის (მარშრუტები, ფილტრები და პასუხის ველები) იხილეთ Test Cases endpoints API-ის ცნობარში. სატესტო შემთხვევის მდგომარეობის შესაცვლელად (არასტაბილურად მონიშვნა/მოხსნა, ჩუმად დატოვება, გამოტოვება), გააგზავნეთ PATCH /api/projects/{account_handle}/{project_handle}/tests/test-cases/{test_case_id} პარამეტრებით is_flaky ან state. იგივე ცვლილების განხორციელება შესაძლებელია ასევე tuist test case update ბრძანებით და update_test_case MCP ინსტრუმენტით.