გადადით შინაარსზე

Gradle-ის არასტაბილური ტესტები

მოთხოვნები

არასტაბილური ტესტები არის ტესტები, რომლებიც ერთი და იგივე კოდით მრავალჯერ გაშვებისას განსხვავებულ შედეგებს (წარმატება ან ჩავარდნა) იძლევა. ისინი ამცირებენ ნდობას თქვენი ტესტების ნაკრების მიმართ და ფუჭად ხარჯავენ დეველოპერების დროს ცრუ ჩავარდნების გამოკვლევაზე. Tuist ავტომატურად აღმოაჩენს არასტაბილურ ტესტებს და გეხმარებათ მათ თვალყურის დევნაში დროთა განმავლობაში.

არასტაბილური ტესტების გვერდი

როგორ მუშაობს არასტაბილურობის აღმოჩენა#

Tuist არასტაბილურ ტესტებს ორი გზით ავლენს:

ტესტების ხელახლა გაშვება#

როდესაც ტესტებს ხელახლა გაშვების ფუნქციით ასრულებთ, Tuist თითოეული მცდელობის შედეგებს აანალიზებს. თუ ტესტი ზოგიერთ მცდელობაზე ვერდება, მაგრამ სხვებზე გადის, ის არასტაბილურად მონიშნება.

შეგიძლიათ გამოიყენოთ Test Retry პლაგინი ან მსგავსი მექანიზმი ჩავარდნილი ტესტების ხელახლა გასაშვებად. Tuist აღმოაჩენს ტესტებს, რომლებიც ზოგიერთ მცდელობაზე გადის, მაგრამ სხვებზე ვერდება.

დაამატეთ პლაგინი თქვენს build.gradle.kts-ში:

kotlin
plugins {
id("org.gradle.test-retry") version "1.6.2"
}
tasks.test {
retry {
maxRetries = 3
maxFailures = 5
failOnPassedAfterRetry = false
}
}

არასტაბილური სატესტო შემთხვევის დეტალები

ჯვარედინი გაშვებების აღმოჩენა#

ტესტების ხელახლა გაშვების გარეშეც, Tuist-ს შეუძლია არასტაბილური ტესტების აღმოჩენა იმავე კომიტისა და იმავე Gradle პროექტის სხვადასხვა CI გაშვებების შედეგების შედარებით. თუ ტესტი ერთ CI გაშვებაზე გადის, მაგრამ იმავე კომიტისა და პროექტის მეორე გაშვებაზე ვერდება, ჩავარდნილი შესრულება არასტაბილურად მონიშნება.

Gradle პროექტი შედარების გასაღების ნაწილია, რადგან ერთი და იგივე ტესტი შეიძლება განსხვავებულად მოიქცეს სხვადასხვა პროექტში — მაგალითად, გაზიარებული სატესტო კლასი, რომელიც სხვადასხვა დამოკიდებულებებით კომპილირდება ან სხვა მოდულის ფიქსტურაზე გაშვებულია. ერთი და იგივე კომიტის ორი გაშვება სხვადასხვა Gradle პროექტებზე ცალკე შესრულების ვარიანტებად მიიჩნევა და ერთმანეთს არასტაბილურად არ მონიშნავს.

ეს განსაკუთრებით სასარგებლოა ისეთი არასტაბილური ტესტების დასაჭერად, რომლებიც საკმარისად თანმიმდევრულად არ ვერდება ხელახლა გაშვებით დასაჭერად, მაგრამ მაინც იწვევს პერიოდულ CI ჩავარდნებს.

არასტაბილური ტესტების მართვა#

ავტომატური გასუფთავება#

აღმოჩენა და გასუფთავება ხორციელდება პროექტზე არსებული ავტომატიზაციის შეტყობინების მეშვეობით. ყოველ პროექტს აქვს ნაგულისხმევი „არასტაბილური ტესტების აღმოჩენის“ ავტომატიზაცია, რომლის ტრიგერი ტესტს არასტაბილურად ნიშნავს, ხოლო აღდგენა ხსნის ამ ნიშანს, როცა ტესტი კონფიგურირებულ აღდგენის ფანჯარაში (ნაგულისხმევი 14 დღე) ხელახლა არ გააქტიურებს ტრიგერს. შეცვალეთ ის პარამეტრები → ავტომატიზაციები განყოფილებაში, რათა შეცვალოთ აღდგენის ფანჯარა, აღდგენის ქმედებები (მაგალითად, ასევე მოხსნათ ტესტი კარანტინიდან) ან სრულიად გამორთოთ აღდგენა, რათა ტესტები დარჩეს არასტაბილურად მონიშნული, სანამ ხელით არ გაასუფთავებთ.

ხელით მართვა#

ტესტების არასტაბილურად მონიშვნა ან ნიშნის მოხსნა შესაძლებელია სატესტო შემთხვევის დეტალური გვერდიდან. ეს სასარგებლოა, როცა:

  • გსურთ აღიაროთ ცნობილი არასტაბილური ტესტი, სანამ მის გამოსწორებაზე მუშაობთ
  • ტესტი ინფრასტრუქტურული პრობლემების გამო შეცდომით იყო მონიშნული

არასტაბილური ტესტების კარანტინში მოქცევა#

კარანტინი იზოლირებს არასტაბილურ სატესტო შემთხევას, რათა მან არ დაბლოკოს CI სისტემა მისი გამოსწორების დროს. ნაგულისხმევად ეს არის ხელით შესრულებული ქმედება: თქვენ აყენებთ ტესტს კარანტინში, ათავისუფლებთ მას და ცვლით რეჟიმებს დაშბორდის სატესტო შემთხვევის დეტალური გვერდიდან. ასევე შეგიძლიათ ის დააკავშიროთ ავტომატიზაციის გაფრთხილებასთან განყოფილებაში პარამეტრები → ავტომატიზაციები, რათა ტესტი ავტომატურად დადუმდეს (ან გამოიტოვოს), როცა ის გადალახავს არასტაბილურობის ზღვარს, და გათავისუფლდეს, როცა აღდგება. ყოველი გადასვლა, ხელით თუ ავტომატურად, ფიქსირდება სატესტო შემთხვევის აუდიტის ჟურნალში.

ნაგულისხმევად, აღდგენა ელოდება, სანამ ტრიგერის პირობა აღარ იქნება მოქმედი, ამიტომ ტესტი რჩება კარანტინში, სანამ მისი ძველი არასტაბილური გაშვებები არ დატოვებენ ტრიგერის ფანჯარას. უფრო სწრაფად აღსადგენად, დააყენეთ აღდგენის პირობა მნიშვნელობაზე ახალი არასტაბილური გაშვებების გარეშე: ტესტი აღდგება, როცა აღდგენის ფანჯარა (დღეები ან გაშვებები) გავა ახალი არასტაბილური გაშვების გარეშე, ყოველი ახალი არასტაბილური გაშვება თავიდან იწყებს ამ ლოდინს და აღდგენის შემდეგ მხოლოდ ახალი არასტაბილური გაშვება კვლავ აყენებს მას კარანტინში.

კარანტინში მოქცეული ტესტი ერთ-ერთ რეჟიმშია:

  • ჩუმად: ტესტი მაინც გაშვებულია, მაგრამ პლაგინი აყენებს ignoreFailures = true-ს და ბილდს ხელახლა აგდებს მხოლოდ არაკარანტინული ჩავარდნებისას. ჩავარდნები მაინც კვებავს არასტაბილური ტესტების დეტექტორს, ამიტომ შეგიძლიათ აკვირდეთ ტესტს ბილდის გაწყვეტის გარეშე. აირჩიეთ ეს იმ ტესტისთვის, რომელსაც აქტიურად იკვლევთ.
  • გამოტოვებული: პლაგინი ფილტრავს ტესტს Gradle-ის excludeTestsMatching-ით, ამიტომ ის არასდროს იწყება. ის არ წარმოქმნის ახალ შედეგებს და ქრება არასტაბილური ტესტების დაშბორდიდან მის ხელახლა ჩართვამდე. აირჩიეთ ეს, როცა ტესტი გატეხილია, ნელია, ან იმდენად მუდმივად არასტაბილურია, რომ მისი გაშვება უბრალოდ wasted CI წუთებია.

რატომ შეიძლება კარანტინში მყოფი ტესტები წარმატებულად გამოისახოს#

  • ჩუმად დატოვებული ტესტები მაინც სრულდება. ჩუმად დატოვებული ტესტი, რომელიც ვერ გადის, ფიქსირდება როგორც ვერ გაიარა სატესტო შემთხვევის გაშვებისას და მონიშნულია როგორც არამყარი; ცალკეული ტესტის სტატუსი არ იცვლება. რაც გადაიწერება, არის ტესტების გაშვების საერთო სტატუსი: თუ გაშვებაში ყველა ვერ გასული სატესტო შემთხვევა ჩუმად არის დატოვებული, მთლიანი გაშვება აღირიცხება როგორც წარმატებული, ამიტომ ჩუმად დატოვებული ვერ გასვლები არ არღვევენ CI-ს.
  • გამოტოვებული ტესტები საერთოდ არ სრულდება, ამიტომ დაშბორდი აგრძელებს ბოლო რეალური შესრულების სტატუსის ჩვენებას. ეს სნეპშოტი შეიძლება კვირების ძველი იყოს.

კარანტინის ჩართვა#

კარანტინი ავტომატურად ჩართულია CI-ზე (როცა CI გარემოს ცვლადი დაყენებულია) და გამორთულია ლოკალური ბილდებისთვის. პლაგინი თითოეული ტესტის ამოცანამდე იღებს კარანტინში მოქცეული ტესტების სიას Tuist სერვერიდან; ჩუმად მყოფი ტესტები ჩვეულებრივად გაშვებულია და მათი ჩავარდნები დამალულია, გამოტოვებული ტესტები ფილტრდება.

შეგიძლიათ ეს აშკარად აკონტროლოთ თქვენს settings.gradle.kts-ში:

kotlin
tuist {
testQuarantine {
enabled = true // or false to disable
}
}

როცა enabled არ არის დაყენებული, ის ავტო-აღმოჩენაზე გადადის: ჩართულია CI-ზე, გამორთულია ლოკალურად.

ახალი ტესტების სტრეს-ტესტირება#

სტრეს-გეიტი ხელახლა ასრულებს თქვენი ბრენჩის მიერ დამატებულ ტესტებს, თითოეულს რამდენჯერმე ახალ პროცესში, და აფიქსირებს იმ შემთხვევებს, რომლებიც არასტაბილური აღმოჩნდება. ახალ არასტაბილურ ტესტს პულ-რეკვესტზე ნახავთ, სადაც ის გაჩნდა, და არა კვირების შემდეგ.

სატესტო შემთხვევა ახლად ითვლება, თუ ის ბოლო 90 დღის განმავლობაში არ გაშვებულა CI-ზე პროექტის ძირითად შტოზე, ან კომიტზე, რომელიც მასზე უკვე მოხვდა. მერჯის რიგით, რიგის მიერ გაშვებული სატესტო შემთხვევა ცნობილი ხდება რიგის კომიტის მოხვედრისას და რჩება ახალი, თუ რიგი მას აგდებს. კომიტები შეესაბამება Git ისტორიას, რომელსაც Tuist აგროვებს CI-ზე.

მისი ჩართვა#

კარიბჭე ნაგულისხმევად გამორთულია. აირჩიეთ რეჟიმი:

  • report: აფრთხილებს თითოეულ არამდგრად სატესტო შემთხვევაზე. გაშვება მაინც სრულდება საკუთარი შედეგის მიხედვით.
  • enforce: არამდგრადი სატესტო შემთხვევა აცდენს გაშვებას, იმავე გასვლის კოდით, რაც ჩავარდნილ ტესტს.

დაიწყეთ report-ით რამდენიმე კვირის განმავლობაში, რომ ნახოთ, რას დაბლოკავდა enforce.

განაცხადეთ ის settings.gradle.kts-ში, ან დააყენეთ TUIST_TEST_STRESS_NEW_TESTS რეჟიმის შესაცვლელად თითოეული CI ზოლისთვის:

kotlin
tuist {
stressNewTests {
mode = "report" // or "enforce"
}
}

კარანტინისგან განსხვავებით, გეიტს არ აქვს CI-ის გათვალისწინებული ნაგულისხმები. mode-ის დაყენების გარეშე ის არსად გაშვებულია.

რამდენჯერ გაიმეორება თითოეული ტესტი#

ეს დამოკიდებულია იმაზე, თუ რამდენი ხანი დასჭირდა სატესტო შემთხვევას პირველ გაშვებაზე:

პირველი გაშვება გამეორებები
5 წმ-მდე 10
10 წმ-მდე 5
30 წმ-მდე 3
5 წთ-მდე 2
5 წთ-ზე მეტი არ მეორდება

გაშვება ჩერდება 200 სატესტო შემთხვევის ან 10 წუთის შემდეგ, იმის მიხედვით, რომელი ლიმიტიც უფრო ადრე მიიღწევა, და მიუთითებს, რომელი ლიმიტი ამოიწურა.

თითოეული ხელახლა გაშვება არის ჩაბუდებული Gradle ბილდი, ფილტრული იმ ერთ სატესტო შემთხვევაზე, ამიტომ ყოველი ხელახლა გაშვება იღებს ახალ ტესტის JVM-ს.

როდესაც გეიტი არ მუშაობს#

  • პირველი გაშვება უკვე ჩავარდა. ჯერ ეს ტესტები შეასწორეთ.
  • პროექტს არ აქვს ნაგულისხმები ბრენჩი, ან მასზე CI-ში ჯერ არაფერი გაშვებულა.
  • პროექტის ტესტების 30%-ზე მეტი ახალი ჩანს. ამ რაოდენობის ხელახლა გაშვება იმაზე მეტ დროს წაიღებს, ვიდრე სასარგებლოა. ეს მოსალოდნელია პროექტზე, რომელიც ახლახანს დაიწყო Tuist-თან რეპორტინგს, ან სახელის ცვლილების შემდეგ, როცა ერთდროულად ბევრი ტესტი გადაადგილდება.

Slack-ის შეტყობინებები#

მიიღეთ შეტყობინება, როდესაც ტესტი არამდგრადი ხდება, თქვენს Slack ინტეგრაციაში არამდგრადი ტესტების გაფრთხილებების დაყენებით.

არასტაბილური და კარანტინში მყოფი მდგომარეობის მოთხოვნა#

CLI#

tuist test case ბრძანებების ხე საშუალებას გაძლევთ ნახოთ ყველა ინფორმაცია, რასაც Tuist აკვირდება სატესტო შემთხვევის შესახებ:

bash
tuist test case list --flaky # only flaky test cases
tuist test case list --quarantined # only muted or skipped test cases
tuist test case show <test_case_id> # detail: flakiness rate, last status, run counts
tuist test case events <test_case_id> # audit log: marked_flaky, muted, skipped, ...
tuist test case run list <test_case_id> # run history with status and duration
tuist test case run show <test_case_run_id> # single run, including failure breakdown

ყველა ეს ბრძანება იღებს --json პარამეტრს სკრიპტებისთვის.

REST API#

იგივე მონაცემები ხელმისაწვდომია HTTP-ით. სრული სიისთვის (მარშრუტები, ფილტრები და პასუხის ველები) იხილეთ Test Cases endpoints API-ის ცნობარში. სატესტო შემთხვევის მდგომარეობის შესაცვლელად (არასტაბილურად მონიშვნა/მოხსნა, ჩუმად დატოვება, გამოტოვება), გააგზავნეთ PATCH /api/projects/{account_handle}/{project_handle}/tests/test-cases/{test_case_id} პარამეტრებით is_flaky ან state. იგივე ცვლილების განხორციელება შესაძლებელია ასევე tuist test case update ბრძანებით და update_test_case MCP ინსტრუმენტით.