- Czym są metryki testowania oprogramowania?
- Czym jest pomiar testów oprogramowania?
- Dlaczego warto testować metryki?
- Cykl życia metryk
- Rodzaje metryk testów ręcznych
- Przykłady wskaźników testowania oprogramowania
- Wnioski
- Zalecana lektura
W projektach związanych z oprogramowaniem najważniejszy jest pomiar jakości, kosztów i efektywności projektu oraz procesów. Bez pomiaru tych parametrów projekt nie może zostać pomyślnie ukończony.
W dzisiejszym artykule dowiemy się z przykładami i wykresami - Metryki i pomiary testów oprogramowania i jak z nich korzystać w procesie testowania oprogramowania.
Jest takie słynne stwierdzenie: "Nie możemy kontrolować rzeczy, których nie możemy zmierzyć".
W tym przypadku kontrolowanie projektów oznacza, w jaki sposób kierownik projektu może jak najszybciej zidentyfikować odchylenia od planu testów, aby zareagować w odpowiednim czasie. Generowanie metryk testowych w oparciu o potrzeby projektu jest bardzo ważne dla osiągnięcia jakości testowanego oprogramowania.
Czym są metryki testowania oprogramowania?
Metryka to ilościowa miara stopnia, w jakim system, komponent systemu lub proces posiada dany atrybut.
Metryki można zdefiniować jako "STANDARDY OF POMIAR ".
Metryki oprogramowania służą do pomiaru jakości projektu. Metryka to jednostka używana do opisu atrybutu. Metryka to skala pomiaru.
Załóżmy, że w ogólnym przypadku "Kilogram" jest metryką do pomiaru atrybutu "Waga". Podobnie w oprogramowaniu, "Ile błędów znajduje się w tysiącu linii kodu?", h tutaj Liczba zgłoszeń to jedna miara & Liczba linii kodu to inna miara. Metryka jest definiowana na podstawie tych dwóch miar .
Przykład metryk testowych:
- Ile defektów występuje w module?
- Ile przypadków testowych jest wykonywanych na osobę?
- Co to jest % pokrycia testami?
Czym jest pomiar testów oprogramowania?
Pomiar jest ilościowe wskazanie zakresu, ilości, wymiaru, pojemności lub wielkości jakiegoś atrybutu produktu lub procesu.
Przykład pomiaru testowego: Całkowita liczba usterek.
Zapoznaj się z poniższym diagramem, aby dobrze zrozumieć różnicę między Measurement & Metrics.
Dlaczego warto testować metryki?
Generowanie metryk testów oprogramowania jest najważniejszym obowiązkiem kierownika/menedżera ds. testów oprogramowania.
Metryki testów służą do,
- Podjęcie decyzji o następnej fazie działań, takich jak oszacowanie kosztów & harmonogram przyszłych projektów.
- Zrozumienie rodzaju ulepszeń wymaganych do powodzenia projektu
- Podjęcie decyzji o modyfikacji procesu lub technologii itp.
Znaczenie metryk testowania oprogramowania:
Jak wyjaśniono powyżej, metryki testowe są najważniejsze do pomiaru jakości oprogramowania.
Teraz, Jak możemy mierzyć jakość oprogramowania za pomocą metryk? ?
Załóżmy, że jeśli projekt nie ma żadnych metryk, to w jaki sposób będzie mierzona jakość pracy wykonanej przez analityka testów?
Na przykład, Analityk testów musi,
- Projektowanie przypadków testowych dla 5 wymagań
- Wykonywanie zaprojektowanych przypadków testowych
- Rejestrowanie defektów & konieczność odrzucenia powiązanych przypadków testowych
- Po usunięciu defektu musimy ponownie przetestować defekt & ponownie wykonać odpowiedni nieudany przypadek testowy.
W powyższym scenariuszu, jeśli metryki nie są przestrzegane, praca wykonana przez analityka testów będzie subiektywna, tj. raport z testów nie będzie zawierał odpowiednich informacji, aby poznać status jego pracy/projektu.
Jeśli metryki są zaangażowane w projekt, można opublikować dokładny status jego pracy z odpowiednimi liczbami/danymi.
tj. w raporcie z testu, możemy opublikować:
- Ile przypadków testowych zostało zaprojektowanych dla każdego wymagania?
- Ile przypadków testowych jest jeszcze do zaprojektowania?
- Ile przypadków testowych jest wykonywanych?
- Ile przypadków testowych zostało zaliczonych/niezaliczonych/zablokowanych?
- Ile przypadków testowych nie zostało jeszcze wykonanych?
- Ile defektów zostało zidentyfikowanych i jaka jest ich waga?
- Ile przypadków testowych nie powiodło się z powodu jednego konkretnego defektu? itd.
W oparciu o potrzeby projektu możemy mieć więcej wskaźników niż wyżej wymieniona lista, aby szczegółowo poznać stan projektu.
Opierając się na powyższych metrykach, lider testów/menedżer testów zrozumie poniższe kluczowe punkty.
- % ukończonej pracy
- % prac, które nie zostały jeszcze ukończone
- Czas na ukończenie pozostałych prac
- Czy projekt przebiega zgodnie z harmonogramem, czy jest opóźniony itp.
W oparciu o wskaźniki, jeśli projekt nie zostanie ukończony zgodnie z harmonogramem, kierownik podniesie alarm dla klienta i innych interesariuszy, podając przyczyny opóźnień, aby uniknąć niespodzianek w ostatniej chwili.
Cykl życia metryk
Rodzaje metryk testów ręcznych
Metryki testowania dzielą się głównie na 2 kategorie.
- Podstawowe wskaźniki
- Obliczone wskaźniki
Podstawowe wskaźniki: Metryki bazowe to metryki, które pochodzą z danych zebranych przez analityka testów podczas opracowywania i wykonywania przypadków testowych.
Dane te będą śledzone przez cały cykl życia testów, tj. zbieranie danych takich jak całkowita liczba przypadków testowych opracowanych dla projektu (lub) liczba przypadków testowych, które należy wykonać (lub) liczba przypadków testowych, które zostały zaliczone / nieudane / zablokowane itp.
Obliczone wskaźniki: Obliczone metryki pochodzą z danych zebranych w metrykach bazowych. Metryki te są zazwyczaj śledzone przez kierownika/managera testów do celów raportowania testów.
Przykłady wskaźników testowania oprogramowania
Weźmy przykład obliczania różnych metryk testowych używanych w raportach z testów oprogramowania:
Poniżej znajduje się format tabeli dla danych pobranych od Analityka Testów, który jest faktycznie zaangażowany w testowanie:
Definicje i wzory do obliczania wskaźników:
#1) %ge Wykonane przypadki testowe Ta metryka jest używana do uzyskania statusu wykonania przypadków testowych pod względem %ge.
%ge Wykonane przypadki testowe = ( Liczba wykonanych przypadków testowych / Całkowita liczba napisanych przypadków testowych) * 100.
Tak więc, na podstawie powyższych danych,
% wykonanych przypadków testowych = (65 / 100) * 100 = 65%
#2) %ge Niewykonane przypadki testowe Ta metryka jest używana do uzyskania statusu oczekującego wykonania przypadków testowych pod względem %ge.
%ge Niewykonane przypadki testowe = ( Liczba niewykonanych przypadków testowych / Całkowita liczba napisanych przypadków testowych) * 100.
Tak więc, z powyższych danych,
%ge Zablokowane przypadki testowe = (35 / 100) * 100 = 35%
#3) %ge Zaliczone przypadki testowe Ta metryka jest używana do uzyskania procentowego wyniku pozytywnego wykonanych przypadków testowych.
%ge Zaliczone przypadki testowe = ( Liczba zaliczonych przypadków testowych / Łączna liczba wykonanych przypadków testowych) * 100.
Tak więc, z powyższych danych,
%zaliczonych przypadków testowych = (30 / 65) * 100 = 46%
#4) %ge Przypadki testowe zakończone niepowodzeniem Ta metryka jest używana do uzyskania %ge niepowodzenia wykonanych przypadków testowych.
%ge Przypadki testowe nie powiodły się = ( Liczba przypadków testowych zakończonych niepowodzeniem / Łączna liczba wykonanych przypadków testowych) * 100.
Tak więc, z powyższych danych,
%zaliczonych przypadków testowych = (26 / 65) * 100 = 40%
#5) %ge Zablokowane przypadki testowe Ta metryka jest używana do uzyskania % zablokowanych wykonanych przypadków testowych. Szczegółowy raport można przesłać, określając rzeczywisty powód zablokowania przypadków testowych.
%ge Zablokowane przypadki testowe = ( Liczba zablokowanych przypadków testowych / Łączna liczba wykonanych przypadków testowych) * 100.
Tak więc, z powyższych danych,
%ge Zablokowane przypadki testowe = (9 / 65) * 100 = 14%
#6) Gęstość defektów = Liczba zidentyfikowanych usterek / wielkość
( W tym przypadku "Rozmiar" jest uważany za wymaganie. W związku z tym gęstość defektów jest obliczana jako liczba defektów zidentyfikowanych na wymaganie. Podobnie gęstość defektów można obliczyć jako liczbę defektów zidentyfikowanych na 100 linii kodu [LUB] liczbę defektów zidentyfikowanych na moduł itp. )
Tak więc, z powyższych danych,
Gęstość defektów = (30 / 5) = 6
#7) Skuteczność usuwania wad (DRE) = ( Liczba defektów wykrytych podczas testów QA / (Liczba defektów wykrytych podczas testów QA + Liczba defektów wykrytych przez użytkownika końcowego) * 100
DRE służy do identyfikacji skuteczności testowej systemu.
Załóżmy, że podczas testowania Development & QA zidentyfikowaliśmy 100 defektów.
Po testach QA, podczas testów Alpha i Beta, użytkownik końcowy / klient zidentyfikował 40 defektów, które mogły zostać zidentyfikowane podczas fazy testów QA.
Teraz DRE zostanie obliczony jako,
DRE = [100 / (100 + 40)] * 100 = [100 /140] * 100 = 71%
#8) Wyciek defektu : Defect Leakage to metryka, która służy do identyfikacji wydajności testowania QA, tj. liczby defektów pominiętych / pominiętych podczas testowania QA.
Usterka Wyciek = ( Liczba defektów znalezionych w testach UAT / Liczba defektów znalezionych w testach QA) * 100
Załóżmy, że podczas testowania Development & QA zidentyfikowaliśmy 100 defektów.
Po testach QA, podczas testów Alpha i Beta, użytkownik końcowy / klient zidentyfikował 40 defektów, które mogły zostać zidentyfikowane podczas fazy testów QA.
Wyciek defektu = (40 /100) * 100 = 40%
#9) Usterki według priorytetu Ta metryka jest używana do identyfikacji liczby defektów zidentyfikowanych w oparciu o ważność / priorytet defektu, który jest używany do decydowania o jakości oprogramowania.
%ge defektów krytycznych = liczba zidentyfikowanych defektów krytycznych / całkowita liczba zidentyfikowanych defektów * 100
Z danych dostępnych w powyższej tabeli,
%ge defektów krytycznych = 6/30 * 100 = 20%
%ge High Defects = Liczba zidentyfikowanych High Defects / Całkowita liczba zidentyfikowanych Defects * 100
Z danych dostępnych w powyższej tabeli,
%ge High Defects = 10/30 * 100 = 33,33%
% średnich defektów = liczba zidentyfikowanych średnich defektów / całkowita liczba zidentyfikowanych defektów * 100
Z danych dostępnych w powyższej tabeli,
%ge Medium Defects = 6/ 30 * 100 = 20%
%ge Low Defects = Liczba zidentyfikowanych Low Defects / Całkowita liczba zidentyfikowanych Defects * 100
Z danych dostępnych w powyższej tabeli,
%ge Low Defects = 8/30 * 100 = 27%
Wnioski
Metryki przedstawione w tym artykule są głównie wykorzystywane do generowania dziennego/tygodniowego raportu o stanie z dokładnymi danymi podczas fazy opracowywania/wykonywania przypadków testowych, a także są przydatne do śledzenia stanu projektu i jakości oprogramowania.
O autorze : Jest to gościnny wpis Anuradhy K. Ma ona ponad 7-letnie doświadczenie w testowaniu oprogramowania i obecnie pracuje jako konsultant w firmie MNC. Posiada również dobrą wiedzę na temat testowania automatyzacji urządzeń mobilnych.
Jakich innych wskaźników testowych używasz w swoim projekcie? Jak zwykle, daj nam znać w komentarzach poniżej.