Self-Directed Performance Testing

Self-Directed Performance Testing Performance testing of multi-user software systems is typically performed by emulating activities of multiple users working with the system simultaneously. These virtual users collect performance measures like response time and correctness while loading the system during the test. During a typical load scenario number of simultaneous virtual users gradually increases from one to some intended maximum, allowing to find out statistical relation between number of simultaneous users and performance measures. However having fixed load scenario has several drawbacks. Usually the test has to be repeated iteratively with adjusted load scenarios, taking into account results acquired from previous test iterations. As load scenarios have to be adjusted manually and repetitions of the test may take considerable time, this approach seems to be ineffective. This paper presents an alternative approach, where load scenario is adjusted automatically during the test, taking into account performance measures already gathered in the same test. Drawbacks of fixed load scenarios are analysed and methods of eliminating them by automatic adjustment are described. A case study showing implementation of the method and results obtained by applying it to performance testing of a real system is provided. Pašvadāma veiktspējas testēšana Vairāklietotāju sistēmu veiktspējas testēšana parasti tiek veikta, imitējot vairāku lietotāju darbu, kuri vienlaicīgi strādā ar sistēmu. Šie virtuālie lietotāji uzkrāj veiktspējas mērījums, tādus kā atbildes laiki un korektums, noslogojot sistēmu testa laikā. Tipiskajā slodzes scenārijā vienlaicīgi strādājošo virtuālo lietotāju skaits pakāpeniski palielinās no viena līdz noteiktam maksimālajam, ļaujot izsekot statistisku atkarību starp vienlaicīgi strādājošo lietotāju skaitu un veiktspējas rādītājiem. Taču fiksēta slodzes scenārija izmantošanai ir daži trūkumi. Parasti tests ir iteratīvi jāatkārto, mainot slodzes scenārijus, ņemot vērā iepriekšējās testa iterācijās gūtus rezultātus. Tā kā slodzes scenāriji ir manuāli jāmaina, bet testa atkārtojumi var aizņemt ievērojamu laiku, šī pieeja izrādās neefektīva. Šajā rakstā tiek piedāvāta alternatīva pieeja, kurā slodzes scenārijs tiek pieskaņots automātiski testa laikā, ņemot vērā veiktspējas rādītājus, kas jau tika iegūti tajā pašā testā. Tiek analizēti fiksēto slodzes scenāriju trūkumi un tiek piedāvātas to novēršanas metodes, izmantojot automātisko slodzes scenārija pieskaņošanu. Aprakstīts pielietojuma piemērs, kas parāda metodes realizāciju un rezultātus, kas tika iegūti testējot reālās sistēmas veiktspēju. Самоуправляемое тестирование производительности Тестирование производительности многопользовательских систем обычно проводится, имитируя действия множества пользователей, одновременно работающих в системе. Такие виртуальные пользователи накапливают показатели производительности, например, время отклика и корректность, нагружая систему во время теста. Во время типичного сценария нагрузки число одновременных виртуальных пользователей постепенно возрастает от одного до определенного максимума, позволяя найти статистическое соотношение между числом пользователей и показателями производительности. Однако использование фиксированных сценариев нагрузки имеет некоторые недостатки. Обычно приходится итеративно повторять тест, изменяя сценарии нагрузки с учетом результатов, полученных в предыдущих итерациях. Поскольку сценарии нагрузки изменяются вручную, а повторы тестов могут занимать значительное время, такой подход оказывается неэффективным. В статье предлагается альтернативный подход, при котором сценарий нагрузки автоматически изменяется во время теста, учитывая показатели производительности, уже полученные в этом же тесте. Анализируются недостатки фиксированных сценариев нагрузки, и описываются методы их устранения посредством автоматических изменений сценариев. Показывается пример реализации и применения метода, описываются результаты, полученные в ходе тестирования производительности реальной системы.