Use of the Deferred Approach in Scientific Applications

Abstract

Use of the Deferred Approach in Scientific Applications In this paper, the implementation of security system that has strict requirements on the time of evaluation of each transaction made by the user is examined on the example of building a system for user behaviour modelling using Markov models. Evaluation of the effectiveness of both the classical approach to the implementation of a server that calculates metric of the user model and with the use of lightweight threads, as well as of a new ideology - Deferred-based event model is performed. A number of tests of various configurations are conducted, showing the preferred server for the Deferred-based type of system as well as an approach to implementing this type of request service. Deferred pieejas izmantošana zinātniskos lietojumos Šajā rakstā ir apskatīti mūsdienīgi serveru realizācijas varianti, kuri apkalpo zinātniskos vai praktiskos uzdevumus ar stingriem ierobežojumiem, kuri attiecas uz katras transakcijas minimālo apkalpošanas laiku un lielām slodzēm. Rakstā ir izskatīts labākā servera izvēles jautājums, ar kura palīdzību varētu realizēt lietotāja uzvedības metrikas izskaitļošanas uzdevumu. Shematiski tika apskatīta mērķtiecīgas sistēmas kopējā struktūra no realizācijas viedokļa, izmantojot sistēmu ar klients-serviss pieeju. Pats uzdevums un tā realizācijai izmantotie algoritmi ir izskatīti iepriekšējā darbā, savukārt darbā izmantota realizācija, pielietojot programmēšanas valodu PHP, nespēja apmierināt visas stingrās prasības attiecībā uz katra pieprasījuma apstrādes laiku, līdz ar to radās nepieciešamība izmantot citas pieejas, kuru izpēte arī kļuva par pamatu šim rakstam. Šajā darbā tika izmantota Python valoda, kura kalpo kā vispiemērotākais un visspēcīgākais līdzeklis gan praktisko, gan līdzīga tipa zinātnisko uzdevumu risināšanai. Tika izmantota arī klienta servera pieeja, kad serveris (realizēts ar Python valodas palīdzību) konfigurēts pašreizējo uzdevumu atrisināšanai. Papildus izmantotie instrumenti, kuri tika pielietoti modeļa apstrādei un glabāšanai, rakstā netiek apskatīti, jo dotajā etapā ir nepieciešams novērtēt vienas pieejas priekšrocības attiecībā pret citu. Ir apskatītas domēna īpašības un trīs iespējamās servera funkcionēšanas pieejas no katras transakcijas izmantošanas vidējā laika minimizēšanas viedokļa. Iespēja izsaukt sistēmas procesus, sistēmas pavedienus un jaunu pieeju. Notikumiem bagāta reagēšana - Deffered. Tika novērtēta iespēja izmantot katru iespējamo pieeju piešķirtā uzdevuma robežās. Lai iegūtu servera efektivitātes skaitlisko novērtējumu, tika veikta to testēšana, izmantojot dažādus serveru realizācijas veidus. Tika iegūti serveru uzvedības rezultāti, izmantojot dažādas konfigurācijas pie lielām slodzēm. Tika atklāts realizācijas variants, kurš ir vislabāk piemērots domēna prasībām un īpatnībām. Kā jau tika prognozēts, Deferred pieeja parādīja sevi kā vispiemērotākā pieeja. Использование Deferred подхода в научных приложениях В статье рассмотрены современные варианты реализации серверов, обслуживающих научные либо практические задачи в рамках жёстких ограничений на минимальное время обработки каждой транзакции и при наличии высоких нагрузок. Рассмотрена задача выбора наилучшего сервера для реализации задачи вычисления метрики поведения пользователя. Схематически рассмотрена общая структура целевой системы с точки зрения её реализации с использованием клиент-серверного подхода. Сама задача и использованные для её реализации алгоритмы рассмотрены в предыдущей работе, однако использованная в ней реализация на языке программирования РНР не смогла удовлетворить жёстким требованиям на время обработки каждого запроса. Возникла потребность применения других подходов, исследование которых и послужило базой для данной статьи. В текущей реализации использован язык Python, как наиболее подходящий инструмент для решения как практических, так и научных задач подобного типа. Также использован клиент-серверный подход, когда сервер (также реализованный на Python) сконфигурирован именно для решения текущей задачи. Дополнительные инструменты для хранения и обработки модели в статье не рассматриваются, так как на данном этапе требуется оценить преимущества одного из подходов перед другими. Рассмотрены особенности предметной области и три возможных подхода к функционированию сервера с точки зрения минимизации среднего времени оценки каждой транзакции: возможность вызова системных процессов, системных нитей и новый подход: событийное реагирование Deferred . Произведена оценка возможностей использования каждого подхода в рамках поставленной задачи. Для получения численной оценки эффективности серверов было проведено их тестирование с применением различных вариантов их реализации. Получены данные о поведении различных серверов при использовании различных конфигураций и под различной нагрузкой. Выявлен вариант реализации, наиболее соответствующий особенностям и требованиям текущей предметной области. Как и ожидалось, Deferred подход показал себя наиболее подходящим подходом.