АРХІТЕКТУРА СХОВИЩА МАСИВІВ З КОМПАКТНИМ ІНТЕГРОВАНИМ ІНДЕКСОМ

Abstract

Збільшення кількості даних, що генеруються щодня потребує ефективного їх зберігання, швидкого запиту до таких даних. Як правило, такі дані є багатовимірними і можуть бути представлені за допомогою моделі даних масиву. Поряд з додаванням в систему все більш і більш потужних процесорів і прискорювачів, більшість сучасних обчислювальних систем містять все більш складний стек вводу-виводу, починаючи від традиційних дискових файлових систем і закінчуючи гетерогенними прискорювачами з індивідуальним простором пам'яті. Ефективний доступ до такого складного стека вводу-виводу при обробці масивів має важливе значення для використання великої обчислювальної потужності сучасних обчислювальних платформ. Одним із ключів до досягнення такої ефективності є визначення місця генерації або зберігання даних, а також відповідний вибір відповідних стратегій представлення та обробки. В цій роботі зосереджено на оптимізації обробки масивів у таких складних стеках вводу-виводу шляхом дослідження двох фундаментальних питань: яке представлення даних слід використовувати, і де дані повинні зберігатися та оброблятися. Таким чином, розглянуто проблему ефективної обробки даних масиву, представлено компактне сховище масивів для дискових даних, інтегруючи в нього індексацію на  основі значень без втрат.  Розроблена архітектура системи зберігання масивів з інтегрованою підтримкою індексу вартості. Завдяки їй досягається реорганізація елементів в ряд користувацьких бітів і ефективне кодування індексів згідно бітів і відповідних їм значень. При цьому генерується індексоване представлення масиву, яке додає мало додаткових витрат на зберігання.  Напрямами подальших досліджень є удосконалення архітектури системи зберігання масивів з інтегрованою підтримкою індексу вартості в частині оптимізації зберігання індексів. Проведені експерименти підтверджують можливість практичної реалізації запропонованих архітектурних рішень.