Коротких Виктор / ИТМО DWS / Stage 6 / Compression #304

vitekkor · 2023-12-31T00:43:01Z

Реализация сжатия данных, хранящихся на диске в sstable.

Записывается 3 файла:

compression info:

1b	1b	4b	4b	4b	4b	4b
isCompressed	algorithm	blocksCount	uncompressedBlockSize	block1Offset	block2Offset	blockNOffset

index:

1b	8b	4b	4b	4b	4b
hasNoTombstones	entriesSize	key1BlockNumber	key1SizeBlockOffset	key2BlockNumber	key2SizeBlockOffset

keyNBlockNumber - номер блока для начала ключа номер N (key1Size|key1|value1Size|value1)

keyNSizeBlockOffset - смещение начала размера ключа внутри блока

sstableN.db - данные

block1	block2	...	blockN

Запись ведётся с помощью реализации AbstractSSTableWriter:

BaseSSTableWriter - запись без сжатия. Вместо блоков записываются обычные данные key1Size|key1|value1Size|value1
CompressedSSTableWriter - запись с сжатием. Для сжатия используются реализации интерфейса Compressor

Чтение ведётся с помощью реализации AbstractSSTableReader:

BaseSSTableReader - читает sstable, у которых в compressionInfo isCompressed == false (0).
CompressedSSTableReader - читает сжатые данные, разжимает их по-блочно в буфер, из которого по смещениям выделяет entity

CompressedSSTableReader также использует буфер для расжатых данных и сохраняет информацию о последнем прочитанном блоке, чтобы если необходимо будет прочитать данные из того же блока, то не приходилось заново читать и разжимать данные. Особенно полезно для итератора.

Чтение данных происходит следующим образом:

Бинарный поиск log(CountOfEntities)
Получили номер блока
Получили смещение начала размера ключа внутри блока
Разжимаем блок (или читаем просто данные из буфера)
Разжимаем блоки и читаем данные пока не получим entity (вычитываем размер ключа, ключ, размер значения, значение)

Также сжатие можно настраивать через конфиг при открытии дао

включить/отключить сжатие - при отключении сжатия любые старые данные на диске будут доступны на чтение, новые данные будут записаны без сжатия. При compaction просто решим нужно ли их сжать при записи
размер блока сжатия
алгоритм

По сути изменение конфига при переоткрытии будет влиять на новые флашнутые файлы и на результат compaction.

Алгоритмы сжатия:

LZ4
ZSTD

vitekkor · 2024-01-09T10:55:11Z

@incubos Добрый день! Можете, пожалуйста, посмотреть моё решение 6го этапа, как будет время?

…or with compression disabled

incubos

Ревьюил бегло. Есть некоторые замечания. Хороший дизайн и набор тестов, хотя всегда есть, что улучшать. Интересное решение с кеширование разжатого блока. Не хватает бенчмарков: время чтения/флаша с компрессией vs выигрыш по месту на диске -- но там многое зависит от набора данных. Тем не менее, предлагаю на этом остановиться.
50 баллов за бонусную фичу.

incubos · 2024-01-10T10:05:23Z

src/main/java/ru/vk/itmo/viktorkorotkikh/compressor/ZstdCompressor.java

+    @Override
+    public byte[] compress(byte[] src, int len) throws IOException {
+        byte[] dst = new byte[len];
+        long originalSize = Zstd.compressByteArray(


Что будет, если не влезет в dst?

По идее в самых вырожденных случаях сжатые данные будут по размеру равны несжатым.
Но вы правы - тут лучше было бы сделать так:

byte[] dst = new byte[(int) Zstd.compressBound(len)];

Тогда мы будем аллоцировать больше памяти, но зато будем уверены, что 100% влезем в массив

incubos · 2024-01-11T11:30:06Z

src/main/java/ru/vk/itmo/viktorkorotkikh/io/read/BaseSSTableReader.java

+        if (from != null) {
+            fromPosition = getEntryOffset(from, SearchOption.GTE);
+            if (fromPosition == -1) {
+                return new BaseSSTableIterator(0, -1);


Можно возвращать single empty iterator и не аллоцировать, верно?

Да, не учёл этот момент. Но надо тогда создать имплементацию LSMPointerIterator:

public class EmptyLSMPointerIterator extends LSMPointerIterator { ... }

incubos · 2024-01-11T11:30:11Z

src/main/java/ru/vk/itmo/viktorkorotkikh/io/read/BaseSSTableReader.java

+        if (to != null) {
+            toPosition = getEntryOffset(to, SearchOption.LT);
+            if (toPosition == -1) {
+                return new BaseSSTableIterator(0, -1);


Можно возвращать single empty iterator и не аллоцировать, верно?

incubos · 2024-01-11T11:31:45Z

src/main/java/ru/vk/itmo/viktorkorotkikh/io/read/BaseSSTableReader.java

+        long fromPosition = getMinKeySizeOffset();
+        long toPosition = getMaxKeySizeOffset();


Видимо, эта инициализация должна быть в ветках else ниже? Reassignment подобных переменных усложняет понимание кода.

Здесь подразумевалось, что мы изначально инициализируем эти переменные границами всей sstable, а потом если у нас заданы границы from и to, то переназначаем новыми значениями.
Соглашусь, что наверное через else ветки было бы понятнее

incubos · 2024-01-11T13:51:54Z

src/main/java/ru/vk/itmo/viktorkorotkikh/io/read/BaseSSTableReader.java

+            long keySize = mappedSSTable.get(ValueLayout.JAVA_LONG_UNALIGNED, fromPosition);
+            long valueOffset = fromPosition + Long.BYTES + keySize;
+            long valueSize = mappedSSTable.get(ValueLayout.JAVA_LONG_UNALIGNED, valueOffset);


Этот код дублируется в нескольких местах. Отрефачить бы...

incubos · 2024-01-11T14:03:36Z

src/main/java/ru/vk/itmo/viktorkorotkikh/io/read/CompressedSSTableReader.java

+        // ZSTD specific
+        if (decompressor instanceof ZstdDecompressor) return uncompressedBlockSize;


Текут абстракции :/

incubos · 2024-01-11T14:13:08Z

src/main/java/ru/vk/itmo/viktorkorotkikh/io/read/CompressedSSTableReader.java

+        for (int i = Long.BYTES - 1; i >= 0; i--) {
+            value <<= 8;
+            value |= (bytes[i] & 0xFFL);
+        }


Не факт, что соптимизируется. Надёжнее по старинке без цикла собрать long из восьми байт.

incubos · 2024-01-11T14:15:08Z

src/main/java/ru/vk/itmo/viktorkorotkikh/io/write/AbstractSSTableWriter.java

+     */
+    public void write(
+            boolean isCompacted,
+            Supplier<? extends Iterator<? extends Entry<MemorySegment>>> iteratorSupplier,


Зачем здесь Supplier, если get() на нём вызывается ровно один раз?

Остатки старого кода, в котором несколько раз пробегались по итератору

incubos · 2024-01-11T14:17:58Z

src/main/java/ru/vk/itmo/viktorkorotkikh/io/write/AbstractSSTableWriter.java

+            while (entries.hasNext()) {
+                // Then write the entry
+                final Entry<MemorySegment> entry = entries.next();
+                hasNoTombstones = entry.value() != null;


Значение может многократно меняться между true и false, верно?

Suggested change

hasNoTombstones = entry.value() != null;

hasNoTombstones &= entry.value() != null;

Да, тут сам себя запутал. Ваше решение более корректное

incubos · 2024-01-11T16:29:39Z

src/test/java/ru/vk/itmo/MusicTest.java

@@ -54,7 +54,7 @@ private static String duration(int seconds) {
    }

    @DaoTest(stage = 3)
-    void database(Dao<String, Entry<String>> dao) throws Exception {
+    public void database(Dao<String, Entry<String>> dao) throws Exception {


Зачем это?

Тестировал сжатие данных с помощью реализаций существующих тестов, а так как пакеты разные, то пришлось сделать public.

Не смог придумать ничего лучше, чтобы при этом не копировать код тестов. В целом можно было бы попробовать по умолчанию в тестах использовать конфиг с включённым сжатием (затронуло бы только мою реализацию), но тогда есть шанс, что тесты по таймаутам будут падать, потому что сжатие/разжатие будет съедать время (и памяти из-за буфферов будет требоваться больше)

incubos · 2024-01-11T18:34:04Z

Спасибо за ответы.

vitekkor added 9 commits December 31, 2023 03:41

stage-6: update config

19f0b2a

stage-6: add readers and writers

6eeaedc

stage-6: move exceptions to separate package

942f64d

stage-6: add reader/writer in sstable

ef9a135

stage-6: add CompressionTest

1bf144e

stage-6: clean up code

1cdd3d0

stage-6: fix codeclimate

cdd4150

stage-6: fix codeclimate

4b34c11

stage-6: remove unused method

0654a63

vitekkor changed the title ~~Коротких Виктор / ИТМО DWS / Stage 6~~ Коротких Виктор / ИТМО DWS / Stage 6 / Compression Dec 31, 2023

vitekkor added 10 commits December 31, 2023 14:35

stage-6: clean up

3df444c

stage-6: fix writeLong method

2088476

stage-6: add ZSTD compression algorithm

46efa23

stage-6: add PersistentCompressionRangeTest

8be838f

stage-6: switch-case codeclimate error

a5a9290

stage-6: fix codeclimate

e34c33f

stage-6: cleanup

2947a67

stage-6: add more comments

caac633

stage-6: remove unused method

8763657

stage-6: add javadoc

a4e6dd9

Merge branch 'main' into stage-6-2

adf881d

incubos self-requested a review January 9, 2024 12:05

incubos self-assigned this Jan 9, 2024

stage-6: fix ExpirationTest - add a secondary configuration construct…

348d94f

…or with compression disabled

incubos reviewed Jan 11, 2024

View reviewed changes

incubos closed this Jan 11, 2024

vitekkor mentioned this pull request May 15, 2024

Коротких Виктор / ИТМО DWS / Stage 7 / Compression polis-vk/2024-highload-dht#231

Closed

2 tasks

Provide feedback

Saved searches

Use saved searches to filter your results more quickly

Коротких Виктор / ИТМО DWS / Stage 6 / Compression #304

Коротких Виктор / ИТМО DWS / Stage 6 / Compression #304

vitekkor commented Dec 31, 2023 •

edited

Loading

vitekkor commented Jan 9, 2024

incubos left a comment

incubos Jan 10, 2024

vitekkor Jan 11, 2024

incubos Jan 11, 2024

vitekkor Jan 11, 2024

incubos Jan 11, 2024

incubos Jan 11, 2024

vitekkor Jan 11, 2024

incubos Jan 11, 2024

incubos Jan 11, 2024

incubos Jan 11, 2024

incubos Jan 11, 2024

vitekkor Jan 11, 2024

incubos Jan 11, 2024

vitekkor Jan 11, 2024

incubos Jan 11, 2024

vitekkor Jan 11, 2024

incubos commented Jan 11, 2024

		long fromPosition = getMinKeySizeOffset();
		long toPosition = getMaxKeySizeOffset();

		// ZSTD specific
		if (decompressor instanceof ZstdDecompressor) return uncompressedBlockSize;

	hasNoTombstones = entry.value() != null;
	hasNoTombstones &= entry.value() != null;

Коротких Виктор / ИТМО DWS / Stage 6 / Compression #304

Коротких Виктор / ИТМО DWS / Stage 6 / Compression #304

Conversation

vitekkor commented Dec 31, 2023 • edited Loading

vitekkor commented Jan 9, 2024

incubos left a comment

Choose a reason for hiding this comment

Choose a reason for hiding this comment

Choose a reason for hiding this comment

Choose a reason for hiding this comment

Choose a reason for hiding this comment

Choose a reason for hiding this comment

Choose a reason for hiding this comment

Choose a reason for hiding this comment

Choose a reason for hiding this comment

Choose a reason for hiding this comment

Choose a reason for hiding this comment

Choose a reason for hiding this comment

Choose a reason for hiding this comment

Choose a reason for hiding this comment

Choose a reason for hiding this comment

Choose a reason for hiding this comment

Choose a reason for hiding this comment

incubos commented Jan 11, 2024

vitekkor commented Dec 31, 2023 •

edited

Loading