From 2b6bc9fb3250015cfc4d1041dbcea06fcd2a4222 Mon Sep 17 00:00:00 2001 From: Alec <867245430@qq.com> Date: Tue, 5 Feb 2019 10:23:14 +0800 Subject: [PATCH 1/7] Update index.md Signed-off-by: naivewong <867245430@qq.com> --- docs/format/index.md | 56 ++++++++++++++++++++++---------------------- 1 file changed, 28 insertions(+), 28 deletions(-) diff --git a/docs/format/index.md b/docs/format/index.md index 18600c835..bd8b8f196 100644 --- a/docs/format/index.md +++ b/docs/format/index.md @@ -85,34 +85,34 @@ After the labels, the number of indexed chunks is encoded, followed by a sequenc `mint` of the first chunk is stored, it's `maxt` is stored as a delta and the `mint` and `maxt` are encoded as deltas to the previous time for subsequent chunks. Similarly, the reference of the first chunk is stored and the next ref is stored as a delta to the previous one. ``` -┌─────────────────────────────────────────────────────────────────────────┐ -│ len │ -├─────────────────────────────────────────────────────────────────────────┤ -│ ┌──────────────────┬──────────────────────────────────────────────────┐ │ -│ │ │ ┌──────────────────────────────────────────┐ │ │ -│ │ │ │ ref(l_i.name) │ │ │ -│ │ #labels │ ├──────────────────────────────────────────┤ ... │ │ -│ │ │ │ ref(l_i.value) │ │ │ -│ │ │ └──────────────────────────────────────────┘ │ │ -│ ├──────────────────┼──────────────────────────────────────────────────┤ │ -│ │ │ ┌──────────────────────────────────────────┐ │ │ -│ │ │ │ c_0.mint │ │ │ -│ │ │ ├──────────────────────────────────────────┤ │ │ -│ │ │ │ c_0.maxt - c_0.mint │ │ │ -│ │ │ ├──────────────────────────────────────────┤ │ │ -│ │ │ │ ref(c_0.data) │ │ │ -│ │ #chunks │ └──────────────────────────────────────────┘ │ │ -│ │ │ ┌──────────────────────────────────────────┐ │ │ -│ │ │ │ c_i.mint - c_i-1.maxt │ │ │ -│ │ │ ├──────────────────────────────────────────┤ │ │ -│ │ │ │ c_i.maxt - c_i.mint │ │ │ -│ │ │ ├──────────────────────────────────────────┤ ... │ │ -│ │ │ │ ref(c_i.data) - ref(c_i-1.data) │ │ │ -│ │ │ └──────────────────────────────────────────┘ │ │ -│ └──────────────────┴──────────────────────────────────────────────────┘ │ -├─────────────────────────────────────────────────────────────────────────┤ -│ CRC32 <4b> │ -└─────────────────────────────────────────────────────────────────────────┘ +┌───────────────────────────────────────────────────────────────────────────┐ +│ len │ +├───────────────────────────────────────────────────────────────────────────┤ +│ ┌──────────────────┬────────────────────────────────────────────────────┐ │ +│ │ │ ┌────────────────────────────────────────────┐ │ │ +│ │ │ │ ref(l_i.name) │ │ │ +│ │ #labels │ ├────────────────────────────────────────────┤ ... │ │ +│ │ │ │ ref(l_i.value) │ │ │ +│ │ │ └────────────────────────────────────────────┘ │ │ +│ ├──────────────────┼────────────────────────────────────────────────────┤ │ +│ │ │ ┌────────────────────────────────────────────┐ │ │ +│ │ │ │ c_0.mint │ │ │ +│ │ │ ├────────────────────────────────────────────┤ │ │ +│ │ │ │ c_0.maxt - c_0.mint │ │ │ +│ │ │ ├────────────────────────────────────────────┤ │ │ +│ │ │ │ ref(c_0.data) │ │ │ +│ │ #chunks │ └────────────────────────────────────────────┘ │ │ +│ │ │ ┌────────────────────────────────────────────┐ │ │ +│ │ │ │ c_i.mint - c_i-1.maxt │ │ │ +│ │ │ ├────────────────────────────────────────────┤ │ │ +│ │ │ │ c_i.maxt - c_i.mint │ │ │ +│ │ │ ├────────────────────────────────────────────┤ ... │ │ +│ │ │ │ ref(c_i.data) - ref(c_i-1.data) │ │ │ +│ │ │ └────────────────────────────────────────────┘ │ │ +│ └──────────────────┴────────────────────────────────────────────────────┘ │ +├───────────────────────────────────────────────────────────────────────────┤ +│ CRC32 <4b> │ +└───────────────────────────────────────────────────────────────────────────┘ ``` From 8e589474c6d6c711e6e7a6d17fef534444162f82 Mon Sep 17 00:00:00 2001 From: Alec <867245430@qq.com> Date: Tue, 5 Feb 2019 10:28:05 +0800 Subject: [PATCH 2/7] Update index.md Signed-off-by: naivewong <867245430@qq.com> --- docs/format/index.md | 36 ++++++++++++++++++------------------ 1 file changed, 18 insertions(+), 18 deletions(-) diff --git a/docs/format/index.md b/docs/format/index.md index bd8b8f196..001f0b9ff 100644 --- a/docs/format/index.md +++ b/docs/format/index.md @@ -176,24 +176,24 @@ The sequence of postings sections is finalized by an [offset table](#offset-tabl An offset table stores a sequence of entries that maps a list of strings to an offset. They are used to track label index and postings sections. They are read into memory when an index file is loaded. ``` -┌─────────────────────┬────────────────────┐ -│ len <4b> │ #entries <4b> │ -├─────────────────────┴────────────────────┤ -│ ┌──────────────────────────────────────┐ │ -│ │ n = #strs │ │ -│ ├──────────────────────┬───────────────┤ │ -│ │ len(str_1) │ str_1 │ │ -│ ├──────────────────────┴───────────────┤ │ -│ │ ... │ │ -│ ├──────────────────────┬───────────────┤ │ -│ │ len(str_n) │ str_n │ │ -│ ├──────────────────────┴───────────────┤ │ -│ │ offset │ │ -│ └──────────────────────────────────────┘ │ -│ . . . │ -├──────────────────────────────────────────┤ -│ CRC32 <4b> │ -└──────────────────────────────────────────┘ +┌─────────────────────┬──────────────────────┐ +│ len <4b> │ #entries <4b> │ +├─────────────────────┴──────────────────────┤ +│ ┌────────────────────────────────────────┐ │ +│ │ n = #strs │ │ +│ ├──────────────────────┬─────────────────┤ │ +│ │ len(str_1) │ str_1 │ │ +│ ├──────────────────────┴─────────────────┤ │ +│ │ ... │ │ +│ ├──────────────────────┬─────────────────┤ │ +│ │ len(str_n) │ str_n │ │ +│ ├──────────────────────┴─────────────────┤ │ +│ │ offset │ │ +│ └────────────────────────────────────────┘ │ +│ . . . │ +├────────────────────────────────────────────┤ +│ CRC32 <4b> │ +└────────────────────────────────────────────┘ ``` From 1f723a8eb5490f9988055cd2d6eab2458a61f410 Mon Sep 17 00:00:00 2001 From: naivewong <867245430@qq.com> Date: Tue, 5 Feb 2019 23:20:43 +0800 Subject: [PATCH 3/7] update #labels and #chunks Signed-off-by: naivewong <867245430@qq.com> --- docs/format/index.md | 4 ++-- 1 file changed, 2 insertions(+), 2 deletions(-) diff --git a/docs/format/index.md b/docs/format/index.md index 001f0b9ff..17472a62d 100644 --- a/docs/format/index.md +++ b/docs/format/index.md @@ -92,7 +92,7 @@ After the labels, the number of indexed chunks is encoded, followed by a sequenc │ │ │ ┌────────────────────────────────────────────┐ │ │ │ │ │ │ ref(l_i.name) │ │ │ │ │ #labels │ ├────────────────────────────────────────────┤ ... │ │ -│ │ │ │ ref(l_i.value) │ │ │ +│ │ │ │ ref(l_i.value) │ │ │ │ │ │ └────────────────────────────────────────────┘ │ │ │ ├──────────────────┼────────────────────────────────────────────────────┤ │ │ │ │ ┌────────────────────────────────────────────┐ │ │ @@ -102,7 +102,7 @@ After the labels, the number of indexed chunks is encoded, followed by a sequenc │ │ │ ├────────────────────────────────────────────┤ │ │ │ │ │ │ ref(c_0.data) │ │ │ │ │ #chunks │ └────────────────────────────────────────────┘ │ │ -│ │ │ ┌────────────────────────────────────────────┐ │ │ +│ │ │ ┌────────────────────────────────────────────┐ │ │ │ │ │ │ c_i.mint - c_i-1.maxt │ │ │ │ │ │ ├────────────────────────────────────────────┤ │ │ │ │ │ │ c_i.maxt - c_i.mint │ │ │ From 0649dfddf0448f2280043d9461f3adab56290698 Mon Sep 17 00:00:00 2001 From: naivewong <867245430@qq.com> Date: Wed, 6 Feb 2019 00:05:30 +0800 Subject: [PATCH 4/7] more clear format representation Signed-off-by: naivewong <867245430@qq.com> --- docs/format/index.md | 60 +++++++++++++++++++++++--------------------- 1 file changed, 32 insertions(+), 28 deletions(-) diff --git a/docs/format/index.md b/docs/format/index.md index 17472a62d..c97b123bd 100644 --- a/docs/format/index.md +++ b/docs/format/index.md @@ -85,34 +85,38 @@ After the labels, the number of indexed chunks is encoded, followed by a sequenc `mint` of the first chunk is stored, it's `maxt` is stored as a delta and the `mint` and `maxt` are encoded as deltas to the previous time for subsequent chunks. Similarly, the reference of the first chunk is stored and the next ref is stored as a delta to the previous one. ``` -┌───────────────────────────────────────────────────────────────────────────┐ -│ len │ -├───────────────────────────────────────────────────────────────────────────┤ -│ ┌──────────────────┬────────────────────────────────────────────────────┐ │ -│ │ │ ┌────────────────────────────────────────────┐ │ │ -│ │ │ │ ref(l_i.name) │ │ │ -│ │ #labels │ ├────────────────────────────────────────────┤ ... │ │ -│ │ │ │ ref(l_i.value) │ │ │ -│ │ │ └────────────────────────────────────────────┘ │ │ -│ ├──────────────────┼────────────────────────────────────────────────────┤ │ -│ │ │ ┌────────────────────────────────────────────┐ │ │ -│ │ │ │ c_0.mint │ │ │ -│ │ │ ├────────────────────────────────────────────┤ │ │ -│ │ │ │ c_0.maxt - c_0.mint │ │ │ -│ │ │ ├────────────────────────────────────────────┤ │ │ -│ │ │ │ ref(c_0.data) │ │ │ -│ │ #chunks │ └────────────────────────────────────────────┘ │ │ -│ │ │ ┌────────────────────────────────────────────┐ │ │ -│ │ │ │ c_i.mint - c_i-1.maxt │ │ │ -│ │ │ ├────────────────────────────────────────────┤ │ │ -│ │ │ │ c_i.maxt - c_i.mint │ │ │ -│ │ │ ├────────────────────────────────────────────┤ ... │ │ -│ │ │ │ ref(c_i.data) - ref(c_i-1.data) │ │ │ -│ │ │ └────────────────────────────────────────────┘ │ │ -│ └──────────────────┴────────────────────────────────────────────────────┘ │ -├───────────────────────────────────────────────────────────────────────────┤ -│ CRC32 <4b> │ -└───────────────────────────────────────────────────────────────────────────┘ +┌──────────────────────────────────────────────────────────────────────────┐ +│ len │ +├──────────────────────────────────────────────────────────────────────────┤ +│ ┌──────────────────────────────────────────────────────────────────────┐ │ +│ │ #labels │ │ +│ ├──────────────────────────────────────────────────────────────────────┤ │ +│ │ ┌────────────────────────────────────────────┐ │ │ +│ │ │ ref(l_i.name) │ │ │ +│ │ ├────────────────────────────────────────────┤ ... │ │ +│ │ │ ref(l_i.value) │ │ │ +│ │ └────────────────────────────────────────────┘ │ │ +│ ├──────────────────────────────────────────────────────────────────────┤ │ +│ │ #chunks │ │ +│ ├──────────────────────────────────────────────────────────────────────┤ │ +│ │ ┌────────────────────────────────────────────┐ │ │ +│ │ │ c_0.mint │ │ │ +│ │ ├────────────────────────────────────────────┤ │ │ +│ │ │ c_0.maxt - c_0.mint │ │ │ +│ │ ├────────────────────────────────────────────┤ │ │ +│ │ │ ref(c_0.data) │ │ │ +│ │ └────────────────────────────────────────────┘ │ │ +│ │ ┌────────────────────────────────────────────┐ │ │ +│ │ │ c_i.mint - c_i-1.maxt │ │ │ +│ │ ├────────────────────────────────────────────┤ │ │ +│ │ │ c_i.maxt - c_i.mint │ │ │ +│ │ ├────────────────────────────────────────────┤ ... │ │ +│ │ │ ref(c_i.data) - ref(c_i-1.data) │ │ │ +│ │ └────────────────────────────────────────────┘ │ │ +│ └──────────────────────────────────────────────────────────────────────┘ │ +├──────────────────────────────────────────────────────────────────────────┤ +│ CRC32 <4b> │ +└──────────────────────────────────────────────────────────────────────────┘ ``` From 42ee59689b8d8a44cf79886fe01d5b94ab96ceb5 Mon Sep 17 00:00:00 2001 From: naivewong <867245430@qq.com> Date: Wed, 6 Feb 2019 00:34:15 +0800 Subject: [PATCH 5/7] move dots to the bottom Signed-off-by: naivewong <867245430@qq.com> --- docs/format/index.md | 6 ++++-- 1 file changed, 4 insertions(+), 2 deletions(-) diff --git a/docs/format/index.md b/docs/format/index.md index c97b123bd..4998d2b65 100644 --- a/docs/format/index.md +++ b/docs/format/index.md @@ -93,9 +93,10 @@ After the labels, the number of indexed chunks is encoded, followed by a sequenc │ ├──────────────────────────────────────────────────────────────────────┤ │ │ │ ┌────────────────────────────────────────────┐ │ │ │ │ │ ref(l_i.name) │ │ │ -│ │ ├────────────────────────────────────────────┤ ... │ │ +│ │ ├────────────────────────────────────────────┤ │ │ │ │ │ ref(l_i.value) │ │ │ │ │ └────────────────────────────────────────────┘ │ │ +│ │ ... │ │ │ ├──────────────────────────────────────────────────────────────────────┤ │ │ │ #chunks │ │ │ ├──────────────────────────────────────────────────────────────────────┤ │ @@ -110,9 +111,10 @@ After the labels, the number of indexed chunks is encoded, followed by a sequenc │ │ │ c_i.mint - c_i-1.maxt │ │ │ │ │ ├────────────────────────────────────────────┤ │ │ │ │ │ c_i.maxt - c_i.mint │ │ │ -│ │ ├────────────────────────────────────────────┤ ... │ │ +│ │ ├────────────────────────────────────────────┤ │ │ │ │ │ ref(c_i.data) - ref(c_i-1.data) │ │ │ │ │ └────────────────────────────────────────────┘ │ │ +│ │ ... │ │ │ └──────────────────────────────────────────────────────────────────────┘ │ ├──────────────────────────────────────────────────────────────────────────┤ │ CRC32 <4b> │ From 8e7e2041d39e91989e23d245045172b357dfa98b Mon Sep 17 00:00:00 2001 From: naivewong <867245430@qq.com> Date: Wed, 6 Feb 2019 00:48:25 +0800 Subject: [PATCH 6/7] update #labels count, #chunks count Signed-off-by: naivewong <867245430@qq.com> --- docs/format/index.md | 4 ++-- 1 file changed, 2 insertions(+), 2 deletions(-) diff --git a/docs/format/index.md b/docs/format/index.md index 4998d2b65..5bcacbdaa 100644 --- a/docs/format/index.md +++ b/docs/format/index.md @@ -89,7 +89,7 @@ After the labels, the number of indexed chunks is encoded, followed by a sequenc │ len │ ├──────────────────────────────────────────────────────────────────────────┤ │ ┌──────────────────────────────────────────────────────────────────────┐ │ -│ │ #labels │ │ +│ │ #labels count │ │ │ ├──────────────────────────────────────────────────────────────────────┤ │ │ │ ┌────────────────────────────────────────────┐ │ │ │ │ │ ref(l_i.name) │ │ │ @@ -98,7 +98,7 @@ After the labels, the number of indexed chunks is encoded, followed by a sequenc │ │ └────────────────────────────────────────────┘ │ │ │ │ ... │ │ │ ├──────────────────────────────────────────────────────────────────────┤ │ -│ │ #chunks │ │ +│ │ #chunks count │ │ │ ├──────────────────────────────────────────────────────────────────────┤ │ │ │ ┌────────────────────────────────────────────┐ │ │ │ │ │ c_0.mint │ │ │ From 9b227d27e75a70266d72c71107892e55ab68b247 Mon Sep 17 00:00:00 2001 From: naivewong <867245430@qq.com> Date: Wed, 6 Feb 2019 10:00:18 +0800 Subject: [PATCH 7/7] update labels count, chunks count Signed-off-by: naivewong <867245430@qq.com> --- docs/format/index.md | 4 ++-- 1 file changed, 2 insertions(+), 2 deletions(-) diff --git a/docs/format/index.md b/docs/format/index.md index 5bcacbdaa..1ec3c21b4 100644 --- a/docs/format/index.md +++ b/docs/format/index.md @@ -89,7 +89,7 @@ After the labels, the number of indexed chunks is encoded, followed by a sequenc │ len │ ├──────────────────────────────────────────────────────────────────────────┤ │ ┌──────────────────────────────────────────────────────────────────────┐ │ -│ │ #labels count │ │ +│ │ labels count │ │ │ ├──────────────────────────────────────────────────────────────────────┤ │ │ │ ┌────────────────────────────────────────────┐ │ │ │ │ │ ref(l_i.name) │ │ │ @@ -98,7 +98,7 @@ After the labels, the number of indexed chunks is encoded, followed by a sequenc │ │ └────────────────────────────────────────────┘ │ │ │ │ ... │ │ │ ├──────────────────────────────────────────────────────────────────────┤ │ -│ │ #chunks count │ │ +│ │ chunks count │ │ │ ├──────────────────────────────────────────────────────────────────────┤ │ │ │ ┌────────────────────────────────────────────┐ │ │ │ │ │ c_0.mint │ │ │