NanoVault - Chuyển 1 File 10MB còn 300B

[atmtool1234]

NanoVault
Công nghệ được phát triển bởi nhóm người Việt (ATZ).

NanoVault có thể chuyển "1 file 10MB xuống chỉ còn 1 dãy kí tự ~300B và có thể trả về nguyên vẹn data đã truyền vào" mà không cần lưu trữ ở bất cứ đâu.
Hiện NanoVault có thể chuyển 1 tệp "basic" từ 10MB xuống 300B còn các tệp ảnh hay video bọn mình mới chỉ chuyển xuống được từ "vài trăm KB tới 1-2MB" tuy là vậy nhưng đội ngũ chúng tớ sẽ định hướng phát triển để mở rộng giới hạn dung lượng lên các mốc 20MB, 50MB và 100MB trong các phiên bản tiếp theo.

Tụi mình đã nghiên cứu cái này được hơn 1 năm và hiện tại chúng mình chưa thấy có ai làm về công nghệ này nên chúng mình sẽ cố gắng phát triển đặt thành tựu lớn hơn để đưa ngành công nghệ của Việt Nam lên tầm cao mới!

-Sắp tới chúng tớ sẽ cho ra demo nho nhỏ về công nghệ này.-

#atz #zyrocoee #atmtool #programming #vietnam #code

 

[BlurBase]

Ông mới làm thôi chứ thật ra ZSTD, Snnapy, LZ4 làm từ lâu rồi. Cứ nói đúng ra là công nghệ nén/giải quan trọng tốc độ nén /s, giải nén /s bao nhiêu GB, độ trễ, đã zero allocs chưa, ns/op, như nào có đảm bảo lấp đầy các Cache L1,L2, L3 không nói chung còn nhiều cái lắm. Chỉ số benchmark như nào, tỉ lệ băm các loại random data ra sao.

Em cũng có hệ thống như thế nhưng vẫn đang tối ưu thêm cho nén tốc độ cao nhưng nén dữ liệu phải thật nhỏ.

### Compression Performance (Intel i5-9400, 6 cores)

| Data Size  | Speed          | Latency | Allocations  | Memory     |
| ---------- | -------------- | ------- | ------------ | ---------- |
| **1 KB**   | 600 MB/s       | 1.8 μs  | **0 allocs** | **0 B/op** |
| **10 KB**  | 1,012 MB/s     | 11 μs   | **0 allocs** | **0 B/op** |
| **100 KB** | 2,936 MB/s     | 38 μs   | **0 allocs** | **0 B/op** |
| **1 MB**   | **3,628 MB/s** | 313 μs  | **0 allocs** | **0 B/op** |

### Decompression Performance

| Data Size  | Speed           | Latency | Allocations  | Memory     |
| ---------- | --------------- | ------- | ------------ | ---------- |
| **1 KB**   | 1,825 MB/s      | 605 ns  | **0 allocs** | **0 B/op** |
| **10 KB**  | 8,465 MB/s      | 1.3 μs  | **0 allocs** | **0 B/op** |
| **100 KB** | 12,331 MB/s     | 9 μs    | **0 allocs** | **0 B/op** |
| **1 MB**   | **12,485 MB/s** | 91 μs   | **0 allocs** | **0 B/op** |

### Compression Ratios

| Data Type         | Original | Compressed | Ratio      | Savings |
| ----------------- | -------- | ---------- | ---------- | ------- |
| **Repeated Text** | 13,000 B | 276 B      | **47.10x** | 97.9%   |
| **JSON**          | 4,200 B  | 133 B      | **31.58x** | 96.8%   |
| **HTML**          | 6,700 B  | 214 B      | **31.31x** | 96.8%   |
| **Source Code**   | 7,200 B  | 184 B      | **39.13x** | 97.4%   |
| **All Zeros**     | 10,240 B | 209 B      | **49.00x** | 98.0%   |
| **Random Binary** | 10,240 B | 10,247 B   | **1.00x**  | -0.1%   |

### Round-Trip Performance (Compress + Decompress)

| Data Size  | Speed      | Latency | Allocations  | Memory     |
| ---------- | ---------- | ------- | ------------ | ---------- |
| **1 KB**   | 500 MB/s   | 2.2 μs  | **0 allocs** | **0 B/op** |
| **10 KB**  | 878 MB/s   | 12.6 μs | **0 allocs** | **0 B/op** |
| **100 KB** | 2,361 MB/s | 47 μs   | **0 allocs** | **0 B/op** |

---

## 📊 Detailed Benchmark Results

### Full Benchmark Output

```
goos: windows
goarch: amd64
cpu: Intel(R) Core(TM) i5-9400 CPU @ 2.90GHz

=== Compression Ratios ===
Repeated Text       :  13000 →    276 bytes | Ratio:  47.10x | Savings:  97.9%
JSON                :   4200 →    133 bytes | Ratio:  31.58x | Savings:  96.8%
HTML                :   6700 →    214 bytes | Ratio:  31.31x | Savings:  96.8%
Source Code         :   7200 →    184 bytes | Ratio:  39.13x | Savings:  97.4%
Random Binary       :  10240 →  10247 bytes | Ratio:   1.00x | Savings:  -0.1%
All Zeros           :  10240 →    209 bytes | Ratio:  49.00x | Savings:  98.0%

=== Compression Performance ===
BenchmarkCompression/Small_1KB-6          617264    1841 ns/op    600.29 MB/s    0 B/op    0 allocs/op
BenchmarkCompression/Medium_10KB-6        111229   10952 ns/op   1012.51 MB/s    0 B/op    0 allocs/op
BenchmarkCompression/Large_100KB-6         32013   37783 ns/op   2935.96 MB/s    0 B/op    0 allocs/op
BenchmarkCompression/XLarge_1MB-6           3830  313073 ns/op   3628.40 MB/s    0 B/op    0 allocs/op

=== Decompression Performance ===
BenchmarkDecompression/Small_1KB-6       1994583     605 ns/op   1825.07 MB/s    0 B/op    0 allocs/op
BenchmarkDecompression/Medium_10KB-6      928548    1310 ns/op   8465.13 MB/s    0 B/op    0 allocs/op
BenchmarkDecompression/Large_100KB-6      134188    8995 ns/op  12331.72 MB/s    0 B/op    0 allocs/op
BenchmarkDecompression/XLarge_1MB-6        13312   90981 ns/op  12485.63 MB/s    0 B/op    0 allocs/op

=== Latency Measurements ===
BenchmarkLatency/Compress_Latency-6       734128    1609 ns/op    0 B/op    0 allocs/op
BenchmarkLatency/Decompress_Latency-6    1677807     714 ns/op    0 B/op    0 allocs/op

=== Round-Trip Performance ===
BenchmarkRoundTrip/Small_1KB-6            532056    2211 ns/op    499.88 MB/s    0 B/op    0 allocs/op
BenchmarkRoundTrip/Medium_10KB-6           97454   12624 ns/op    878.38 MB/s    0 B/op    0 allocs/op
BenchmarkRoundTrip/Large_100KB-6           24369   46972 ns/op   2361.60 MB/s    0 B/op    0 allocs/op
```

---

 

[atmtool1234]

Ông mới làm thôi chứ thật ra ZSTD, Snnapy, LZ4 làm từ lâu rồi. Cứ nói đúng ra là công nghệ nén/giải quan trọng tốc độ nén /s, giải nén /s bao nhiêu GB, độ trễ, đã zero allocs chưa, ns/op, như nào có đảm bảo lấp đầy các Cache L1,L2, L3 không nói chung còn nhiều cái lắm. Chỉ số benchmark như nào, tỉ lệ băm các loại random data ra sao.

Em cũng có hệ thống như thế nhưng vẫn đang tối ưu thêm cho nén tốc độ cao nhưng nén dữ liệu phải thật nhỏ.

### Compression Performance (Intel i5-9400, 6 cores)

| Data Size  | Speed          | Latency | Allocations  | Memory     |
| ---------- | -------------- | ------- | ------------ | ---------- |
| **1 KB**   | 600 MB/s       | 1.8 μs  | **0 allocs** | **0 B/op** |
| **10 KB**  | 1,012 MB/s     | 11 μs   | **0 allocs** | **0 B/op** |
| **100 KB** | 2,936 MB/s     | 38 μs   | **0 allocs** | **0 B/op** |
| **1 MB**   | **3,628 MB/s** | 313 μs  | **0 allocs** | **0 B/op** |

### Decompression Performance

| Data Size  | Speed           | Latency | Allocations  | Memory     |
| ---------- | --------------- | ------- | ------------ | ---------- |
| **1 KB**   | 1,825 MB/s      | 605 ns  | **0 allocs** | **0 B/op** |
| **10 KB**  | 8,465 MB/s      | 1.3 μs  | **0 allocs** | **0 B/op** |
| **100 KB** | 12,331 MB/s     | 9 μs    | **0 allocs** | **0 B/op** |
| **1 MB**   | **12,485 MB/s** | 91 μs   | **0 allocs** | **0 B/op** |

### Compression Ratios

| Data Type         | Original | Compressed | Ratio      | Savings |
| ----------------- | -------- | ---------- | ---------- | ------- |
| **Repeated Text** | 13,000 B | 276 B      | **47.10x** | 97.9%   |
| **JSON**          | 4,200 B  | 133 B      | **31.58x** | 96.8%   |
| **HTML**          | 6,700 B  | 214 B      | **31.31x** | 96.8%   |
| **Source Code**   | 7,200 B  | 184 B      | **39.13x** | 97.4%   |
| **All Zeros**     | 10,240 B | 209 B      | **49.00x** | 98.0%   |
| **Random Binary** | 10,240 B | 10,247 B   | **1.00x**  | -0.1%   |

### Round-Trip Performance (Compress + Decompress)

| Data Size  | Speed      | Latency | Allocations  | Memory     |
| ---------- | ---------- | ------- | ------------ | ---------- |
| **1 KB**   | 500 MB/s   | 2.2 μs  | **0 allocs** | **0 B/op** |
| **10 KB**  | 878 MB/s   | 12.6 μs | **0 allocs** | **0 B/op** |
| **100 KB** | 2,361 MB/s | 47 μs   | **0 allocs** | **0 B/op** |

---

## 📊 Detailed Benchmark Results

### Full Benchmark Output

```
goos: windows
goarch: amd64
cpu: Intel(R) Core(TM) i5-9400 CPU @ 2.90GHz

=== Compression Ratios ===
Repeated Text       :  13000 →    276 bytes | Ratio:  47.10x | Savings:  97.9%
JSON                :   4200 →    133 bytes | Ratio:  31.58x | Savings:  96.8%
HTML                :   6700 →    214 bytes | Ratio:  31.31x | Savings:  96.8%
Source Code         :   7200 →    184 bytes | Ratio:  39.13x | Savings:  97.4%
Random Binary       :  10240 →  10247 bytes | Ratio:   1.00x | Savings:  -0.1%
All Zeros           :  10240 →    209 bytes | Ratio:  49.00x | Savings:  98.0%

=== Compression Performance ===
BenchmarkCompression/Small_1KB-6          617264    1841 ns/op    600.29 MB/s    0 B/op    0 allocs/op
BenchmarkCompression/Medium_10KB-6        111229   10952 ns/op   1012.51 MB/s    0 B/op    0 allocs/op
BenchmarkCompression/Large_100KB-6         32013   37783 ns/op   2935.96 MB/s    0 B/op    0 allocs/op
BenchmarkCompression/XLarge_1MB-6           3830  313073 ns/op   3628.40 MB/s    0 B/op    0 allocs/op

=== Decompression Performance ===
BenchmarkDecompression/Small_1KB-6       1994583     605 ns/op   1825.07 MB/s    0 B/op    0 allocs/op
BenchmarkDecompression/Medium_10KB-6      928548    1310 ns/op   8465.13 MB/s    0 B/op    0 allocs/op
BenchmarkDecompression/Large_100KB-6      134188    8995 ns/op  12331.72 MB/s    0 B/op    0 allocs/op
BenchmarkDecompression/XLarge_1MB-6        13312   90981 ns/op  12485.63 MB/s    0 B/op    0 allocs/op

=== Latency Measurements ===
BenchmarkLatency/Compress_Latency-6       734128    1609 ns/op    0 B/op    0 allocs/op
BenchmarkLatency/Decompress_Latency-6    1677807     714 ns/op    0 B/op    0 allocs/op

=== Round-Trip Performance ===
BenchmarkRoundTrip/Small_1KB-6            532056    2211 ns/op    499.88 MB/s    0 B/op    0 allocs/op
BenchmarkRoundTrip/Medium_10KB-6           97454   12624 ns/op    878.38 MB/s    0 B/op    0 allocs/op
BenchmarkRoundTrip/Large_100KB-6           24369   46972 ns/op   2361.60 MB/s    0 B/op    0 allocs/op
```

---

Bọn tôi đã tìm hiểu khá nhiều và bọn tôi lại có hướng đi khác cơ và nó chuyên cho random data là đằng khác nên mới đăng như thế
Nhưng cũng đúng như bác nói đó chính là tốc độ nên chúng tôi đang cải thiện thuật toán các thứ để nó được siêu nhanh hướng đi nén data của bọn tôi khác so với hướng đi nén data của ông đang nói

 

[huyenduong]

NanoVault
Công nghệ được phát triển bởi nhóm người Việt (ATZ).

NanoVault có thể chuyển "1 file 10MB xuống chỉ còn 1 dãy kí tự ~300B và có thể trả về nguyên vẹn data đã truyền vào" mà không cần lưu trữ ở bất cứ đâu.
Hiện NanoVault có thể chuyển 1 tệp "basic" từ 10MB xuống 300B còn các tệp ảnh hay video bọn mình mới chỉ chuyển xuống được từ "vài trăm KB tới 1-2MB" tuy là vậy nhưng đội ngũ chúng tớ sẽ định hướng phát triển để mở rộng giới hạn dung lượng lên các mốc 20MB, 50MB và 100MB trong các phiên bản tiếp theo.

Tụi mình đã nghiên cứu cái này được hơn 1 năm và hiện tại chúng mình chưa thấy có ai làm về công nghệ này nên chúng mình sẽ cố gắng phát triển đặt thành tựu lớn hơn để đưa ngành công nghệ của Việt Nam lên tầm cao mới!

-Sắp tới chúng tớ sẽ cho ra demo nho nhỏ về công nghệ này.-

#atz #zyrocoee #atmtool #programming #vietnam #code

Khi nào cho dùng thử thì vứt lên đây nhé bác

 

[atmtool1234]

Khi nào cho dùng thử thì vứt lên đây nhé bác

Vâng bác nào có demo e sẽ post api lên

 

[atmtool1234]

Khi nào cho dùng thử thì vứt lên đây nhé bác

Bác xem post mới của em nhé