cwt

joined 4 years ago
MODERATOR OF
[–] cwt@lemmy.ml 3 points 4 months ago

20250903: I’ve made a lot of updates since my last post. Performance has improved thanks to the use of temp table. Please check it out and give it a try!

[–] cwt@lemmy.ml 7 points 4 months ago (1 children)

What you said is the old concept of relational databases. SQLite, years ago, added native JSON and JSON operations such as JSON_EXTRACT, JSON_EACH, JSON_SET, etc., which blurred the line between SQL and NoSQL. However, not many developers utilize it, so I'm trying to bring it to the easiness of PyMongo APIs. If you read the examples and test cases in my repo, you will no longer mention subsets. While it's true, I've already addressed most of them and am still progressing.

 

Introducing NeoSQLite — a Python library with an API highly compatible with PyMongo, allowing you to use SQLite almost like MongoDB.
https://github.com/cwt/neosqlite This project integrates two of my other open-source projects:

  • fts5-icu-tokenizer (GitHub - cwt/fts5-icu-tokenizer: FTS5 ICU Tokenizer for SQLite (mirror) (https://github.com/cwt/fts5-icu-tokenizer)): An ICU-powered tokenizer for SQLite's FTS5, enabling full-text search support for languages worldwide. In NeoSQLite, it powers the $text operator for advanced multilingual search capabilities.

  • quez (GitHub - cwt/quez: Pluggable, compressed in-memory queues and deques for both sync and asyncio applications. (https://github.com/cwt/quez)): A tool that compresses SQLite query results, reducing memory usage by 50% to 80%, which is especially beneficial when working with large datasets.

NeoSQLite is ideal for lightweight, embeddable applications that need MongoDB-like query flexibility with the simplicity and portability of SQLite.

Feel free to check it out and share your feedback.

 

SanDisk เลิกทำการ์ด A1 ตัวเขียนเร็วที่ใหญ่กว่า 32GB แล้ว ตอนนี้เท่าที่หาได้คือ Extreme และ Extreme Pro A1 32GB ซึ่งเมื่อหลายปีก่อนยังพอหาซื้อ Extreme A1 128GB ได้

ปัญหาก็คือผ่านมาหลายปีแล้ว Linux Kernel (รวมถึง Android / Raspberry Pi Kernel) ไม่มี driver ที่เปิด feature การทำงานของการ์ด A2 เสียที ทำให้การซื้อการ์ด A2 มาใช้จะได้ความเร็วของ random read / write ที่ต่ำกว่า A1 เสียอีก และบางทีก็ช้ากว่ามากๆ ด้วย

ตัวเลือกที่ดีที่สุดตอนนี้ในกรณีที่ต้องการการ์ดขนาดใหญ่กว่า 32GB คือ Kingston Endurance https://bit.ly/3pYFmE3 แต่ก็ยังไม่ค่อยเห็น benchmark เท่าไหร่ สงสัยต้องลงทุนซื้อมา benchmark เอง

https://github.com/ThomasKaiser/Knowledge/blob/master/articles/A1_and_A2_rated_SD_cards.md

https://www.jeffgeerling.com/blog/2019/a2-class-microsd-cards-offer-no-better-performance-raspberry-pi

https://www.jeffgeerling.com/blog/2019/raspberry-pi-microsd-follow-sd-association-fools-me-twice