Speed up JSONL to PostgreSQL import
- Tình trạng: Pending
- Giải thưởng: €120
- Các bài thi đã nhận: 5
- Người chiến thắng: richardm44
Tóm tắt cuộc thi
The goal of this project is to significantly speed up an already existing data import script (see import_data.sh).
The steps needed to import the data consist of:
- Setup the necessary tables for the import to work (I already provide you with the postgres init script, see init.sql)
- Downloading/fetching the large ±24GB .JSONL data dump
- Importing and converting this single .JSONL-dump into two postgres tables running in a docker container
Requirements:
- The resulting tables should be exactly the same as when you run the original import script.
- The import time should be significantly reduced compared to the import time of the original import script using the same hardware requirements.
- It should be easy to run everything: clearly document how to run it
How you achieve this is completely up to you (Bash + SQL, pure SQL, Python, …).
Các kĩ năng yêu cầu
Bảng thông báo công khai
Làm thế nào để bắt đầu với cuộc thi
-
Đăng cuộc thi của bạn Nhanh chóng và dễ dàng
-
Nhận được vô số Bài dự thi Từ khắp nơi trên thế giới
-
Trao giải cho bài thi xuất sắc nhất Download File - Đơn giản!