Python Лабораторна 71: Стрімінговий парсинг JSON

Технологія: Python

Номер лабораторної: 71 · Рівень: middle

Тема: Обробка великих JSON потоків

Повний опис / сценарій лабораторної:

Meta: навчитися працювати з великими JSON файлами без повного завантаження у памʼять.



Krok 1. Згенерувати великий JSON файл з масивом обєктів наприклад логів.



Krok 2. Встановити ijson у віртуальне середовище.

Komandi: cd ~/python_lab1; source .venv/bin/activate; pip install ijson



Krok 3. Створити модуль src/app/ij71.py який читає файл по стрімінгу.



Krok 4. Використати ijson items щоб проходити обєкти один за одним.



Krok 5. Реалізувати фільтрацію подій за певною умовою наприклад за полем level.



Krok 6. Порахувати кількість обєктів що пройшли фільтр.



Krok 7. Занотувати споживання памʼяті у порівнянні з варіантом json load.



Krok 8. Продумати як такий підхід використати для імпорту даних у базу.



Krok 9. Додати обробку помилок формату JSON і пропуск пошкоджених записів.



Krok 10. Mini zvit.

Zavdannya: опиши сценарії де стрімінговий JSON парсинг критично важливий.