Джордан Тигани, один из создателей Google Big Query и основатель компании Mother Duck (duckdb.org) пишет и пишет подробно о том что Big Data это уже давно мёртвый хайп. Не он один и не он первый об этом пишет но его, повторюсь, длинный и подробный текст стоит почитать всем вовлеченным в работу с данными.
Основные моменты։
реально ценная часть данных, на самом деле, не так уже велика
если велика то чаще всего нет необходимости делать запросы ко всем данным
и даже если так, то чаще всего это можно сделать на одном компьютере
если нет, то по прежнему данные можно суммаризировать и сжимать
так почему же инструменты делают в основном для оставшихся 1% случаев?
Источник на английском https://motherduck.com/blog/big-data-is-dead/