Появилась такая вот новомодная штука:
Источник: Hadoop — Википедия
Народ в захвате, изучают и внедряют. Взгляд со стороны MS SQL Server.
Почитал- что лично мне понравилось, так это файловая система. Размазать RAID не только по дискам но и по серверам, по СХД- очень круто. Там и правда можно ломом выбивать узлы и сжигать целиком серверные без существенного ущерба для целостности данных.
В остальном- очень специфичная задача, крайне трудноприменимая в обычных условиях. В понятиях MS ее можно заявить как кластер, но не из двух а из невероятной кучи серверов.
Тут же в чем еще тонкость- читать всякий мусор он может нормально. В обычном случае оно заточено под обработку запросов из интернета, вроде бабушка из Крыжополя интересуется, где Пугачеву послушать можно.
То есть, шквал маленьких читающих запросов с поисковыми моментами.
В традиционных условиях запросы базу обновляют. Огромная разница- блокировки среди многих узлов кластера похоронят систему, разве что, делать журналы/репликация/центральный сервер.
Запросы сложные, стараются программисты. Как напишут- так сервер на дыбы, винты гремят, дым из процессоров валит. У них все построено на относительно простые запросы, с которыми справится маленький селерон с малым объемом памяти.
Такие маленькие запросы тоже есть, но они все больше пишущие.
Ну и плюс- производительность ограничена совсем не процессорами, их средняя нагрузка хорошо если процентов 30, а то обычно меньше. Иногда бывают залеты, а так уровень невелик. Главная проблема- СХД и объем памяти. Если запросы подняли в память некий нужный блок- дальше он будет обрабатываться очень быстро. То есть, для обычных условий лучше взять сервер с хилым процессором и 3 тб памяти, чем эскадрон селеронов.
По деньгам- лучше уж не селероны. Бу можно купить очень интересные вещи.
Вот такая штука, блейд- система на 16 серверов с 32 гигами мозгов каждый. Все такое счастье 3 тысячи американских карбованцев.
В общем, штучка забавная но прикрутить ее некуда 🙂