По поводу Hadoop, выскажу личное мнение

Появилась такая вот новомодная штука:

Источник: Hadoop — Википедия

 

Народ в захвате, изучают и внедряют. Взгляд со стороны MS SQL Server.

 

Почитал- что лично мне понравилось, так это файловая система. Размазать RAID не только по дискам но и по серверам, по СХД- очень круто. Там и правда можно ломом выбивать узлы и сжигать целиком серверные без существенного ущерба для целостности данных.

 

В остальном- очень специфичная задача, крайне трудноприменимая в обычных условиях. В понятиях MS ее можно заявить как кластер, но не из двух а из невероятной кучи серверов.

Тут же в чем еще тонкость- читать всякий мусор он может нормально. В обычном случае оно заточено под обработку запросов из интернета, вроде бабушка из Крыжополя интересуется, где Пугачеву послушать можно.

То есть, шквал маленьких читающих запросов с поисковыми моментами.

 

В традиционных условиях запросы базу обновляют. Огромная разница- блокировки среди многих узлов кластера похоронят систему, разве что, делать журналы/репликация/центральный сервер.

Запросы сложные, стараются программисты. Как напишут- так сервер на дыбы, винты гремят, дым из процессоров валит. У них все построено на относительно простые запросы, с которыми справится маленький селерон с малым объемом памяти.

Такие маленькие запросы тоже есть, но они все больше пишущие.

 

Ну и плюс- производительность ограничена совсем не процессорами, их средняя нагрузка хорошо если процентов 30, а  то обычно меньше. Иногда бывают залеты, а так уровень невелик. Главная проблема- СХД и объем памяти. Если запросы подняли в память некий нужный блок- дальше он будет обрабатываться очень быстро. То есть, для обычных условий лучше взять сервер с хилым процессором и 3 тб памяти, чем эскадрон селеронов.

 

По деньгам- лучше уж не селероны. Бу можно купить очень интересные вещи.

http://www.ebay.com/itm/HP-Proliant-C7000-Chassis-16x-BL460C-G6-Blade-Xeon-QC-L5520-32GB-RAM-TRAYS-/350851072489?hash=item51b05a81e9:g:TjYAAOSw1DtXEDC4

Вот такая штука, блейд- система на 16 серверов с 32 гигами мозгов каждый. Все такое счастье 3 тысячи американских карбованцев.

 

В общем, штучка забавная но прикрутить ее некуда 🙂

Добавить комментарий

Ваш адрес email не будет опубликован. Обязательные поля помечены *