Что, черт возьми, такое распределенные системы и как они на самом деле работают?

Боже мой! Я уже несколько недель пытаюсь понять эти чертовы распределенные системы, и, наконец, думаю, что у меня есть ясное представление. Я собираюсь объяснить это так, как я это вижу, без всякой технической мишуры, которая меня достала.

Будущее этих систем уже здесь, блестящее как только что отчеканенная монета. Кластерные и сетевые вычисления — это технологии, которые изменят панораму, хотя иногда я задаюсь вопросом, действительно ли нам нужна такая сложность.

Когда мы говорим о кластерах, мы имеем в виду несколько компьютеров, работающих вместе как единое целое - как футбольная команда, но с процессорами! Хорошо: больше мощности, больше отказоустойчивости, больше масштабируемости... Плохо: цена! Хотя говорят, что скоро будет дешевле, я в это не очень верю.

Кластерные вычисления становятся основополагающими для обработки огромных объемов данных, которые мы генерируем. Ты видел, сколько информации мы производим? Это безумие! И не говоря уже об искусственном интеллекте - эти алгоритмы поглощают ресурсы так же, как я поглощаю закуски на вечеринке.

С другой стороны, грид-компьютинг использует географически распределенные ресурсы. Представь себе! Когда происходит природное бедствие, можно мобилизовать ресурсы со всего мира. И криптомайнеры уже используют это, чтобы получать больше вознаграждений - объединяясь, как муравьи, для более быстрого решения математических задач. Конечно, некоторые скажут, что это пустая трата энергии, но это уже другой спор...

Распределенные системы имеют очевидные преимущества: масштабируемость (они могут легко расти), отказоустойчивость (если одна часть выходит из строя, другие продолжают работать) и лучшее производительность. Но, будьте осторожны! У них также есть свои недостатки: координация - головная боль, они сложны в обслуживании и вам нужны эксперты для их правильного управления.

Существует несколько типов этих систем. Самый базовый — это клиент-сервер, как когда вы посещаете веб-страницу. Также есть P2P, где все компьютеры равны — как BitTorrent для обмена файлами. Распределенные базы данных — это еще один тип, где информация распределена между несколькими машинами — подумайте о социальных сетях или интернет-магазинах.

А как, черт возьми, это работает? Они делят большую задачу на маленькие подзадачи, которые распределяются между многими компьютерами. Связь между ними имеет решающее значение - с использованием таких протоколов, как TCP/IP или HTTP.

Ясным примером является блокчейн - эта децентрализованная бухгалтерская книга, которая вызывает столько шума. Каждый узел имеет полную копию книги, что делает ее более безопасной и устойчивой. Идеальна ли она? Нет, но это интересно.

В общем, распределённая система — это набор независимых компьютеров, которые работают вместе, казалось бы, как один. Они делят ресурсы и мощность между несколькими рабочими станциями, чтобы превзойти то, что может сделать одна система.

Я задаюсь вопросом: действительно ли нам нужна такая сложность? Может быть, да, но иногда я думаю, что инженеры усложняют вещи только потому, что могут.