Сегодня суперкомпьютер представляет собой совокупность взаимосвязанных вычислительных узлов с гибридной архитектурой (несколько многоядерных центральных процессоров и одна или несколько плат с графическими процессорами). По способу организации взаимодействия между вычислительными узлами многопроцессорные вычислительные системы делятся на системы с общей оперативной памятью и распределенной. В большинстве своем современные суперкомпьютеры в целом представляют собой многопроцессорные высокопроизводительные вычислительные системы (МВС) с распределенной памятью. В них каждый вычислительный узел имеет свою локальную оперативную память, а доступ к данным, находящимся в оперативной памяти другого узла многопроцессорной системы, осуществляется с использованием передачи сообщений по высокоскоростной сети, связывающей вычислительные узлы. Высокая скорость проведения расчетов на системах с распределенной памятью обусловлена возможностью одновременного выполнения вычислений при решении одной конкретной задачи математического моделирования на нескольких (в лучшем случае на всех имеющихся) процессорных элементах вычислительной системы при минимуме затрат на межпроцессорную передачу данных. Теоретически, сколько в вычислениях используется процессоров или ядер МВС, во столько раз быстрее должна выполняться программа на суперкомпьютере.

Это не так. Следует сказать, что вычислительный процесс можно представить в виде двух частей – часть, которую теоретически можно распараллелить, и часть, принципиально не распараллеливаемую. Закон Амдаля задает границы ускорения, достижимого при использование многопроцессорного вычислителя.

Процесс, выполняемый в задаче «Ханойская башня», ускорить невозможно ни на каком суперкомпьютере.