Ресурсы«.

В
первых двух частях данной серии статей описана общая установка кластера
и приводится обзор конфигурации аппаратного обеспечения и установки
аппаратного обеспечения с использованием программного обеспечения IBM
для системного управления — Cluster Systems Management (CSM). В первой
статье вы познакомитесь с этой темой и аппаратной конфигурацией. Во
второй статье описывается конфигурация управляющего сервера и установка
узлов. Последующие статьи данной серии посвящены серверу системы
хранения данных кластера. В них описывается аппаратная конфигурация и
процесс установки и настройки файловой системы IBM с общим доступом,
General Parallel File System (GPFS).

Данная серия
статей предназначена для использования системными разработчиками и
системными инженерами при планировании и внедрении Linux-кластера с
использованием интегрированной среды IBM eServer Cluster 1350 (см.
раздел «Ресурсы«).
Некоторые статьи могут быть важны для администраторов кластера в
качестве учебного материала, а также для использования во время
обычного функционирования кластера.

Ресурсы«).
Для простоты соединения в кластере выполнены медным кабелем стандарта
гигабитный Ethernet. Этот кабель обеспечивает хорошую скорость в
большинстве случаев. Пропускную способность между стойками можно
повысить путем использования bonded/port-channeled/etherchannel
(вставьте ваш любимый термин для обозначения метода транкинга).

Сетевая
топология имеет форму звезды — все стойки подключены к основному
коммутатору управляющей стойки. В примере используется три сети: одна
для управления/данных (вычислительная сеть), одна для кластерной
файловой системы (сеть хранения данных) и одна для администрирования
устройств. Первые две сети — это обычные IP-сети. Для большинства
задач, включая межпроцессные взаимодействия (например, MPI) и
управление кластером, используется вычислительная сеть. Сеть хранения
данных используется исключительно для доступа и взаимодействия с
кластерной файловой системой.

рисунке 1
соединения управляющей сети выделены красным цветом. Управляющий сервер
— это CSM-сервер, использующийся исключительно для внутреннего
управления кластером при помощи CSM-функций: управление установкой
системы, мониторинг, облуживание и другие задачи. В данном кластере
присутствует только один управляющий сервер.

  • Серверы хранения данных и дисковые накопители
    — Вы можете подключить несколько серверов хранения данных к
    организованному на дисковых накопителях хранилищу данных при помощи
    различных механизмов. Подключить систему хранения данных к серверу
    можно напрямую: либо через SAN-коммутатор (storage area network — сеть
    хранения данных) по оптическому волокну или медному кабелю, либо
    используя оба типа соединений (см. рисунок 1).
    Эти серверы предоставляют совместный доступ к системе хранения данных
    другим серверам кластера. Если необходимо резервирование базы данных,
    подключите резервное устройство к серверу хранения данных, используя
    дополнительное медное или оптическое соединение. В примере кластера
    хранилище представляет собой единую сущность, обеспечивающую доступ к
    общей файловой системе в пределах кластера. В следующей статье данной
    серии будет более подробно описана установка, настройка и реализация
    аппаратного обеспечения системы хранения данных и кластерной файловой
    системы.

  • Пользовательские узлы
    — В идеальном случае вычислительные узлы кластера не должны принимать
    внешние подключения и должны быть доступны только для системных
    администраторов через управляющий сервер. Пользователи системы могут
    зарегистрироваться на вычислительных узлах (или узлах регистрации) для
    выполнения своей работы в кластере. Каждый пользовательский узел
    состоит из образа с возможностями любого редактирования, необходимых
    библиотек разработчика, компиляторов и всего, что необходимо для
    создания кластерного приложения и получения результатов.

  • Узлы планирования
    — Для запуска рабочей нагрузки на кластере пользователи должны передать
    свою работу узлу планирования. Фоновый процесс-планировщик (scheduler
    daemon), работающий на одном или нескольких узлах планирования,
    применяет предопределенную политику для запуска рабочих нагрузок в
    кластере. Аналогично вычислительным узлам, узлы планирования не должны
    принимать внешних подключений от пользователей. Системные
    администраторы должны управлять ими при помощи управляющего сервера.

  • Вычислительные узлы
    — Эти узлы выполняют рабочую нагрузку кластера, принимая задания от
    планировщика. Вычислительные узлы — это самые свободные части кластера.
    Системный администратор может легко переустанавливать или
    перенастраивать их при помощи управляющего сервера.

  • Внешние соединения — Пример внешнего соединения показан зеленым цветом на рисунке 1. Такие соединения считаются внешними для кластера, а потому не описываются в данной статье.

  • Загрузка«.
    Это пример небольшого кластера, состоящего из шестнадцати
    вычислительных узлов, одного управляющего сервера, одного сервера
    хранения данных, одного пользовательского узла и одного узла
    планирования, расположенных в двух стойках вместе со всеми необходимыми
    подключенными устройствами. Мы не приводим пример большого кластера,
    поскольку такой конфигурации достаточно для нашего кластера, и вы легко
    можете расширить его при необходимости.

    Ресурсы«). Настройте MRV-карту следующим образом:

    1. Подключитесь
      к коммутатору, используя последовательный порт и стандартный
      последовательный кабель (9600, 8-N-1, без управления потоком).
    2. Зарегистрируйтесь в системе после появления приглашения. Имя пользователя по умолчанию — InReach, пароль — access.
    3. Введите enable
      — Вход в режим супер-пользователя с паролем по умолчанию равным system.
      При первой настройке устройства появляется конфигурационный экран. В
      противном случае выполните команду setup для отображения этого экрана.
    4. Введите и сохраните различные параметры сети.
    5. Введите config — Вход в режим конфигурирования.
    6. Введите port async 1 48 — Конфигурирование портов с 1 до 48.
    7. Введите no authentication outbound — Отключение внутренней аутентификации.
    8. Введите no authentication inbound — Отключение внешней аутентификации.
    9. Введите no autobaud — Установка скорости обмена.
    10. Введите access remote — Разрешение удаленного соединения.
    11. Введите flowcontrol cts — Установка аппаратного управления потоком передачи в CTS, которое используется по умолчанию в большинстве компьютеров IBM.
    12. Введите exit — Возврат в режим конфигурирования.
    13. Введите exit — Возврат в режим супер-пользователя.
    14. Введите save config flash — Сохранение конфигурации для использования после перезагрузок.

    После
    этой начальной настройки вам останется сделать немного. Опять же,
    проверьте, что выполненные вами настройки соответствуют настройкам
    подключаемых компьютеров. Теперь Вы сможете запустить программу telnet
    для доступа к терминальным серверам и последующего управления ими. Как
    и в ситуации с Ethernet-коммутаторами, вы можете, при необходимости,
    просмотреть рабочую конфигурацию для проверки готовности к работе
    терминальных серверов. Например, команда show port async all char возвращает подробную информацию о каждом порте терминального сервера.

    Ресурсы«).

    Загрузка«. Кроме того, для Intel-компьютеров вы, обычно, можете установить BMC-адрес в системном BIOS.

    После
    установки BMC-адреса на узле у вас появится возможность удаленного
    управления питанием, что облегчает жизнь при конфигурировании кластера.
    Однако этот метод обновления BMC-котроллера полагается на загрузку по
    сети, поэтому, если ваши компьютеры пока еще не настроены на
    PXE-загрузку в BIOS, вы можете сначала обновить BIOS, а потом вернуться
    к обновлению BMC-контроллера.

    Загрузите DOS-образ
    последней версии микропрограммы BMC-контроллера и выполните инструкции
    по созданию загрузочного образа на гибком диске. Этот образ содержит
    программу lancfg.exe, позволяющую установить IP-адрес на
    BMC-контроллере. Обычно процедура заключается во вставке дискеты и
    загрузки с нее для выполнения обновления. Однако сначала создайте образ
    PXE-загрузки с дискеты на вашем сервере PXE-загрузки при помощи
    следующей команды:

    dd if=/dev/fd0 of=/tftpboot/firmware/bmc.img bs=1024

    Теперь
    вы можете, при необходимости, изменить DOS-образ. Для обновления
    BMC-контроллера никаких изменений самого основного образа не требуется,
    за исключением копирования в образ DOS-программы выключения питания.
    Если не углубляться в детали, то вы включаете компьютер, он выполняет
    PXE-загрузку для записи микропрограммы во флэш-память BMC-контроллера и
    остается работать в DOS-режиме. Используя файл сценария, вы можете
    затем установить BMC-адрес через терминальный сервер и выключить
    компьютер. При этом вы знаете, что все компьютеры при включении либо
    прописывают микропрограмму своего BMC-контроллера, либо ожидают
    установки IP-адреса. Для всех отключенных компьютеров этот процесс
    завершен. Загрузите подходящую DOS-программу отключения питания,
    например, программу atxoff.com. Затем скопируйте ее в образ при помощи следующей команды:

    mount -o loop /tftpboot/firmware/bmc.img /mnt
    cp /path/to/poweroff.exe /mnt
    umount /mnt

    Теперь
    убедитесь, что ваш конфигурационный файл PXE-загрузки может передать
    корректный образ, изменив соответствующий комментарий для активизации
    default BMC в созданном ранее файле /tftpboot/pxelinux.cfg/default.
    После тестирования одного узла, загрузите все компьютеры из
    отключенного состояния для перезаписи флэш-памяти во всех требуемых
    узлах. После загрузки всеми узлами PXE-образа измените конфигурацию
    назад в localboot для минимизации шанса случайной перезаписи
    флэш-памяти компьютера при его возможной перезагрузке.

    Теперь вы можете запустить программу lancfg
    и работать с ней через терминальный сервер (предполагая, что настройки
    BIOS экспортируют терминал по последовательному порту с такими же
    настройками, которые установлены на терминальном сервере). IP-адрес
    BMC-контроллера можно установить, используя lancfg в Perl-сценарии, как, например, в неподдерживаемом сценарии, доступном в разделе «Загрузка«. Например, для установки BMC-адреса всех компьютеров группы узлов под названием Rack1 на адрес шлюза 192.168.10.254 и маску сети 255.255.255.0 выполните следующую команду на компьютере с сервером PXE-загрузки:

    perl set-bmc-address.pl -N Rack1 -g 192.168.10.254 -m 255.255.255.0

    Вы можете
    подстроить этот сценарий под ваш процесс установки. После завершения
    выполнения этого сценария, компьютер автоматически выключается
    скопированной вами в загрузочный образ DOS-программой выключения, уже
    имея установленным свой IP-адрес BMC-контроллера.

    разделе обновления BMC-контроллера с использованием DOS-программы отключения питания и вызова ее из файла autoexec.bat.

    Если вы удовлетворены измененным обновлением BIOS, то можете создать образ PXE-загрузки с дискеты при помощи следующей команды:

    dd if=/dev/fd0 of=/tftpboot/firmware/bios.img bs=1024

    Измените PXE-загрузку по умолчанию в конфигурационном файле /tftpboot/pxelinux.cfg/default
    так, чтобы при загрузке выполнилось обновление BIOS. Теперь при
    включении подключенной к сети системы она автоматически перезапишет
    BIOS без каких-либо действий пользова

    Комментарии закрыты.

    Карта сайта: 1, 2, 3, 4, 5, 6, 7, 8, 9, 10, 11, 12, 13, 14, 15, 16, 17, 18, 19, 20, 21, 22, 23, 24, 25, 26, 27, 28, 29, 30, 31, 32, 33, 34