Ресурсы«.

Данная
серия статей предназначена для использования системными разработчиками
и системными инженерами при планировании и внедрении Linux-кластера с
использованием интегрированной среды IBM eServer Cluster 1350 (ссылки
на дополнительную информацию по данной среде приведены в разделе «Ресурсы«).
Некоторые статьи могут быть важны для администраторов кластера в
качестве учебного материала, а также для использования во время
обычного функционирования кластера.

В первой части
данной серии приведены подробные инструкции по установке аппаратного
обеспечения кластера. Во второй части рассматриваются следующие после
конфигурирования оборудования действия: установка программного
обеспечения с использованием программы управления системами IBM Cluster
Systems Management (CSM) и установка узлов.

Последующие
статьи данной серии посвящены серверу системы хранения кластера. В них
описывается аппаратная конфигурация и процесс установки и настройки
файловой системы IBM с общим доступом, General Parallel File System
(GPFS).

Установка узлов«).
Следование этому процессу позволяет использовать управляющий сервер в
качестве помощника для конфигурирования остальных компонентов кластера
и для подготовки к последующему обслуживанию и функционированию.

таблице 1.

  • Настройте сетевые интерфейсы следующим образом:
    • Активируйте eth0 на начальную загрузку с фиксированным IP-адресом 192.168.0.253/24, соответствующим нашему примеру файла hosts, рассмотренному ранее.
    • Установите имя хоста в mgmt001.cluster.com.
    • На
      данном этапе не требуется настройка шлюза/DNS, но если у вас имеется
      информация о внешних IP, вы можете настроить ее в процессе установки.
  • Отключите
    брандмауэр, чтобы разрешить все соединения. Опять же, если у вас есть
    требования для IP-таблиц, вы можете настроить их позже.

  • Подтвердите ваши локальные настройки и выберите соответствующий часовой пояс.
  • Установите пароль root; в нашем примере используется пароль cluster.
  • Настройте установку пакетов и включите следующие:
    • X Window system
    • KDE (то есть, K desktop environment)
    • Graphical internet
    • Server configuration tools
    • FTP server
    • Network servers
    • Legacy software development
    • Administration tools
  • Начните установку.
  • Ресурсы«).

    Первым
    шагом является копирование программного обеспечения на управляющий
    сервер. Поскольку вы должны выполнить установку как пользователь root,
    вы можете сохранить все в домашнем каталоге root. В таблице 2 показана
    соответствующая структура каталогов.

    Ресурсы«) и разархивируйте исходный код драйвера.

  • Выполните команду make из каталога src разархивированного вами драйвера bcm для компоновки с рабочим ядром.
  • Скопируйте скомпонованный драйвер (bcm5700.ko для ядра 2.6 или bcm5700.o для ядер 2.4) в каталог /csminstall/csm/drivers/lt;kernel versiongt;/x86_64 управляющего сервера.
  • Если вы хотите скомпоновать драйвер с другими версиями ядра, то можете выполнить команду make clean для сброса настроек компоновки и затем выполнить команду make LINUX=/path/to/your/kernel/source.
  • CSM использует драйверы из структуры каталогов /csminstall/csm/drivers/lt;kernel versiongt;/lt;architecturegt
    при компоновке образов RAM-диска. Эти образы используются для загрузки
    системы в процессе установки, если версия ядра соответствует версии
    ядра RAM-диска. Будьте внимательны при создании драйверов для
    установочных образов: номера некоторых версий ядра отличаются для
    установочного ядра. Например, Red Hat обычно добавляет слово BOOT
    в конец строки версии. Если версия ядра соответствует работающему ядру
    установленной системы, драйвер делается доступным для этой операционной
    системы тоже. Если вы не уверены насчет версий ядра, исследуйте образы
    RAM-диска, как описано в следующем разделе.

    Изменение RAM-диска

    Этот
    шаг обычно выполнять не рекомендуется. Однако бывают ситуации когда это
    необходимо. Например, если вы не уверены насчет версий ядра.
    Приведенный ниже список команд может быть также полезен для
    исследования образов RAM-диска при создании новых драйверов и при
    других обстоятельствах.

    Когда система хранения
    данных подключена к системе Red Hat Linux напрямую с использованием
    хост-адаптера шины (host bus adapter — HBA) на машине, на которой
    производится установка, драйвер системы хранения данных (например,
    драйверы qlogic qla2300) может загружаться до драйверов
    ServeRAID (используемых для внутреннего системного диска, то есть, для
    диска операционной системы). Если это происходит, установка выполняется
    не на нужном диске. /dev/sda указывает LUN (номер
    логического устройства) подключенной системы хранения данных, а не
    локальный диск. В этой ситуации остерегайтесь перезаписи данных на
    вашем SAN вместо локального диска при установке новой операционной
    системы. Чтобы этого не допустить, удалите драйверы qlogic
    с образа RAM-диска Red Hat по умолчанию, которые CSM использует для
    создания загрузочного образа для установки. Конечно же, эти драйверы
    вам нужны при работе системы, поэтому используйте другой механизм,
    например, сценарий, выполняющийся после установки, чтобы установить
    драйверы для операционной системы. Это рекомендуется делать, поскольку
    драйверы qlogic, используемые в Red Hat по умолчанию, обычно не являются драйверами с функцией восстановления после сбоя.

    Например, удалите драйверы qla2300
    из образа RAM-диска по умолчанию для Red Hat Enterprise Linux Advanced
    Server Version 3. В таблице 4 приведены команды для выполнения этого.

    Таблица 4: Команды для RAM-диска

    Команда Назначение
    cd /csminstall/Linux/RedHatEL-AS/3/x86_64/RedHatEL-AS3-QU5/images/pxeboot Перейти в каталог, содержащий образ RAM-диска, который вы хотите изменить.
    cp initrd.img initrd.img.orig Выполнить резервное копирование оригинального образа.
    mkdir mnt Создать точку монтирования.
    gunzip -S .img initrd.img Разархивировать образ.
    mount -o loop initrd.img /mnt Смонтировать образ к точке монтирования.
    manual step Вручную удалить все ссылки на qla[23]00 в mnt/modules/*.
    cp mnt/modules/modules.cgz Скопировать архив модулей из образа в текущий каталог.
    gunzip -c modules.cgz | cpio -ivd Разархивировать архив модулей.
    rm modules.cgz Удалить архив модулей.
    rm 2.4.21-32.EL/ia32e/qla2* Удалить модули qlogic из распакованного архива модулей.
    find 2.4.21-32.EL -type f | cpio -–o -H crc | gzip -c -9 > modules.cgz Создать архив модулей с удаленными модулями qlogic.
    rm -rf 2.4.21-32.EL Удалить распакованный архив модулей.
    mv -f modules.cgz mnt/modules Заменить старый архив модулей новым.
    umount mnt Демонтировать образ RAM-диска.
    rmdir mnt Удалить точку монтирования.
    gzip -S .img initrd Снова создать образ RAM-диска.

    Примечание: Для изменения RAM-диска в Suse или SLES убедитесь в том, что ips (драйвер ServeRAID) указан до любых HBA-драйверов в файле /etc/sysconfig/kernel в строфе INITRD_MODULES. Механизм Suse или SLES для создания образов RAM-дисков гарантирует загрузку драйверов в указанном порядке.

    Установка сценариев, выполняющихся до и после перезагрузки

    Поскольку
    каждая среда и кластер отличаются друг от друга, вам, возможно,
    придется выполнить небольшие изменения в сценарии, выполняющемся после
    установки, для настройки его под ваши требования. Вы можете сделать это
    до или после первой перезагрузки новой установленной системы. Это
    особенно полезно для настройки вторичных сетевых адаптеров. CSM
    предоставляет пример сценария для этих целей. Конфигурация вторичного
    адаптера необходима для нашего примера кластера из-за двойственности
    установки сети: одна вычислительная сеть и одна сеть хранения данных
    для каждого узла. Выполните следующие действия для настройки вторичного
    адаптера:

    1. Скопируйте
      сценарий конфигурации адаптера, поставляемый с CSM, в каталог
      исполняемых сценариев installprereboot для разрешения выполнения
      сценария во время установки и гарантируйте возможность его запуска
      следующим образом:

      cp /csminstall/csm/scripts/adaptor_config_Linux /csminstall/csm/scripts/
      installprereboot/100_adapter_config._LinuxNodes
      chmod 755 /csminstall/csm/scripts/installprereboot/100_adaptor_config._LinuxNodes

    2. Сгенерируйте файл строфы адаптера /csminstall/csm/scripts/data/Linux_adapter_stanza_file, записав заголовок следующим образом:
      default:
      machine_type=secondary
      network_type=eth
      interface_name=eth1
      DEVICE=eth1
      STARTMODE=onboot
      ONBOOT=yes
      BROADCAST=192.168.1.255
      NETMASK=255.255.255.0
      MTU=9000

    3. Это настроит все вторичные адаптеры (eth1)
      на запуск при загрузке и на установку настроек по умолчанию для
      широковещательного драйвера, маски сети и размера MTU-пакетов.
      Настройки сети, предназначенные для конкретного компьютера, можно
      указать в дополнительных строках строфы, аналогично приведенной выше
      схеме файлов определения узлов:

      for node in $(lsnodes)
      do
      ip=$(grep $node /etc/hosts | head -n 1 | awk '{print $1}')
      echo -e "$node:\n IPADDR=$ip" gt;gt; Linux_adaptor_stanza_file
      done

    4. При этом в файл строфы адаптера добавятся следующие строки для конфигурирования каждого компьютера на различные IP-адреса:
      node001.cluster.com:
      IPADDR: 192.168.1.1
      node002.cluster.com:
      IPADDR: 192.168.1.2
      node003.cluster.com:
      IPADDR: 192.168.1.3

    Установка

    Есть две основные переменные среды командного процессора, применяемые во время установки узла: CSM_FANOUT и CSM_FANOUT_DELAY.
    Первая переменная управляет количеством узлов, передающих
    CSM-инструкции одновременно (например, количеством узлов,
    перезагружаемых с управляющего сервера). Вторая переменная управляет
    длительностью (в секундах) ожидания CSM перед перезагрузкой следующего
    набора устанавливаемых узлов. Эти переменные установлены в значение 16
    узлов для CSM_FANOUT и на задержку в 20 минут перед перезагрузкой
    следующего набора узлов. Эти значения по умолчанию приемлемы для
    большинства установок, но могут быть увеличены для больших кластеров.

    Для установки кластера классическим способом выполните следующие действия:

    1. Сконфигурируйте и установите вычислительные узлы следующим образом:

      csmsetupks -N ComputeNodes -k 
      /opt/csm/install/your.kickstart.file.nodes -x
      installnode -N ComputeNodes

    2. Сконфигурируйте и установите пользовательские узлы следующим образом:
      csmsetupks -N UserNodes -k /opt/csm/install/your.kickstart.file.user -x
      installnode -N UserNodes

    3. Сконфигурируйте и установите узлы планирования следующим образом:
      csmsetupks -N SchedulerNodes -k 
      /opt/csm/install/your.kickstart.file.schd -x
      installnode -N SchedulerNodes

    4. Сконфигурируйте и установите узлы хранения данных следующим образом:
      csmsetupks -N StorageNodes -k 
      /opt/csm/install/your.kickstart.file.stor -x
      installnode -N StorageNodes

    Для
    установки больших кластеров используйте установочные серверы для
    организации процесса установки и распараллельте процесс установки
    следующим образом:

    1. Установите атрибут InstallServer в CSM. Для каждого узла, который вы хотите установить с установочного сервера, укажите в атрибуте InstallServer
      имя хоста этого установочного сервера. Все узлы, не имеющие этого
      атрибута, по умолчанию настроены на установку с центрального
      управляющего сервера. В больших кластерных системах, где, например, у
      вас имеется 32 узла на стойку, вы могли бы выбрать нижний узел в каждой
      стойке в качестве установочного сервера для кластера. В этом случае
      настройте узлы с node002 по node032 в стойке 1 на установку с узла node001, а узел node001 на установку с управляющего сервера. Используйте следующую команду:

      chnode -n node002-node032 InstallServer=node001

    2. Создайте одну динамическую группу узлов для всех установочных серверов, а другую — для клиентских узлов следующим образом:
      nodegrp -w "InstallServer like '_%'" InstallServers
      nodegrp -w "InstallServer not like '_%'" InstallClients

    3. Сконфигурируйте и установите установочные серверы следующим образом:
      csmsetupks -N InstallServers -x
      installnode -N InstallServers

    4. Увеличьте
      значение CSM fanout для одновременной перезагрузки большего количества
      узлов, для того чтобы воспользоваться преимуществом повышенной
      пропускной способности, обеспечиваемым установочными серверами. В
      примере «32 узла на стойку» наиболее эффективным значением для CSM
      fanout является произведение 32 на количество установочных серверов
      (или стоек, если в стойке имеется только один такой узел). В этом
      примере вы могли бы также увеличить количество NFS-потоков на каждом
      установочном сервере до 32 для повышения эффективности работы NFS.
      Используя этот метод, вы можете установить сотни или тысячи машин
      одновременно.

    5. Сконфигурируйте и установите клиентские узлы следующим образом:
      csmsetupks -N InstallClients -x
      installnode -N InstallClients

    Заключение

    Выполнив
    все действия, подробно описанные в первых двух частях этой серии
    статей, вы завершите установку аппаратного и программного обеспечения
    для кластера, включая установку программы управления системой и полную
    установку узлов. В следующих частях данной серии будет рассмотрена
    установка сервера хранения данных; в частности, процесс
    конфигурирования аппаратного обеспечения системы хранения данных и
    установка и настройка файловой системы IBM с общим доступом, General
    Parallel File System (GPFS).


    Установка/конфигурирование/планиров
    Карта сайта: 1, 2, 3, 4, 5, 6, 7, 8, 9, 10, 11, 12, 13, 14, 15, 16, 17, 18, 19, 20, 21, 22, 23, 24, 25, 26, 27, 28, 29, 30, 31, 32, 33, 34