Ресурсы«).
Некоторые статьи могут быть полезны администраторам как в качестве
учебных материалов, так и при использовании в процессе эксплуатации
кластера. Каждая часть данной серии статей ссылается на один и тот же
пример установки.

В
первой части данной серии приведены подробные инструкции по установке аппаратного обеспечения кластера. Во
второй части
рассматриваются следующие после конфигурирования оборудования действия:
установка программного обеспечения при помощи программы управления
системами IBM Cluster Systems Management (CSM) и установка узлов.

Третья часть
и эта статья описывают систему хранения данных кластера, включая
установку и настройку аппаратного обеспечения системы хранения данных,
а также настройку файловой системы IBM с совместным доступом General
Parallel File System (GPFS). В третьей части
рассмотрена архитектура системы хранения данных, подготовка аппаратного
обеспечения и подробная информация по установке Storage Area Network. В
данной, четвертой и последней, части серии подробно рассматриваются
специфические вопросы CSM, относящиеся к системе хранения данных нашего
примера кластера, в частности, установка узлов для системы хранения
данных и настройка GPFS-кластера.

первой статьи данной серии. Также полезно просмотреть раздел по архитектуре системы хранения данных в третьей статье. Понимание архитектуры обеспечит необходимый контекст для наилучшего использования приведенной ниже информации.

Настройка путей к дискам и распределения нагрузки«.

первой и второй статьях данной серии.

Обобщенно процесс установки проходит следующие этапы:

  1. PXE-загрузка/DHCP с сервера установки.
  2. Установка NFS с сервера установки.
  3. Сценарии, выполняющиеся до перезагрузки (pre-reboot).
  4. Перезагрузка.
  5. Сценарии, выполняющиеся после перезагрузки (post-reboot).
  6. Передача CFM-файла.
  7. Послеустановочная настройка CSM.

Изменения конфигурации в данной статье происходят на этапах pre-reboot и передачи CFM-файла.

настройке HBA.
Установка не основывается на RPM-файлах, поэтому нелегко интегрировать
ее в CSM по умолчанию. Для выполнения установки вы можете добавить
сценарий в конец установки GPFS для проверки того, является ли узел
сервером хранения данных, а также для установки MSJ. Для установки в
невидимом режиме используйте команду FAStTMSJ*_install.bin -i silent

Определение конфигурации HBA на серверах хранения данных«.

Создание и установка уровня переносимости«. Скопируйте бинарные файлы PL в каталог /cfmroot/usr/lpp/mmfs/bin
управляющих серверов и назовите их так, чтобы они распределялись только
на узлы с определенными версиями ядра в соответствующих группах.
Например:

/cfmroot/usr/lpp/mmfs/bin/dumpconv._<nodegroup>
/cfmroot/usr/lpp/mmfs/bin/lxtrace._<nodegroup>
/cfmroot/usr/lpp/mmfs/bin/mmfslinux._<nodegroup>
/cfmroot/usr/lpp/mmfs/bin/tracedev._<nodegroup>

Обратите внимание
на то, что в большом кластере для уменьшения нагрузки на CFM можно
добавить эти четыре файла в специализированный RPM и установить вместе
с GPFS, используя метод, приведенный выше для установки RPM-файлов GPFS.

Ресурсы«).

Эта
проблема влияет на узлы системы хранения данных, поскольку, если
разрешена PXE-загрузка, нет достаточного объема памяти для корректной
инициализации PCI-адаптеров Qlogic. Вот один из способов решения данной
проблемы:

  1. Запретите
    PXE-загрузку на PCI-карте Broadcom, используемой для GPFS-сети.
    Используя доступную для загрузки возможность diag b57udiag -cmd,
    выберите устройство, а затем запретите PXE-загрузку.

  2. Используйте
    PXE-загрузку для установки узла с использованием CSM, а затем запретите
    PXE-загрузку для обоих адаптеров, используя BIOS (в порядке, описанном
    в разделе «Установка узлов системы хранения данных в правильном порядке«).

Другое
решение проблемы — использование карты RAID 7K в каждой xSeries 346.
Она уменьшит объем ROM, используемый SCSI BIOS, и позволит успешно
загрузиться Qlogic BIOS даже с разрешенной PXE-загрузкой.

Настройка системы восстановления после сбоев Qlogic«.

В
следующем разделе описываются действия, необходимые для обновления
встроенной микропрограммы и настроек в HBA-адаптерах на каждом сервере
хранения данных, а также ручная процедура разрешения функциональности
распределения нагрузки между двумя HBA-адаптерами, которую нужно
выполнять при каждой повторной установки.

Ресурсы«). Обновить микропрограмму можно при помощи IBM Management Suite Java, или используя загрузочную дискету и программу flasutil.

служебной программы MSJ. Вот эти настройки:

  • Настройки адаптера хоста
    • Loop reset delay: 8
  • Расширенные настройки адаптера
    • LUNs per target: 0
    • Enable target reset : Yes
    • Port down retry count: 12

Ресурсы«.

В
нашем примере используется CSM для установки MSJ на каждом узле системы
хранения данных как части общей установки GPFS. Бинарный файл является
частью tar-файла, содержащего RPM-файлы GPFS, который CFS
распространяет во время установки CSM-узла. Сценарий, выполняющийся
после установки, разархивирует этот tar-файл, который, в свою очередь,
запускает сценарий установки, содержащийся внутри tar-файла. В примере
используется 32-разрядная версия FAStT MSJ, чтобы обойти потенциальные
проблемы, возможные при установке 64-разрядной версии. Пример сценария
использует следующую команду для установки MSJ: FAStTMSJ*_install.bin -i silent.

Устанавливается
приложение и агент. Обратите внимание на то, что поскольку это
32-разрядная версия MSJ, даже при том, что пример использует не
интерактивную установку, код ищет и загружает 32-разрядные версии
некоторых библиотек. Следовательно, используйте установленную
32-разрядную версию XFree86-libs, также как 64-разрядную версию,
включаемую при базовой 64-разрядной установке. 32-разрядные библиотеки
содержатся в файле XFree86-libs-4.3.0-78.EL.i386.rpm, включенном в
tar-файл. Установкой этого rpm-файла занимается сценарий install.sh,
который затем устанавливает MSJ.

Настройка путей к дискам и распределения нагрузки

Наличие
MSJ требуется на каждом узле системы хранения данных для ручной
настройки путей к массивам на DS4500 и распределения нагрузки между
двумя HBA-адаптерами на каждом компьютере. Если эту настройку не
выполнить, по умолчанию все массивы будут доступны через первый адаптер
на каждом компьютере (HBA0) и, соответственно, через контроллер A на
каждой системе DS4500. Распределяя диски между HBA-адаптерами и,
следовательно, между двумя контроллерами на DS4500, вы распределяете
нагрузку и улучшаете производительность сервера.

Обратите
внимание на то, что настройка распределения нагрузки является ручным
процессом и должна выполняться на каждом узле системы хранения данных
при каждой его переустановке. Для нашего примера кластера нужно
выполнить следующие действия по настройке распределения нагрузки:

  1. Откройте новое окно на локальном компьютере из вновь установленного сервера с установкой xforwarding (ssh <nodename> -X).

  2. В одной сессии запустите # qlremote.
  3. В другой сессии запустите # /usr/FAStT MSJ & для загрузки MSJ GUI.
  4. В MSJ GUI выделите один из адаптеров в закладке HBA и выберите Configure. Появится окно, аналогичное изображенному на рисунке 1.

    Рисунок 1. Вид MSJ при выборе DS4500
    Рисунок 1. Вид MSJ при выборе DS4500

  5. Для
    разрешения распределения нагрузки выделите подсистему хранения данных,
    представляемую после щелчка правой кнопкой мыши на имени узла, и
    выберите LUNs > Configure LUNs. Появится окно настройки LUN. Вы
    можете автоматически настроить распределение нагрузки, выбрав Tools
    > Load Balance. Затем появится окно, аналогичное изображенному на
    рисунке 2.

    Рисунок 2. Вид MSJ при настройке системы восстановления после сбоев
    Рисунок 2. Вид MSJ при настройке системы восстановления после сбоев

  6. После
    настройки логических дисков окно настройки LUN закроется, сохраняя
    конфигурацию на хост-системе в окне Port Configuration (используется
    пароль по умолчанию config). В случае успешного сохранения конфигурации вы увидите подтверждение. Конфигурация сохраняется в виде файла /etc/qla2300.conf. Необходимо добавить новые параметры в строку драйвера qla2300 в файле /etc/modules.conf для индикации существования данного файла и необходимости его использования.

  7. Вернитесь в окно, в котором был запущен процесс qlremote, и остановите его, используя клавиши <ctrl>-c. Это важный шаг.
  8. Для
    активизации новой конфигурации перезагрузите модуль драйвера qla2300.
    Этого сделать нельзя, если диск смонтирован на подсистеме Fibre
    Channel, подключенной к адаптеру, использующему данный драйвер.
    Настройте драйвер адаптера хоста, который нужно загрузить, через
    исходный RAM-диск. Конфигурационные данные применятся для резервных
    дисков при загрузке модуля адаптера во время начальной загрузки.
    Обратите внимание на то, что необходимо выполнить эту процедуру для
    сохранения корректной настройки в системе при любом изменении
    конфигурации модуля адаптера.

Одним
из наиболее эффективных способов использования MSJ при установке (когда
нужно выполнить настройку распределения нагрузки на более чем одном
узле системы хранения данных) является сохранение MSJ в открытом
состоянии на одном узле, запуск qlremote на каждом из остальных узлов и
использование одной MSJ-сессии для подключения к ним.

Карта сайта: 1, 2, 3, 4, 5, 6, 7, 8, 9, 10, 11, 12, 13, 14, 15, 16, 17, 18, 19, 20, 21, 22, 23, 24, 25, 26, 27, 28, 29, 30, 31, 32, 33, 34