Ресурсы«).
Некоторые статьи могут быть полезны администраторам как в качестве
учебных материалов, так и при использовании в процессе эксплуатации
кластера. Каждая часть данной серии статей ссылается на один и тот же
пример установки.

В
первой части данной серии приведены подробные инструкции по установке аппаратного обеспечения кластера. Во
второй части
рассматриваются следующие после конфигурирования оборудования действия:
установка программного обеспечения при помощи программы управления
системами IBM Cluster Systems Management (CSM) и установка узлов.

Третья
часть является началом, описывающим систему хранения данных кластера.
Третья и четвертая часть охватывают установку и настройку аппаратного
обеспечения системы хранения данных и настройку файловой системы IBM с
совместным доступом General Parallel File System (GPFS). В данной
статье рассмотрена архитектура системы хранения данных, подготовка
аппаратного обеспечения и подробная информация по установке Storage
Area Network В четвертой и последней статье серии подробно
рассматриваются специфические вопросы CSM, относящиеся к системе
хранения данных нашего примера кластера, в частности, установка узлов
для системы хранения данных и настройка GPFS-кластера.

первой статьи данной серии.

На рисунке 1
показана конфигурация системы хранения данных примера кластера,
описанного в данной серии статей. В настоящей статье эта конфигурация
рассматривается более подробно. Здесь используется GPFS версии 2.3. В
систему входит один большой GPFS-кластер, разделенный на две логические
половины с единой большой файловой системой. Проект примера
обеспечивает устойчивость к авариям, и если одна половина системы
хранения данных перестает функционировать, другая половина остается в
рабочем состоянии.

первой и второй частях данной серии статей.

Репликация данных«. Это означает доступность двух копий данных — по копии в каждой половине кластера.

Ресурсы«.

IBM
соединяет каждую систему DS4500 при помощи модулей расширения системы
хранения данных IBM TotalStorage DS4000 EXP710 с оптоволоконным каналом
(fiber channel — FC). Каждый из них является 14-секционным, монтируемым
в стойку FC-корпусом со скоростью передачи 2 GBps. Ссылки на более
подробную информацию по данному аппаратному обеспечению приведены в
разделе «Ресурсы«.

В следующем разделе более подробно рассматривается настройка системы DS4500 и модулей EXP710 для примера решения.

рисунке 2
показан вид сзади модуля DS4500. С левой стороны находятся четыре порта
мини-хабов для соединения с хост-компьютером. В данной статье они
обозначаются как слоты с 1 по 4, понумерованные слева направо, как
показано на рисунке 1. Слоты 1 и 3 соответствуют верхнему контроллеру
(А). Слоты 2 и 4 соответствуют верхнему контроллеру (В). С правой
стороны находятся четыре порта мини-хабов для соединения со стойкой
расширения (EXP710).

Ресурсы«.

SM-клиент
можно установить на различные операционные системы. В описанном в
данной статье примере SM-клиент устанавливается на управляющий сервер.
Найдите только что настроенную систему DS4500 в SM-клиенте, используя
первую кнопку слева, на которой изображен щуп. Для выполнения операций
с DS4500, видимой через этот интерфейс, выполните двойной щелчок
кнопкой мыши на имени компьютера, чтобы открыть новое окно.

Общая настройка контроллера DS4500«).

SAN-инфраструктуры и HBA в четвертой части данной серии статей.

Ресурсы«.

В
данном разделе статьи немного подробнее описываются действия по
настройке SAN-коммутаторов с использованием в качестве примера команд и
интерфейсов для коммутаторов H16.

Настройка IP-адресов и имен хостов для SAN-коммутаторов H16

Чтобы
выполнить первоначальную настройку IP-адресов SAN-коммутаторов H16,
подключите их при помощи кабеля для последовательного порта,
поставляемого с коммутатором (черные окончания, не нуль-модемный), к
порту на задней панели компьютера. Используйте следующие настройки
соединения:

  • 9600 бод
  • 8 бит данных
  • Нет контроля по четности
  • 1 стоповый бит
  • Нет управления потоком

Используйте параметры входа в систему по умолчанию: имя пользователя admin и пароль password. Измените имя хоста и IP-адрес при помощи команды ipAddrSet. Проверьте настройки, используя команду ipAddrShow.

После
настройки IP-адресов вы можете управлять SAN-коммутаторами при помощи
Web-интерфейса. Подключитесь к SAN-коммутатору, используя IP-адрес в
браузере с подключаемым модулем Java™. Для доступа к интерфейсу
администратора нажмите кнопку Admin и введите имя пользователя и
пароль. В данный момент вы можете ввести новое имя коммутатора в
отображенное поле и сохранить изменения.

Идентификатор
домена должен быть уникальным для каждого домена структуры. В данном
примере коммутаторы находятся в своей собственной структуре, но
идентификаторы изменяются в случае последующих объединений. Обратите
внимание на то, что коммутатор должен быть запрещен перед изменением
идентификатора домена.

Для дальнейшей работы,
получив возможность обращаться к коммутатору по сети, вы можете
изменить IP-адрес SAN-коммутатора через интерфейс администратора в
закладке Network Config. Это альтернативный способ использованию
последовательного соединения.

Зонирование SAN-коммутаторов

В данном примере кластера используются следующие правила зонирования:

  • HBA0
    (оптическая карта Qlogic в PCI-слоте 3) на всех хостах, зонированных на
    просмотр контроллера A (слоты 1 и 3) системы DS4500.
  • HBA1
    (оптическая карта Qlogic в PCI-слоте 4) на всех хостах, зонированных на
    просмотр контроллера В (слоты 2 и 4) системы DS4500.

Зонирование
SAN-коммутаторов выполняется при помощи Web-интерфейса для каждого
коммутатора, как описано в предыдущем разделе. Страница зонирования
может быть вызвана при помощи самой правой кнопки в группе в нижнем
левом углу окна. Для упрощения управления зонированием назначьте
псевдонимы каждому WWPN, чтобы идентифицировать подключенное к порту
устройство.

Ниже описан процесс создания
псевдонимов и назначения их хостам. Прежде всего, добавьте псевдоним,
нажав кнопку Create и введя имя псевдонима. Затем выберите WWPN для
назначения этому псевдониму. Вы увидите три уровня детализации для
каждого порта:

  1. WWN хоста
  2. WWPN
  3. Комментарии

Добавьте второй уровень к псевдониму, выбрав second level и нажав кнопку Add member.

После
создания псевдонимов создайте зоны путем комбинирования групп
псевдонимов. В данной конфигурации вы использовали зоны, в которых
каждый HBA каждого хоста видит только один контроллер на
соответствующем DS4500. Как было сказано в предыдущем разделе, в данном
примере каждый DS4500 предоставляет свои диски только двум хостам.
Каждый хост использует отдельное подключение к контроллеру для
распределения нагрузки и максимизации пропускной способности. Такой тип
зонирования известен под названием одинарного HBA-зонирования.
Все хосты изолированы друг от друга на SAN-уровне. При этом устраняется
нежелательная активность фреймов PLOGI между хостами, а также
устраняется риск возникновения проблем, вызванных влиянием одного
неисправного HBA на другие. В результате управление коммутатором
становится надежнее, поскольку изменение каждой индивидуальной зоны не
влияет на остальные хосты. При добавлении нового хоста создавайте также
новую зону вместо добавления хоста к существующей зоне.

Последним
действием является добавление определенных зон в конфигурацию, которую
можно сохранить и впоследствии активизировать. Полезно сгенерировать
отчет по коммутатору, что можно сделать, нажав кнопку Admin и выбрав
Switch Report. Этот отчет содержит в html-формате всю необходимую
информацию для ручного воссоздания конфигурации коммутатора.

Сохранение конфигурации на другом сервере

После
настройки SAN-коммутатора его конфигурацию можно передать на другой
сервер по протоколу ftp. Вы можете сделать это снова, если необходимо
автоматически перенастроить коммутатор. Ниже приведены действия по
сохранению конфигурационного файла на сервере:

  1. Настройте и запустите ftp на сервере для получения файла.
  2. Войдите в SAN-коммутатор как пользователь admin (пароль по умолчанию — password), используя telnet.
  3. Введите команду configupload.
  4. Введите необходимую информацию: IP-адрес, учетную запись и пароль, имя и месторасположение создаваемого файла.

Обновление встроенной микропрограммы

Вы
можете обновить встроенную микропрограмму путем ее загрузки с
FTP-сервера. Ниже описаны действия для выполнения этой процедуры:

  1. Настройте FTP-сервер и разархивируйте tar-пакет с микропрограммой в каталог ftp.
  2. Используйте команду firmwareshow для проверки текущей версии микропрограммы.
  3. Используйте команду firmwaredownload для запуска процесса загрузки.
  4. Введите необходимую информацию: IP-адрес, учетную запись, пароль и каталог с микропрограммой, заканчивающийся release.plist (например, /pub/v4.4.0b/release.plist). Не беспокойтесь о том, что файл release.plist отсутствует. Коммутатор загружает и устанавливает программное обеспечение и перезагружается.
  5. Войдите как пользователь admin и проверьте состояние обновления при помощи команды firmwaredownloadstatus.

Заключение

Это
только часть настройки сервера хранения данных нашего примера кластера.
К последующим действиям относится использование CSM для завершения
настройки, в частности, для выполнения установки узлов для системы
хранения данных и настройки GPFS-кластера. Эти процедуры
рассматриваются в четвертой и последней части данной серии статей.


Об авторе

Грэхэм Уайт фото

Грэхем Уайт (Graham White)
работает специалистом по системному управлению Linux Integration Centre
в отделе Emerging Technology Services офиса IBM Hursley Park в
Великобритании. Он имеет сертификат Red Hat Certified Engineer и
специализируется на широком спектре технологий с открытым исходным
кодом, открытых стандартах и технологиях IBM. В сферу его интересов
входят LAMP, Linux, системы защиты, кластеризация и все аппаратные
платформы IBM. Получил степень бакалавра по вычислительной технике и
управлению с отличием в Exeter University в 2000 году.

Карта сайта: 1, 2, 3, 4, 5, 6, 7, 8, 9, 10, 11, 12, 13, 14, 15, 16, 17, 18, 19, 20, 21, 22, 23, 24, 25, 26, 27, 28, 29, 30, 31, 32, 33, 34