Golos Ptic (golosptic) wrote,
Golos Ptic
golosptic

Categories:

Жесть. Загадочная русская душа-2

Загадочная русская душа -2

История с ИБП для меня на этом, однако же, не закончилась. Потому что на том же телефонном узле (120 тысяч абонентов, обратите внимание) было необходимо заменить их на аналогичные устройства от APC. Ну что. Доброе начальство щедрой рукой нагрузило меня двумя бесперебойниками, двумя запасными батареями к ним, я взял свою сумку и поехал.
На метро. Имея в руках порядка 25 кило достаточно габаритного груза.

Машину, из экономии, не дали - впрочем мне в этой фирме вообще ездить на машине по статусу было не положено. Кое-как доковыляв от метро до машинного зала, я принялся распаковывать и устанавливать привезённые устройства.

Офисные сети мы делали по всей МГТС. Но конкретно на этом узле был собран парадный, самый мощный и надёжный вариант из предлагавшихся нами конфигураций.
Два топовых сервера, установленных в режиме полного зеркалирования, на каждом сервере — дисковый массив в стандарте RAID-5, способный устоять в случае выхода из строя одного из дисков, и, для полного счастья — автоматическая ленточная библиотека на пять кассет, чтобы делать резервные копии. Только пускай программу, меняй кассеты по переданной нами письменной инструкции и будет тебе счастье.

Вот эта письменная инструкция, которую мы пол года назад вписали в состав передаваемой документации в акте приёмке/передаче монтажных работ меня, впоследствии, и спасла.

Так вот.
Зеркальные сервера работают следующим образом. Вся работа выполняется на ведущем. Каждый свой чих он транслирует ведомому по специальному оптическому кабелю и тот эти чихи воспроизводит. Если ведомый сервер выключить на некоторое время, а потом включить обратно — то кроме воспроизведения своего текущего состояния, ведущий сервер передаст ему копию своих дисков, чтобы восстановить их идентичность.

Если в работающей паре выключить ведущий сервер, то ведомый сам становится ведущим и работает уже самостоятельно. В этом случае попытка включить бывший ведущий сервер приведёт к тому, что он считает себя ведомым и накатывает на себя изменения, которые произошли за период его выключения.

Это — теория.

Практика реализовалась следующим образом.
Сервера стоят в громадном гермозале, за его закрытыми дверями — коридор, за коридором — ряд кабинетов, в которых сидят тётки и набирают информацию в базу данных, расположенную на серверах.
Я выключаю ведомый, чтобы заменить на нём Хьюлеттовский бесперебойник на UPC и слышу коллективный женский крик ужаса, пробившийся через два слоя дверей и коридор между ними. Вопль меня пугает и я делаю ошибку — включаю сервер обратно.

Лучше не становится.

Сервера были установлены в декабре. На дворе — месяц май.
Через двенадцать дней после установки по неведомой причине ведущий сервер повис в нирване, а ведомый принял на себя его функции.

О чём каждые 15 минут пишется сообщение в лог файл. Который системному администратору телефонного узла было положено, в соответствии с инструкцией проверять.
Он этого не только не делал. Он за всё прошедшее время ни разу не соизволил совершить резервное копирование данных.

После разбора полётов стало понятно, что выключение бывшего ведомого сервера пробудило ведущий из нирваны и он радостно продолжил работу, имея на борту данные за первую половину декабря. Повторное включение второго сервера привело к тому, что на его диски с майской базой был автоматически накачен декабрьский вариант.

Второй по размерам телефонный узел города Москвы остался без базы данных об абонентах. Вообще.

В сталинское время за такой фокус могли и в лагерь отправить. Да, надо сказать, и брежневский социализм не отличался в подобных вопросах особой беззубостью.
Моё счастье — потеря данных произошла всё же из-за того, что эксплуатант нарушил инструкцию. Ему, впрочем, тоже ничего особо не было кроме эпических моральных звиздюлей от начальства и депремирования . Спасло ситуацию то, что программа ведения телефонной базы данных делала копии редактируемых данных на компьютере, где их редактировали. Таких компьютеров было около 120.
Вот человек и ползал месяц, собирал заново базу данных из кусков.

Майские счета за телефон абонентам этого телефонного узла пришли в июле.

А наше эпически надёжное, с тремя уровнями резервирования информации, инженерное решение проиграло битву с разгильдяйством.
Tags: жесть
Subscribe

  • Народный гараж (заманили и бросили)

    Объявлено, что Москва будет "отказываться от бренда Народный Гараж" и "делать проект более инвестиционно привлекательным". Последнее означает, как мы…

  • да. и борьбе с коррупцией, кстати

    Единственный способ победить коррупцию конкретно в России - это властям прекратить лгать. Лгать тупо, систематически, окружающим и самим себе, не…

  • (no subject)

    Все возмущаются 14 годами отсрочки для Анны Шавенковой. А я вот, при нынешнем нашему укладе жизни, предпочёл бы, чтобы за аналогичные по степени…

  • Post a new comment

    Error

    default userpic

    Your reply will be screened

    Your IP address will be recorded 

    When you submit the form an invisible reCAPTCHA check will be performed.
    You must follow the Privacy Policy and Google Terms of use.
  • 19 comments

  • Народный гараж (заманили и бросили)

    Объявлено, что Москва будет "отказываться от бренда Народный Гараж" и "делать проект более инвестиционно привлекательным". Последнее означает, как мы…

  • да. и борьбе с коррупцией, кстати

    Единственный способ победить коррупцию конкретно в России - это властям прекратить лгать. Лгать тупо, систематически, окружающим и самим себе, не…

  • (no subject)

    Все возмущаются 14 годами отсрочки для Анны Шавенковой. А я вот, при нынешнем нашему укладе жизни, предпочёл бы, чтобы за аналогичные по степени…