видеосервер для чего нужен
Видеосервер для аналоговых камер
Видеосервер для аналоговых камер — специальное устройство, позволяющее записывать сигнал с камер, сохранять его на какой-либо накопитель информации, а также отправлять его в цифровые системы видеонаблюдения. Видеосерверы начали набирать широкую популярность при переходе с аналога в цифру, когда в одной системе видеонаблюдения может потребоваться использование двух типов камер.
Что нужно знать о видеосерверах?
Они являются достаточно качественным и простым в настройке устройством, позволяющим принять сигнал с аналоговых камер, перевести его в цифровой тип, и отправить в цифровую систему видеонаблюдения. В большинстве случаев совершенно необязательно приобретать видеосервер отдельно, в его качестве можно использоваться старый аналоговый видеорегистратор или компьютер с подключенной платой захвата видео.
Выделим типы серверов:
Как пользоваться?
В первую очередь выбирать устройство необходимо из количества подключаемых камер. В отличие от классических видеорегистраторов, сервер не получится подключить к телевизору или монитору (в противном случае устройство бы называлось видеорегистратором). В серверах данного предназначения практически всегда отсутствуют какие либо выходы на внешний дисплей, присутствует лишь порт Ethernet для передачи сигнала в цифровые системы по витой паре. Поэтому видеосервера стоят несколько дешевле классических видеорегистраторов.
Порядок работы с устройством:
Смотрим видео первый запуск и настройка
Регистратор как сервер
Идеальной заменой для подобного сервера будет классически видеорегистратор, поскольку в нём пристутствуют те же самые компоненты и выходы, но помимо этого есть выход для подключения монитора, телевизора или дисплея другого типа. В остальном всё также, те же самые входы для камер, тот же самый выход на Ehternet. Поэтому настройка регистратора точно такая же, как и у видеосервера, никаких особых различий тут возникнуть не должно. Именно по этой причине аналоговый регистратор становится отличной заменой аналогового видеосервера.
Замена компьютером или ноутбуком
Чтобы сделать видеосервер своими руками, можно воспользоваться компьютером, ноутбуком или моноблоком. Такие девайсы также могут заменить устройство, но уже не настолько хорошо. Во-первых, придётся докупить специальную плату видеозахвата, которая будет способна принять сигнал с аналоговых камер. Во-вторых, несколько усложняется настройка всей системы, ведь плата захвата видео также может потребовать настройки.
Преимущества и недостатки видеосервера по сравнению с обычным регистратором
Многие могут задаться вопросом: «Зачем пользоваться сервером при наличии в магазинах классических видеорегистраторов». У использования сервера есть свои достоинства:
Видеосервер для аналоговых камер является очень узкоспециализированным прибором даже по меркам систем видеонаблюдения. Его можно заменить практически чем угодно, было бы желание. Приобретать сервер стоит лишь в тех случаях, когда вы точно уверены, что именно он вам нужен, также стоит сразу знать его основное назначение — использовании вкупе с другими устройствами видеонаблюдения.
Отдельно полноценно воспользоваться таким устройством не выйдет. Во-первых, к нему нельзя подключить дисплей, из-за чего можно забыть о просмотре снимков. Во-вторых, без ПК или регистратора настроить сервер или вовсе нельзя, или настройку придётся производить буквально на ощупь.
Современные системы видеонаблюдения — от концепций до воплощения
Часть 1. Варианты построения современных систем видеонаблюдения, сервера и регистраторы в них.
Современные системы видеонаблюдения
В настоящее время существуют 2 основных типа систем видеонаблюдения: аналоговые и IP-системы.
Аналоговые системы AHD/TVI//CVI.
Аналоговые системы применяют 3 основных стандарта обработки видеосигнала AHD/TVI//CVI. Эти стандарты были разработаны 3 разными фирмами, чтобы уйти от стандартного разрешения в 575 ТВЛ, возможными в классических системах NTSC/PAL/SECAM.
Эти стандарты позволили увеличить разрешение до 2 и более Мп, и сделали конкурентными аналоговый парк видеокамер и оборудования.
Все хорошо, но вот беда- для работы с нужны гибридные видеорегистраторы, либо платы видеозахвата. А такая плата захвата для сервера полностью делает цену системы намного выше, можете посчитать.
Это все приводит к проблеме раздачи контента на несколько точек видеоконтроля.
На обычный ноутбук прием не организовать, нужен регистратор. Инсталляторы понимают, как это усложняет настройку системы.
Хороший сравнительный анализ и ссылки на стандарты обработки видео приведены в статье уважаемого коллеги.
Аналоговые системы высокого разрешения AHD/ТVI/CVI постепенно уходят в прошлое и используются крайне редко, в основном, при ограниченном бюджете. Либо применяются в случаях усовершенствования существующих систем с целью использования коаксиальных и витых пар кабельных линий, проложенных ранее на объекте.
Современные системы видеонаблюдения реализуются на основе цифровой обработки видеоинформации и IP-систем передачи данных.
Новые возможности цифровой обработки изображения
В области видеонаблюдения цифровая обработка изображения позволяет избежать тотальной записи и передачи всего массива видеоконтента.
Обычный детектор движения дает ложные срабатывания, передает ложные тревоги и пишет фоновое видео, которое загружает тракты передачи, занимает объем хранилищ.
При цифровой обработке изображения становится возможен анализ видеоизображения на основе интеллектуальных модулей.
Это позволяет избежать хранения и передачи кадров с движением качающихся деревьев, дождя и снега, пролетающих мух и птиц, который обычный детектор движения воспринимает как тревогу.
В итоге в несколько раз уменьшается объем хранилищ, перегрузка трактов передачи данных и необходимость человеческого участия в просмотре часов видеозаписей со множества камер.
Даже при постоянной записи, которую любят делать некоторые сотрудники службы безопасности, использование интеллектуальных модулей позволяет в несколько раз ускорить поиск в архивах определенных событий, и даже обнаружить их, задав исходные данные автоматически. Например, найти людей, укравших материальные ценности.
В онлайн режиме срабатывание на конкретное событие (например, проезд автомобиля, появление человека) позволяет подать тревогу и привлечь внимание охраны к просмотру нужной камеры, автоматически включающей тревожный монитор, с подачей звукового сигнала для пробуждения охраны от сна.
Состав многосерверной системы
Как правило, в составе крупной системы видеонаблюдения присутствуют следующие компоненты:
Кабельные трассы и магистрали с коммутационными узлами;
Центральный или Главный Сервер с хранилищем или без;
Резервный Сервер в качестве сервера репликации в горячем резерве;
Удаленные рабочие места (УРМ) и посты видеоконтроля (АРМ);
Распределенные по территории объекта или географическим областям подчиненные или локальные сервера и регистраторы;
Системы бесперебойного питания.
Большинство проектировщиков и инсталляторов скажут, что обходятся всего одним сервером и даже простым регистратором.
Я тоже езжу не только на автомобиле, но и на мотоцикле и велосипеде, когда это рационально.
И тоже устанавливаю простые регистраторы в садоводстве.
Но Сервер репликации под ОС Линукс также вносил в проект СВН и собственноручно настраивал с помощью «самбы».
Поэтому простые решения не всегда возможны и не отрицают сложные. Весь вопрос в том, что способны мы предложить Заказчику, и какие у него запросы.
Еще вчера заказчик ограничивался квадратором, потом мультиплексором с черно-белыми камерами в 300 твл, и все писал на аналоговый регистратор по датчику движения, в лучшем случае.
Сегодня Заказчик уже осведомлен про нейросети, смарт камеры и интеллектуальные модули. Он читает много подобных статей и общается с профессионалами.
Поэтому он хочет иметь современную систему с защитой от хакеров и просмотром из дома на смартфон. И если с нейросетью пока только начало пути, и ее трудно обучить, и цена в разы дороже интеллектуальных модулей, то все остальное отработано и доступно.
Ну а мы должны быть в курсе этих наработок. Для этого и создана серия данных статей.
Я не буду рассказывать очевидное, о чем много написано. Например, про выбор камер, стандарты IP и AHD/ТVI/CVI, кабельные трассы, узлы коммутации. Будем затрагивать только те вопросы, которые не на поверхности, но сильно влияют на полезность, надежность, себестоимость современных систем наблюдения, например, отличия H265 от Н264, смарт подсветку, особенности и эффективность применения каналов WiFi и GSM.
Будем обсуждать только сложные вопросы.
Часто начинающим проектировщикам не хватает практики, а инсталлятором знаний о новом софте и «железе», которое появилось.
Этот разрыв мы попытаемся сократить, поскольку опыт показывает, что пока вы не настроите новую систему, вы ее не познаете, какими бы подробными не были описания производителей и продавцов.
Именно поэтому и возникают площадки, где мы обсуждаем реальные свойства современных продуктов.
Применение видеосерверов
В настоящее время всё более востребованы современные видеосерверы с программным обеспечением, позволяющим записывать до ста камер и вести архивы. Видеозаписи можно обрабатывать как в архивах, так и в онлайн режиме с целью принятия решения о целесообразности видеозаписи и оповещения оператора о событии.
Видеокамеры со встроенными детекторами движения и классические видеорегистраторы с жестко прописанными зонами обнаружения пересечения линий и стандартными детекторами движения постепенно уходят в прошлое.
Какие интеллектуальные функции может сегодня выполнять современная видеосистема?
Обнаружение лиц, распознавание лиц с их идентификацией;
Обнаружение и распознавание автономеров;
Обнаружение дыма и пламени;
Контроль оставленных предметов (в метро, магазинах и т.д.)
Контроль исчезновения предметов особой важности (произведений искусства, сейфов, документов);
Комплекс интеллектуальных модулей для сфер обслуживания (электронные очереди, контроль активных зон, кассовые модули аналитики).
Все эти модули должны обладать возможностью обрабатывать информацию как в архиве, так и в онлайн режиме.
Работа в онлайн режиме приобретает особое значение, так как ускоряет принятие решения оператором, разгружает оператора и тракты передачи видео от балласта информации, экономит ресурсы видеохранилищ и удешевляет в итоге систему.
Выбор архитектуры серверной системы
При использовании вышеописанных интеллектуальных модулей увеличивается вычислительная нагрузка на сервер и возрастают требования к быстродействию процессоров ядер.
Нагрузка может увеличиться в 3 раза. Поэтому, при обработке информации на центральном сервере и большом количестве камер (от 10 до 100), сервер не справляется с нагрузкой, особенно в режиме онлайн (реального времени).
При этом аппаратное наращивание его производительности, во-первых, имеет разумный предел (не более 12-16 ядер), и во-вторых, делает сервер очень дорогим (до 1-2 млн. рублей).
Сегодня возникла явная необходимость перехода к многосерверным распределенным системам, как наиболее перспективным и гибким алгоритмически.
Многосерверные распределенные системы
В таких системах видеоинформация обрабатывается не только на центральном сервере, но и на локальных серверах, находящихся в зоне размещения групп видеокамер (от 1 до 16 шт.), так называемых «кустов», привязанных к определенному локальному телекоммуникационному узлу.
При таком построении локальный сервер начинает обработку видеоинформации на самом узле. Причём на этом сервере имеется свое локальное хранилище видеозаписей. Используя интеллектуальные модули сервер решает, что необходимо записывать, что передавать на центральный сервер и что является событием, о котором необходимо оповестить оператора на центральном посту.
В результате высвобождаются ресурсы центрального сервера, который получает не потоковое видео от всех камер со сработавшими детекторами, а обработанные фрагменты, сигналы обнаружения и тревоги для оператора. Далее сам оператор при необходимости перекачивает видео из локального хранилища или принимает другие решения на основе просмотра журнала событий (тревог).
Кроме того, оказывается намного выгодней строить такие системы, чем односерверные по финансам, так как несколько обычных ПК (по 15-20 тыс.руб) и средний сервер (30-120-400 т.р.) окажутся дешевле одного самого мощного и дорогого (600-1200 т. р.). Коммутаторы и линии связи до камер тоже будут стоить дешевле, поскольку линии до камер от локальных серверов будут работать в сетях до 100 Мб/с.
При распределенной системе так же дешевле обеспечить бесперебойное питание всей системы, включая видеокамеры. Нам не надо ставить 10 киловатный УПС на 220 В, достаточно поставить киловатный УПС на центральный сервер, а в локальных узлах разместить низковольтные аккумуляторы для аварийного питания видеокамер и самого узла.
Сейчас на рынке видеонаблюдения имеется все необходимое для построения таких систем, за небольшим исключением.
Для чего нужны локальные сервера?
Для выполнения перечисленных выше задач по аналитике непосредственно на объекте в зоне размещения групп видеокамер.
Почему на объекте? Для того, чтобы снизить нагрузку на тракт передачи данных (СПД), особенно если он беспроводной.
Эта структура уже широко используется в видеонаблюдении.
В следующей статье мы рассмотрим подробно такие сервера, обсудим:
тонкости их подбора;
условия эксплуатации и монтажа;
варианты их проводного и беспроводного подключения по Wi-Fi и GSM.
А пока затронем ещё одну актуальную тему.
Прогресс видеорегистраторов
На сегодняшний день появились бюджетные регистраторы, которые в своем ПО обнаруживают и запоминают лица и прямоугольные объекты, которые похожи на людей (так называемое «гуманоидное обнаружение»). Для этого данные функции делятся между камерами, соответствующего типа, и регистраторами. Это новое направление, и оно стремительно развивается.
Да, есть недостатки. Например, при обнаружении лиц камера должна висеть на уровне 1 этажа (2м), при этом дальность обнаружения не более 10-15 м.
Далее, в инфракрасном режиме подсветки обнаружения не происходит. Только при цветном режиме.
Но еще 3 года назад регистраторы с камерами вообще не обнаруживали лица, это «умели» только сервера с интеллектуальными модулями.
Однако всё стремительно развивается, сегодня любой смартфон обнаруживает лица и сравнивает их с имевшимися ранее, т.е. идентифицирует, в правильной терминологии- «распознает».
Камеры уже способны в момент обнаружения тревожного объекта самостоятельно переходить с инфракрасной подсветки на подсветку белого света в ночном режиме, называется это «смарт подсветка».
Это позволяет получить высококачественное цветное изображение в 5 Мп (стандарт подобных систем), а не низкое разрешение и черно-белое изображение в ИК-лучах подсветки с известными проблемами переотражений, засветок и переконтрастов от препятствий в ближней зоне (например, веток деревьев).
Таким образом камеры, совместно с подобными регистраторами, закрывают проблему низкого разрешения изображения в ночное время, долгое время не имевшую решения при классической инфракрасной подсветке.
Конечно пока эти регистраторы имеют свои недостатки, но производители стремительно совершенствуют ПО и расширяют функционал (например, чтение автономеров).
Подобные регистраторы создают конкуренцию серверам в небольших системах видеонаблюдения своей простотой, ценой, габаритами.
В следующей части мы затронем конкретные модели таких камер и регистраторов, подробнее обсудим их возможности в распределенных системах, обсудим тонкости их инсталляции и подбора.
Заключение
Сложность применения современных систем видеонаблюдения порождается следующими проблемами:
Отсутствием полного и ясного представления об их возможностях;
Отсутствием полных комплектов узлов и оборудования для них в одной фирме;
Отсутствием полноценной техподдержки продавцов;
Нехваткой у проектировщиков и менеджеров проектов практического опыта инсталляции сложных систем видеонаблюдения;
Опасением, что вдруг не заработает, не сможем настроить (самбу под Линуксом ).
Поэтому мы начали изложение материала последовательно и системно, чтобы последующие материалы были понятны проектировщикам, менеджерам и инсталляторам систем видеонаблюдения 2021.
Будем благодарны за обратную связь, вопросы и критику по данной теме. В зависимости от отзывов мы скорректируем формат и язык изложения материала, откроем новые темы, в которых считаем себя компетентными.
Автор статьи – разработчик и проектировщик радиотехнических устройств и систем с опытом постановки монтажных бригад, ПНР и сдачи объектов с 30 летним суммарным опытом работы в упомянутых направлениях.
Поэтому хорошо понимаю, как проходят все стадии проектирования, монтажа, пусконаладки, сдача и сопровождение систем безопасности. А как менеджер проектов и ГИП, знаю связь экономической и технической стороны вопроса.
Нужен комплексный подход к проектированию подобных систем, с учетом всех вопросов.
К этому и будем стремиться.
Спасибо за прочтение. Ждем обратную связь, вопросы и критику.
Как выбрать сервер для видеонаблюдения
Чтобы правильно организовать доступ к полученным с камер видеозаписям, требуется подобрать сервер, обладающий
Также при выборе серверного оборудования стоит учитывать загруженность всей инфраструктуры системы видеонаблюдения и условия ее эксплуатации.
Основные и дополнительные критерии выбора серверов для систем видеонаблюдения
К основным критериям подбора серверов для IP-видеосистем относят:
Все эти технические параметры должны соответствовать специфике архитектуры системы видеонаблюдения, учитывать количество IP-видеокамер, сложность алгоритмов обработки и скорость фильтрации видеопотоков, интенсивность записи и транскодинга, количество ресурсов ОЗУ и ЦП.
Кроме того, на выбор сервера влияют:
Возможные конфигурации серверного оборудования
Для серверов, рассчитанных на прием видеопотока с 20 камер, оптимальной будет конфигурация:
При этом хранилищем информации может быть как RAID, собранный из HDD-дисков с возможностью горячей замены, так и аппаратная СХД (при увеличении числа камер). Если в системе видеонаблюдения задействуется от 20 до 50 камер, конфигурация оборудования будет следующей:
В случае, когда камер в системе больше 50, выбранные модели серверов должны иметь конфигурацию:
Например, для обслуживания 80 камер с разрешением видеопотока 1920×1080 (при использовании кодека H.264), или до 128 видеокамер с разрешением 800×600 пикселей потребуется сервер, имеющий:
Представленные характеристики считаются оптимальными для серверов в системах видеонаблюдения с базовым аналитическим функционалом. Для углубления анализа видеопотоков, обнаружения и распознавания объектов и событий потребуется подбор индивидуальной конфигурации сервера.
Какое ПО для серверов выбрать
Большинство видеосерверов работает на ОС Windows или Linux, причем выбор ПО для сервера IP-системы определяется возможностями:
Также выбранное ПО должно оптимизировать ресурсы сервера, например, исключая из процесса обработки видеопотоков лишние операции по конвертированию форматов.
Самые популярные модели серверов
Большинство видеосерверов работает на ОС Windows или Linux, причем выбор ПО для сервера IP-системы определяется возможностями:
В создании архитектуры систем видеонаблюдения чаще всего используются серверы следующих производителей: Hewlett-Packard (бренд ProLiant, серверы поколений Gen8 и Gen9) и Dell (линейка PowerEdge).
К самым востребованным моделям линейки PowerEdge относятся:
У нас вы сможете приобрести эти серверы, а также другие модели представленных линеек, в том числе в индивидуальных конфигурациях, и tower/blade-аналоги данных серверов.
IP видеосерверы (IP серверы)
Что такое IP видеосервер
Сервер видеонаблюдения представляет собой мощный компьютер под управлением Windows или Linux с программным обеспечением для решения конкретных задач. Сервер, в отличие от видеорегистратора с жестко вшитым ПО, поддерживает программирование алгоритмов и написание скриптов, что позволяет гибко настроить систему безопасности.
Видеосерверы используются для организации территориально распределенных сетей и систем со сложной иерархической структурой, для интеграции с другими подсистемами безопасности и сторонними бизнес-приложениями. Серверы-энкодеры оцифровывают видео с аналоговых камер, серверы для IP камер поддерживают расширенную видеоаналитику.
IP серверы различаются количеством каналов аудио и видео – от одного до нескольких сотен. Они могут быть в настольном или стоечном исполнении, под любое разрешение и суммарную скорость записи.
Когда нужен сервер видеонаблюдения
Крупная система с множеством видеокамер. Видеосервер эффективно справляется с управлением, масштабированием, мониторингом работоспособности, реагированием на нештатные ситуации по гибким сценариям.
Огромные массивы информации. На базе IP видеосерверов удобно строить отказоустойчивые решения с удаленным контролем и управлением массивами данных.
Территориально распределенная сеть. Видеосерверы обеспечивают менеджмент событий и централизованный контроль работоспособности оборудования. Они управляют уровнями доступа, протоколируют действия операторов, оперативно реагируют на оповещения об экстренных ситуациях.
Нестандартная задача. Сервер видеонаблюдения позволяет создавать уникальные интерфейсы управления и гибко программировать логику работы – например, по тревожным событиям и оповещениям.
Интеграция. IP видеосервер обеспечивает взаимодействие с корпоративными приложениями, интеграцию с кассовыми терминалами, объединение видеонаблюдения с ОПС и СКУД. Когда речь идет о создании сложных комплексов, об интеграции систем в единое целое, когда нужно объединять протоколы и взаимодействовать на уровне баз данных – с этим справится только сервер.
Интернет-магазин «Видеоглаз» поставляет серверы видеонаблюдения лучших брендов российских и мировых производителей. Доставка по Москве, Санкт-Петербургу, во все населенные пункты России.
Особенности организации ИТ-инфраструктуры для видеонаблюдения
Рынок систем видеонаблюдения (сейчас стали использовать модный термин Video Surveillance) развивается быстро и очень технологичен. Крутизна современных систем видеонаблюдения определяется не только мощью видеокамер и функциональностью ПО, но и ИТ-инфраструктурой, которая будет всё это добро обслуживать.
Конечно, речь не идет о небольших инсталляциях на пару десятков камер, где можно обойтись одним компом, простым сервером или NVR-ом и, естественно, рассматриваются только IP-решения, аналоговое видеонаблюдение осталось в прошлом.
Когда дело касается сотен и даже тысяч видеокамер одним сервером или готовым решением из коробки обойтись не получится, особенно если необходимы дополнительные функции, связанные с видеоаналитикой (обнаружение, слежение, распознавание), интеграцией с кассовыми решениями, интеграцией в комплексные системы безопасности (СКУД, ОПС). В таком случае оптимальным решением является использование специализированного ПО для видеонаблюдения – VMS (Video Management Software), которое предусматривает возможность масштабирования и поддержки большого количества IP-камер, а также все необходимые для проекта функции и возможности.
Для развертывания такого ПО понадобится создание выделенной ИТ-инфраструктуры, включающей целую ферму серверов, обрабатывающих множество видеопотоков и реализующих необходимый дополнительный функционал. Для записи и хранения видеоархива в данной
инфраструктуре могут использоваться:
Требования к видеосерверу на 100 потоков
Попробуем оценить требования к вычислительным ресурсам и, самое главное, к подсистеме хранения, которые предъявляются в серьезных проектах по видеонаблюдению. Будем исходить из того, что видеосерверы осуществляют прием, обработку и запись видеопотоков в архив, а также другой необходимый функционал VMS, без упора на видеоаналитику, которая в разы увеличивает требования к вычислительным ресурсам. Отображение картинки с IP-камер для мониторинга в реальном времени и воспроизведение видео из архива должно осуществляться с выделенных УРМ (Удаленных Рабочих Мест), что позволяет снять с видеосерверов значительную часть вычислительной нагрузки (до половины). УРМ видеонаблюдения представляют собой довольно мощные ПК уровня графический станций со специальным клиентским ПО для подключения к VMS и возможностью вывода множества картинок на большие экраны.
За основу возьмем поток с одной IP-камеры по протоколам ONVIF (открытый стандарт взаимодействия IP-камер и VMS), с разрешением Full-HD (1920×1080), базовым кодеком H.264 и частотой 25 кадров в секунду, при условии высокой активности в кадре. Согласно онлайн-калькулятору ITV|AxxonSoft, одного из лидеров рынка VMS, такой видеопоток генерирует трафик 6,86 Мбит/с.
Вычислительные ресурсы, необходимые для обработки 100 видео-потоков с запасом могут быть обеспечены 4х-ядерным процессором Intel Xeon E3-1225 V3. По текущим меркам проц довольно слабый, на ОЗУ достаточно выделить 8-16ГБ. В итоге в плане мощности можем обойтись недорогим 1U серваком или даже хорошим настольным ПК. Однако с хранилищем под архив видеозаписей дела обстоят сложнее.
Для хранения видеоархива глубиной 1 месяц (стандартное требование) на 100 потоков при условии круглосуточной записи потребуется хранилище с полезной ёмкостью порядка 212ТБ, что можно подтвердить чудовищно сложными расчетами:
(6,86Мбит/с * 3600с * 24ч * 30д *100камер) / (8*1024*1024) = 211,97 ТБ, поскольку 1ТБ = 8*1024*1024 Мбит
Такой объем хранилища достигается за счет использования большого количества дисков высокой ёмкости (4-6-8-10 ТБ). Они могут использоваться независимо, каждый сам по себе, тогда VMS будет писать на них данные последовательно либо распределять их по всем дискам сразу, в зависимости от производителя. Минусы такого подхода:
Использование RAID-массивов
Решение проблемы — объединение дисков в RAID-массивы (RAID-группы). Для локальных и напрямую подключенных к серверам дисков — с помощью выделенных аппаратных RAID-контроллеров.
Технология RAID имеет несколько уровней (методов реализации), основные из них: 0, 1, 10, 5, 6, 50, 60. RAID-0 — страйпинг, данные параллельно пишутся на все диски массива. RAID-1 и RAID-10 — зеркалирование, запись данных дублируется на пары дисков. Уровни 5, 6, 50, 60 – контроль четности, осуществляют вычисление контрольных суммы, которые распределяются по всем дискам при этом утилизируют эквивалент ёмкости одного или двух дисков массива (дисковой группы).
RAID-0 — это классика жанра, тип массива горячо любимый отдельными горе-айтишниками и отдельными интеграторами видеонаблюдения. Скорость максимальная и никаких накладных расходов на избыточность — её нет, полезный объём равен сырому. Соответственно, при вылетании одного диска мы теряем все данные в массиве без возможности восстановления. Этот уровень RAID подходит только для тестовых сред, где потеря данных допустима и некритична, в любых прикладных задачах RAID-0 неприемлем, в т.ч. и для видеонаблюдения.
RAID-1 — не подходит поскольку, поскольку рассчитан только на 2 диска.
RAID-10 (RAID-0 из множества зеркальных пар RAID-1) — не подходит, поскольку накладные расходы слишком велики, из общей сырой ёмкости полезной будет только половина. На последовательных операциях будет уступать по скорости записи уровням 5, 6, 50, 60.
RAID-5 и RAID-50 (RAID-0 из нескольких одинаковых групп RAID-5) — имеют чуть меньше накладных расходов, чем RAID-6 и RAID-60 (один диск на избыточность в дисковой группе вместо двух) и работают быстрее, но позволяют пережить отказ только одного диска. В случае перестроения таких массивов нагрузка на них многократно возрастает и вероятность выхода еще одного диска резко повышается, это особенно актуально для видеонаблюдения, где используются диски больших объемов, которые, соответственно, и перестраиваются дольше. Если до завершения перестроения вылетит ещё один диск, то хана данным на всём массиве, они будут потеряны. Поэтому использовать RAID-5 и RAID-50 для видеонаблюдения нежелательно.
Для видеонаблюдения оптимальными являются уровни 6 и 60 (RAID-0 из нескольких одинаковых групп RAID-6), поскольку они дают максимальную надежность и позволяют пережить одновременный отказ любых двух дисков.
Вообще, уже много лет использование RAID-6 и RAID-60 является лучшей практикой для любых задач в ИТ-индустрии из-за их отказоустойчивости, хотя на случайном доступе конечно приходится использовать RAID-10.
Для видеонаблюдения данные уровни RAID особенно актуальны, поскольку показывают отличную производительность на последовательном доступе, характерном для видеопотока. В такой ситуации RAID-6 или RAID-60 предпочтительнее RAID-10 поскольку:
Планирование хранилища видеосервера на 100 потоков
Возвращаемся из теоретического экскурса в RAID-технологии и вспоминаем, что нам нужен массив на 212ТБ. Для организации хранилища такого объема при условии использования RAID-6 или RAID-60 нам понадобится 26-30 HDD по 10ТБ:
Требования к видеосерверу на 500 потоков
Рассмотрим требования к системе на 500 IP-камер. В этом случае нам потребуется два процессора Intel Xeon E5-2630 V3 (8 ядер по 2,4ГГц), а лучше два Intel Xeon E5-2680 V3 (12 ядер по 2,5ГГц). Стало быть, серверная платформа должна быть двух-процессорной и мы по-прежнему можем обойтись одним серваком.
Полезная ёмкость видео-архива в данном случае переваливает за 1ПБ, а если точно – составляет
1 059,84 ТБ, это 117 дисков по 10ТБ, для кратности и с запасом лучше взять 120 дисков. Накладные расходы на размещение контрольных сумм в RAID-массиве потребуют еще 10-20-30 таких дисков, например, 5-10-15 дисковых групп RAID-6/60 по 26-14-10 дисков. Такое количество дисков не войдет ни в одну стандартную серверную платформу (максимум 24-36 HDD 3,5’’ на сервер 4U), понадобятся внешние дисковые полки. В данном случае одним из вариантов решения будет 2х-сокетный сервер 1U и две 4U дисковые полки (90+60 HDD), подключенные каскадом. Правильный RAID-контроллер сможет вытянуть нужное нам количество дисков, двумя кабелями Mini-SAS HD подключаем его к первой корзине (дисковой полке), а вторую корзину двумя такими же кабелями цепляем к первой.
Распределение нагрузки и лирическое отступление
Мы рассмотрели примеры проектирования ИТ-инфраструктуры для систем видеонаблюдения на 100 и 500 IP-камер, генерирующих серьёзную нагрузку. Назвать такие системы видеонаблюдения мелкими и дешевыми никак нельзя. Система на 100 камер это как минимум средний проект, а 500 уже крупный. Тем не менее, в обоих случаях мы смогли обойтись одним сервером, в первом случае без дисковых полок или с одной, во втором хватит двух больших корзин.
В плане вычислительной мощности и производительности дисковой подсистемы подход работает, один сервер всё вывозит. Значения в 100 и 500 потоков довольно условны, определяется особенностями проекта, сложностью нагрузки и выбранной VMS. На практике реальными цифрами скорее будут 50-100-200 потоков на сервер. Ведь если задача предполагает серьёзную видеоаналитику, либо осуществляется постоянный многопоточный просмотр данных из архива, мы можем упереться в производительность очень крутых процессоров и дисковой подсистемы уже на 50-100 потоках. Соответственно, если камер сотни и даже тысячи, необходимо разворачивать ферму (множество) видеосерверов, каждый из которых возьмет свою долю потоков: 50, 100 или 200 в зависимости от нагрузки и аппаратной конфигурации. Распределение нагрузки по множеству идентичных видеосерверов, каждый из которых хранит данные на дисках подключенных напрямую (DAS), для видеонаблюдения стандартная практика.
С точки зрения затрат на ИТ-инфраструктуру, сложности её развертывания и администрирования данный вариант является оптимальным — самый дешевый, самый простой, минимум ИТ-компетенций. Не нужно заморачиваться с сетью и системой хранения данных о которых мы поговорим ниже. Таким подходом пользуется большинство интеграторов систем видеонаблюдения, по-другому они попросту не умеют. При этом в монтаже, проектировании и настройке непосредственно видеонаблюдения (VMS, камеры, кабели) они могут быть асами. И это нормально, невозможно знать и уметь всё, просто в таком случае при работе в серьёзных проектах ИТ-инфраструктуру нужно отдавать на откуп профессионалам. Даже в рассмотренных примерах подобрать правильное оборудование, оптимально настроить дисковую подсистему, правильно установить и настроить серверную ОС и при необходимости интегрировать в общую ИТ-инфраструктуру заказчика, совсем не просто, нужны узко специализированные знания. Поэтому данной задачей должны заниматься ИТ-специалисты заказчика, профильная организация партнер, либо у интегратора видеонаблюдения должны быть эти компетенции.
Необходимость резервирования
Вернёмся к делу, использование концепции DAS-серверов (один мощный сервер или пул серверов) для построения больших систем видеонаблюдения при всей своей прелести имеет очень серьёзные недостатки в плане отказоустойчивости и сопровождения подсистемы хранения.
Любой стандартный сервер, даже от премиум производителя, даже с дублированием блоков питания и сетевых интерфейсов может выйти из строя, поскольку имеет как минимум одну единую точку отказа — материнскую плату. Серверные дисковые контроллеры, как правило, тоже не дублируются, ещё есть процессоры, оперативка и другие элементы, которые могут отказать.
Если система видеонаблюдения построена на одном сервере, и он не дублируется (резервируется), то мы кладём яйца в одну корзину. В случае если этот видеосервер гикнется (выйдет из строя), а такое случается, видео будет писать некуда, пока мы его не наладим, при этом есть риск потерять видеоархив, частично или целиком. Особенно это опасно для яиц стероидных монстров на 500+ камер, поскольку всё завязывается на единственный сервер, лучше этого избегать и распределять нагрузку по нескольким серверам.
Когда нагрузка распределяется по ферме DAS-серверов, мы находимся в более выгодной ситуации. При отказе одного из серверов фермы мы теряем только часть камер системы, которую он обслуживает, и рискуем только его видеоархивом.
Однако потеря сотни или нескольких сотен камер на время восстановления видеосервера во многих случаях неприемлема. Поэтому необходимо предусматривать резервирование видеосерверов. Для этого к пулу серверов видеонаблюдения необходимо добавить один или несколько выделенных резервных серверов. В нормальном режиме, когда все основные серверы живы, резервные серверы простаивают, но если один или несколько основных серверов падает, VMS автоматически переключает их потоки на резервные серверы. Вычислительная мощность и конфигурация резервных серверов в идеале должна быть идентична основным, ёмкость их хранилища должна обеспечить приемлемую глубину архива на время восстановления основных серверов. Естественно VMS должна поддерживать функционал резервирования или кластеризации и должна быть куплена соответствующая лицензия.
Подход с использованием СХД
Альтернативный подход, на наш взгляд более правильный, надежный и технологичный — разделение вычислительных ресурсов и ресурсов хранения. В таком случае мы делаем отказоустойчивый кластер из нескольких серверов 1-2U на которых устанавливается VMS и происходит обработка видеопотоков, а данные храним на одной или нескольких отказоустойчивых двух-контроллерных внешних системах хранения данных (СХД). Масштабировать эти два набора ресурсов можно независимо, увеличивая количество серверов кластера, производительность и дисковые ресурсы СХД.
Правильная СХД в отличии от сервера не имеет единых точек отказа. СХД — это специализированный программно-аппаратный комплекс, единственными задачами которого являются надежное хранение и обеспечение требуемой скорости ввода/вывода данных, отказоустойчивость закладывается в неё по умолчанию.
Если СХД является единым решением, то все её элементы дублируются или обеспечивается их избыточность. Основным элементом СХД является контроллер (storage processor), он осуществляет обработку ввода/вывода, объединение дисков в RAID-группы и создание на них логических разделов или томов, которые предоставляются конечным устройствам (видеосерверам — узлам кластера), хранящим данные на СХД. Правильная СХД имеет два контроллера. В нормальном режиме оба контроллера делят нагрузку пополам, если один из них сдох (отказал), то второй без остановки автоматически возьмёт на себя всю нагрузку, это будет прозрачно и незаметно для конечных узлов (видеосерверов). RAID-группы в которые объединяются диски СХД позволяют пережить отказ одного или нескольких дисков. Сетевые интерфейсы и блоки питания дублируются. Это значит, что в СХД нет ни одной единой точки отказа, не дублируется в ней только пассивная печатная плата, которая теоретически сломаться не может. Вывести из строя такую СХД, можно только топором или ведром воды, а на этот случай можно «завести проездной» и для полного счастья реплицировать данные на вторую такую же СХД. Да дорого, но, если задача настолько критична, то никаких денег не жалко, главное, что такая техническая возможность есть.
СХД может быть распределенной, в таком случае она горизонтально масштабируется идентичными блоками-узлами набитыми дисками, при этом линейно растет её ёмкость и производительность. Отказоустойчивость таких решений достигается за счет избыточности на уровне узлов, соответственно, они обеспечивают отказ не только отдельных дисков, но и нескольких узлов целиком. Это может быть актуально для очень больших инфраструктур на тысячи камер.
В любом случае в основе нормальной СХД лежит специализированное ПО и часто сильно урезанная ОС (операционная система), при этом исключается выполнение любых других отличных от хранения задач. За счет этого достигается максимальная надежность и скорость доступа к данным, в отличие от обычных серверов с ОС и ПО общего назначения.
Организация сети хранения данных
Подключение видеосерверов к СХД осуществляется по протоколам файлового (NAS, например, NFS или SMB) или блочного (SAN, например, iSCSI, FC, iSER) доступа и в идеале требует создание выделенной сети хранения данных. Для этого каждый видеосервер должен быть оборудован соответствующими физическими адаптерами, желательно выделенными и задублированными. Ядром сети хранения будет выступать пара выделенных коммутаторов, соединяющих множество видеосерверов с СХД. Физическое выделение сети хранения из остальных сетей передачи данных, использование для её организации отдельного оборудования с дублированием (коммутаторы и адаптеры) будет гарантировать её простоту и прозрачность, безопасность и изоляцию, заданную пропускную способность и отказоустойчивость.
В простейшем случае для организации сети хранения достаточно пары производительных коммутаторов 10GbE (Ethernet, 10Гбит/с) и пары выделенных портов 1-10GbE на каждый видеосервер, при этом в качестве транспорта можно использовать файловый NFS или блочный iSCSI. Теоретически в ситуациях требующих большей производительности (очень крупные проекты) могут понадобиться конвергентные адаптеры Ethernet или Infiniband (IB) с поддержкой RDMA (SRP, iSER, RoCE) и соответствующие коммутаторы, причем на серверах скорее всего с избытком хватит портов 10Гбит/с, а на коммутаторах и СХД понадобится не менее 40Гбит/с. Также может быть полезен старый добрый Fibre Chanel (FC, 16Гбит/с), если хватит пропускной способности.
Преимущества использования СХД для видеонаблюдения
Очевидно, что необходимость организации сети хранения для решений на базе СХД требует дополнительных затрат и повышает сложность проекта по сравнению с традиционными DAS-решениями. Однако такой подход помимо производительности, надежности и отказоустойчивости имеет ряд других преимуществ:
В традиционном DAS-подходе с локальными массивами так сделать не получится, поскольку организовать общее хранилище невозможно. При падении сервера его локальный массив становится недоступен, резервному серверу придется писать архив в своё локальное хранилище, работа с архивом будет доступна только в рамках записанных после падения данных, архив с основного сервера для просмотра будет недоступен. После восстановления основного сервера возникнут вопросы с синхронизацией архивов. Это серьёзный недостаток.
Резюме
В этой статье мы постарались разобраться в особенностях организации ИТ-инфраструктуры и подсистемы хранения данных для видеонаблюдения. Рассмотрели преимущества и недостатки подходов использования серверов с локальными (DAS) хранилищами и СХД. Пришли к выводу, что для крупных проектов, не допускающих простоев, отказов и деградации функциональности, использование СХД для хранения видеоархивов является оптимальным решением, несмотря на некоторую сложность.
В следующей статье будут рассмотрены критерии выбора СХД для видеонаблюдения. На десерт — описание крупного проекта по видеонаблюдению на 2000 камер с реализацией хранилища на базе RAIDIX.