видеосервис netflix что это
Все о Netflix. Что это за приложение и стоит ли его покупать?
Netflix — это один из самых популярных стриминговых (потоковых) видеосервисов в мире. Даже если вы ничего о нем не знали раньше, то наверняка смотрели или хотя бы слышали о таких сериалах, как: «Черное зеркало», «Карточный домик», «13 причин почему», «Нарко» или «Очень странные дела».
Все они, как и многие другие фильмы и сериалы, не только распространяются через Netflix, но и производятся этой же компанией.
Одной из отличительных особенностей Netflix является то, что новые сериалы выходят не по одной серии раз в неделю (как, скажем, продукция HBO), а сразу же целым сезоном в один день одновременно по всему миру на разных языках.
Netflix доступен в любой стране и работает на самых разных устройствах: смартфонах (Android и iOS), планшетах, компьютерах, телевизорах, ТВ-приставках, игровых консолях, DVD и Blu-ray плеерах.
И, что самое удобное, на всех устройствах поддерживается синхронизация просмотра. То есть, вы можете посмотреть 30 минут фильма на телевизоре, затем запустить Netflix на смартфоне и продолжить смотреть с того же момента, а закончить просмотр и вовсе в браузере на ноутбуке.
Это приложение платное и поэтому мы решили сделать подробный обзор на Neflix, чтобы каждый из читателей смог решить для себя, нужно ли оно ему или нет.
Приложение Netflix и русский язык
Контент от Netflix может быть дублирован или доступен на самых разных языках, включая русский, украинский, румынский и многие другие. Язык зависит от конкретного фильма или сериала. Что-то доступно на английском, что-то дублировано сразу на 5-7 языках.
Если называть конкретные цифры, то на начало 2021 года более 900 сериалов/фильмов/мультфильмов дублированы на русский язык. Еще порядка 40 мультфильмов не содержат диалогов вообще, то есть, будут понятны любому человеку. А также более 100 картин изначально сняты на русском.
Многие новинки выпускаются также с русским переводом.
Посмотреть список всех фильмов Netflix на русском языке (с русской озвучкой) можно на сайте uNoGS. Здесь же доступен фильтр по рейтингу IMDB, жанру и году выпуска, так как в самом приложении таких удобных фильтров нет:
Однако, помимо дубляжа, в приложении Netflix доступны субтитры на разных языках, включая русский. Как и в случае с дублированием, язык субтитров также зависит от конкретного фильма. На начало 2021 года 2784 фильма/сериала/мультфильма в Netflix содержат русские субтитры.
Таким образом, Netflix является не только онлайн-кинотеатром, но и отличным инструментом для изучения иностранных языков. Можно независимо для каждого фильма выбирать язык озвучки и субтитров.
Если говорить только об английском языке, тогда вам будет доступно около 8 тысяч сериалов/фильмов/мультфильмов.
Описание основных функций и возможностей Netflix
Качество видео зависит от конкретного фильма и может достигать разрешения Ultra HD (4K). Но более интересно здесь не это, а поддержка видео с расширенным динамическим диапазоном в двух форматах (HDR10+ и Dolby Vision), а также звука Dolby Atmos (на текущий момент на смартфонах эта опция не доступна).
В обзорах различных смартфонов на Deep-Review мы всегда указываем, способен ли экран конкретного устройства воспроизводить картинку в HDR. Но многие люди, даже имея совместимый смартфон, никогда не смотрели HDR-видео, так как не знают, где искать такой контент. Все приложения с бесплатным пиратским контентом не поддерживают эту технологию.
В этом и заключается большое преимущество Netflix — картинка в HDR10 (работает на всех Android-флагманах) или Dolby Vision (работает на флагманах iPhone с AMOLED-экранами) выглядит безупречно.
Но здесь стоит отметить одну важную деталь. Дело в том, что весь контент Netflix защищен от пиратства при помощи технологии DRM (управление цифровыми правами). В частности, используется DRM-платформа от компании Google под названием Widevine двух уровней L1 и L3.
Так вот, если какая-то компания не дружит с Google, ее смартфоны не пройдут сертификацию и не получат поддержку Widevine L1. А без этого все видео в Neflix будут доступны только в SD-качестве (то есть, даже ниже, чем HD 720p) без HDR10 или Dolby Vision.
На текущий момент все современные смартфоны Huawei лишены этой поддержки из-за санкций США. Соответственно, использовать Netflix даже на самых дорогих флагманах этой компании (например, Huawei P40) бессмысленно. Как-то обойти эту блокировку невозможно.
Но вернемся к приложению Netflix. Оно состоит из нескольких разделов:
Главная страница, в свою очередь, разделена на Сериалы, Фильмы и Мой список:
В раздел Мой список можно добавлять любые видео, чтобы затем продолжить просмотр, а также для того, чтобы Netflix предлагал вам больше похожего контента. Любому фильму можно поставить лайк или дизлайк:
Это также влияет на автоматические подборки (рекомендации) от Netflix.
Узнать, в каком формате доступно видео можно прямо в его описании. Контент, поддерживающий HDR10 или Dolby Vision, помечен соответствующими значками:
Любое видео можно загружать для дальнейшего просмотра без доступа к Интернет. Для этого достаточно нажать соответствующую иконку справа от конкретного эпизода (для сериалов) или кнопку Загрузить.
Но смотреть загруженные видео можно только в приложении Netflix и только с активной подпиской. То есть, у вас не получится загрузить тысячу сериалов, затем отменить подписку на Netflix и смотреть их бесплатно в течение нескольких лет.
Изменить язык дубляжа или субтитров можно непосредственно во время просмотра видео, нажав вначале на экран, а затем — кнопку Аудио и субтитры:
На следующем примере выбрана русская озвучка и отключены субтитры:
Если слова русский нет в колонке слева (Аудио), значит, озвучка на русском языке не доступна для этого фильма/сериала. Если слово русский не указано справа (Субтитры), значит, нет и русских субтитров.
В Netflix также есть экспериментальные видео, в которых сам зритель выбирает сюжетную линию. Попробовать этот формат можно на сериале «Черное зеркало» (Black Mirror) в серии «Бандерснэтч» (Bandersnatch).
Описание настроек Netflix
Зайдя в свой профиль (маленькая аватарка в правом верхнем углу) и выбрав Параметры приложения, вы попадаете в настройки приложения:
Вот, что они означают:
А теперь поговорим о самом главном — стоимости.
Сколько стоит Netflix и как смотреть месяц бесплатно
Данный сервис работает по подписке. То есть, платить придется ежемесячно. А стоимость подписки зависит от тарифного плана и той страны, где вы приобретаете подписку.
Прежде чем Netflix начнет снимать деньги с карты, вам будет предоставлен 30-дневный бесплатный тестовый период. Вы можете пользоваться сервисом в максимальном качестве, загружать видео или смотреть онлайн. Проверить количество и разнообразие контента на русском языке, посмотреть, как выглядит картинка в HDR10 или Dolby Vision (если ваше устройство поддерживает эти форматы).
Затем можно просто отказаться от подписки за пару дней до окончания тестового периода. Таким образом, вы сможете целый месяц смотреть Netflix бесплатно. А затем удалить приложение или, при желании, оформить подписку.
Почему продлить тестовый период не получится
Вероятно, вам пришла в голову мысль — почему бы не регистрировать каждый месяц новую учетную запись в Netflix и не смотреть фильмы бесплатно в течение каждого 30-дневного тестового периода.
Действительно, такая схема поначалу работала. Затем Netflix ввел обязательное добавление кредитной карточки при регистрации учетной записи. Если через месяц вы закроете свой аккаунт и попытаетесь зарегистрировать новый, используя ту же кредитную карту, больше бесплатный тестовый период вы не получите.
Как отменить подписку на Netflix в течение бесплатного периода?
Если вы зарегистрировали тестовый аккаунт только с одной целью — попробовать бесплатно сервис, тогда обязательно до окончания тестового периода сделайте следующее:
Что важно, доступ к Netflix не будет тут же заблокирован. Вы можете и дальше полноценно пользоваться сервисом до окончания тестового периода. Другими словами, если вы решили просто бесплатно попробовать Netflix в течение месяца, можно отменить подписку в первый же день, чтобы не забыть это сделать через месяц.
То же касается и платной подписки. Если вы захотите ее отменить, тогда сервис будет доступен до конца оплаченного периода. К примеру, если вы последний раз платили за сервис 1 июля и отменили подписку 20 июля, Netflix будет продолжать работать до 1 августа и только потом вы не сможете им пользоваться.
Цены и тарифные планы выглядят следующим образом:
Базовый план за 8 евро/месяц включает возможность одновременного просмотра видео в стандартном качестве только на одном устройстве. То есть, два человека уже не смогут на разных смартфонах одновременно смотреть фильмы.
Стандартный план за 10 евро/месяц включает возможность просмотра видео в 1080p FullHD качестве одновременно на двух устройствах.
Премиум план за 12 евро/месяц включает возможность просмотра видео в максимальном качестве (4K, HDR, Dolby Vision) одновременно на 4 устройствах.
Важное замечание: не существует взломанных (пиратских) версий приложения Netflix. Если вы нашли такое, можете быть уверены в том, что это вредоносное ПО, не имеющее никакого отношения к сервису Netflix.
И еще одно уточнение. Как уже было упомянуто выше, цена на подписку зависит от страны, в которой вы ее оформляете. И в некоторых странах (Аргентина, Турция) подписка стоит гораздо дешевле. К примеру, премиум план в Аргентине стоит всего 6.5 евро/месяц (или 450 песо).
P.S. Не забудьте подписаться в Telegram на первый научно-популярный сайт о мобильных технологиях — Deep-Review, чтобы не пропустить очень интересные материалы, которые мы сейчас готовим!
Как бы вы оценили эту статью?
Нажмите на звездочку для оценки
Внизу страницы есть комментарии.
Напишите свое мнение там, чтобы его увидели все читатели!
Если Вы хотите только поставить оценку, укажите, что именно не так?
Начало использования Netflix
Добро пожаловать на Netflix! Ниже вы найдете информацию для начинающих пользователей. Если интересующей вас темы здесь нет, попробуйте поискать ее в нашем Центре поддержки. Если вы еще не оформили подписку и хотите больше узнать о нас, прочитайте статью Что такое Netflix?
Создание профилей
Вы можете создать профили для членов своей семьи, чтобы у каждого из них была своя, персонализированная версия Netflix. В вашем аккаунте может быть до пяти индивидуальных профилей, и вы можете установить возрастную категорию для каждого из них. Каждый профиль будет получать свои рекомендации в зависимости от вкусов его пользователя и оценок, которые этот пользователь выставляет контенту.
Поиск фильмов и сериалов
Найти интересующие вас фильмы или сериалы можно с помощью поиска или путем просмотра того, что предлагает вам Netflix. Как только вы начнете просматривать и оценивать фильмы и сериалы, Netflix будет подбирать для вас рекомендации. Вы также можете включать субтитры, скрытые субтитры или альтернативное аудио во многих фильмах и сериалах или просматривать только фильмы и сериалы с нужным вам языком аудио или субтитров.
Управление аккаунтом
Вы можете в любой момент обновить информацию в своем аккаунте, изменив адрес электронной почты, номер телефона или план. Для этого выберите пункт Аккаунт в меню Netflix. Кроме того, пункт меню Профиль и родительский контроль позволяет указать, например, предпочтения в отношении просмотра контента, а также в отношении языка и субтитров. Из статей ниже вы узнаете, как управлять своим аккаунтом.
Эффект Netflix: как компания устроила революцию в индустрии развлечений
Новый сервис должен был понравиться тем, кто не успевал вовремя дойти до видеопроката и сдать видеокассеты или жил вдали от крупных городов. Посмотреть каталог и заказать фильм можно было на сайте, а получать и возвращать диски — по почте. И конечно, компания не планировала брать штрафы за просрочку. В отличие от крупнейшей на тот момент сети видеопроката Blockbuster их магазин был задуман полностью виртуальным.
Необходимые для проигрывания дисков DVD-плееры тогда были очень дорогими, и мало кто мог их себе позволить. Но Хастингс и Рэндольф решили, что у нового формата отличные перспективы — со временем легкие и компактные DVD-диски смогут полностью заменить большие видеокассеты VHS с низким разрешением. Кроме того, диски намного дешевле отправлять по почте, чем объемные кассеты.
Маленькие красные конверты
DVD-диски только появились на американском рынке, и Netflix первым запустил сайт для их проката и продажи, имея в штате всего 30 сотрудников. В онлайн-каталоге было 925 фильмов, что было почти полным списком всех выпущенных DVD на тот момент. В первый же день запуска в апреле 1998 года интернет-магазин не выдержал нагрузки из-за наплыва посетителей, но компании все равно удалось продать 150 дисков.
Идея оказалась успешной, и вскоре компанией заинтересовались крупные рекламодатели. Сначала Toshiba America предложила бесплатный прокат трех дисков от Netflix для покупателей своих новых DVD-плееров Toshiba. Вскоре аналогичные акции запустили Pioneer, Hewlett Packard, Apple и Sony. Продажи DVD-плееров начали расти, как и число подписчиков сервиса Netflix.
Отказались от миллионов Безоса
Основатели Netflix отклонили предложение. Продавать диски на сайте они также перестали, так как конкурировать с гигантским магазином Amazon было слишком дорого. Все усилия компания направила на развитие проката и создание рекомендательной системы фильмов, основанной на истории поиска, рейтингах и отзывах пользователей. Параллельно с этим сервис пополнял фильмотеку, закупая права у киностудий. А для того чтобы ускорить доставку заказов, Netflix начал строить собственные распределительные центры по всей Америке.
Netflix ушел в интернет и начал снимать фильмы
К 2005 году Netflix каждый день отправлял по почте своим подписчикам 1 млн DVD-дисков. К этому моменту подписчиков было уже 6,5 млн. Развитие интернета и потокового видео позволило компании в 2007-м запустить новый потоковый сервис, который давал возможность пользователям смотреть телешоу и фильмы на компьютерах в любое удобное время. Несколько независимых кинопродюсеров разместили свой контент на сайте Netflix. Модель подписки была похожей — фиксированная плата в месяц за неограниченный просмотр фильмов и телешоу.
К моменту запуска сервиса можно было посмотреть около 1 тыс. фильмов и телешоу. Это был всего 1% по сравнению с более чем 100 тыс. различных DVD-дисков в онлайн-каталоге компании. Но по мере того как популярность услуги росла, количество доступных для потоковой передачи фильмов также увеличивалось.
Как Netflix работает сейчас
Пользователи сервиса могут смотреть сериалы, документальные и художественные фильмы в самых разных жанрах и на разных языках в 190 странах мира. Компания закупает не только чужой контент, но и производит собственный (телепередачи, фильмы и сериалы) и является одним из мировых лидеров среди стриминговых сервисов по количеству пользователей и доходам.
К началу апреля 2020 года число платных подписчиков увеличилось до 183 млн человек. Только за первые три месяца года их стало больше на 16 млн, так как из-за глобальной пандемии все больше людей оставались дома и смотрели Netflix.
Все материалы нашего проекта доступны в Яндекс.Дзене. Подпишитесь, чтобы быть в курсе
Краткое обозначение акций компании, валюты или товара на бирже. Чаще всего состоит из букв, использованных в названии компании. Реже — из цифр (на азиатских биржах). В тикерах облигаций указаны базовые характеристики ценной бумаги — обычно цифрами. Тикеры валют состоят из трех букв. Первые две обозначают страну, а третья — первая буква в названии валюты (например, RUR — это российский рубль, а USD — доллар США).
Netflix: что происходит, когда вы нажимаете «воспроизвести»?
Эта статья — глава из моей новой книги «Объяснить облако десятилетнему». Первый вариант был написан специально для тех, кому нужно введение в облака. Потом я сделал несколько обновлений и добавил пару глав — «Netflix: что происходит, когда вы нажимаете „старт“?» и «Что такое облачные вычисления?» — которые уже немного выходят за рамки знаний начинающего. Я думаю, что они смогут заинтересовать даже достаточно опытных людей.
Так что если вам нужно хорошее введение в облака или вы знаете кого-то, кому оно необходимо, пожалуйста, присмотритесь. Думаю, вам понравится. Я горжусь тем, что у меня получилось.
Эту главу я написал на основе десятка источников, местами противоречащих друг другу. Основные факты со временем меняются и зависят от того, кто рассказывает историю и какой аудитории. Я постарался по возможности сделать связный рассказ. Учтите, что это не техническое руководство — это статья с большими картинками. К примеру, я даже ни разу не упомянул микросервисы.
Netflix кажется таким простым. Нажмите «воспроизвести» и волшебным образом появится видео. Просто, не правда ли? Да не особенно.
После наших обсуждений в главе «Что такое облачные вычисления?» вы могли ожидать, что Netflix работает с видео при помощи AWS. Нажимаете «воспроизвести» в приложении Netflix, и видео, хранящееся на S3, в потоковом режиме через интернет отправится прямо вам на устройство.
Совершенно разумный подход — для сервиса размерами сильно поменьше.
Но Netflix работает совершенно не так. Всё гораздо более сложно и интересно, чем вы могли себе представить.
Чтобы понять, почему, давайте посмотрим на статистику Netflix за 2017-й год:
Что мы узнали?
Netflix огромна. Она глобальная, у неё множество подписчиков, она воспроизводит огромное количество видео и у неё много денег.
Ещё один относящийся к делу факт — Netflix работает по подписке. Подписчики платят Netflix ежемесячно, и могут в любой момент отказаться от подписки. Когда вы жмёте «воспроизвести», чтобы расслабиться под Netflix, лучше бы этому сервису нормально работать. Недовольные подписчики отписываются.
Заглянем глубже
Netflix — прекрасный пример тех идей, что мы обсуждали, поэтому в этой главе будет гораздо больше деталей, чем при описании других облачных сервисов. Одна из причин глубокого изучения Netflix состоит в том, что они выдают гораздо больше информации, чем остальные компании. Коммуникации в Netflix считаются главной культурной ценностью, и компания более чем успешно поддерживает свои стандарты.
Я даже хотел бы поблагодарить Netflix за их открытость по поводу своей архитектуры. С годами компания прочла сотни лекций и написала сотни статей по поводу подробностей их внутренних схем работы. Это помогает улучшать всю индустрию.
Ещё одна причина такой подробной детализации в том, что сервис Netflix просто удивительный. Большинство из нас использовали его — и кому не будет интересно заглянуть за кулисы и узнать, как он работает?
Netflix работает в двух облаках — AWS и Open Connect
Как компания удовлетворяет клиентов? При помощи облаков. На самом деле, двух разных облаков — AWS и Open Connect. Оба они должны работать вместе без проблем, чтобы выдавать многие часы видеоконтента, удовлетворяющего пользователей.
Три части Netflix: клиент, бэкенд, сеть доставки контента
Можно мысленно разделить Netflix на три части: клиент, бэкенд, сеть доставки контента (content delivery network, CDN).
Клиент — пользовательский интерфейс, работающий на любом устройстве, используемом для просмотра списков видео и их воспроизведения. Это может быть мобильное приложение на смартфоне, веб-сайт на настольном компьютере или даже приложение на «умном» телевизоре. Netflix контролирует каждого клиента на каждом устройстве.
Всё, что происходит перед тем, как вы нажимаете на кнопку «воспроизвести», происходит в бэкенде, работающем на AWS. Сюда входят такие вещи, как подготовка всех новых поступающих видео и обработка запросов от всех приложений, веб-сайтов, телевизоров и других устройств.
Всё, что происходит после нажатия «воспроизведения», обрабатывается на Open Connect. Это собственная сеть доставки контента Netflix. Она хранит видео в различных местах по всему миру. Когда вы нажимаете «воспроизвести», видеопоток идёт от Open Connect в ваше устройство, и его демонстрирует клиент. Не волнуйтесь — про CDN мы поговорим позже. Что интересно, в самой компании процесс запуска видео называют не «нажать „воспроизведение“, а „щёлкнуть “пуск» на названии». У каждой индустрии свой жаргон.
Контролируя все три области — клиент, бэкенд, CDN — Netflix достигла полной вертикальной интеграции. Компания контролирует ваш опыт просмотра видео от начала до конца. Поэтому она просто работает, когда вы щёлкаете «воспроизвести», находясь в любой точке мира. Вы гарантированно получаете нужный вам контент, тот, который вы хотите смотреть, и когда вы его хотите.
Посмотрим, как же именно это получается.
В 2008 году Netflix начала переезд на AWS
Netflix работает с 1998. Сначала она занимались сдачей DVD в аренду по почте. Но компания увидела будущее в потоковом видео по запросу. В 2007 Netflix представила свой сервис по выдаче видео по запросу, позволявший подписчикам просматривать в потоковом режиме телесериалы и фильмы через веб-сайт компании на персональных компьютерах, или через специальное ПО компании на разных поддерживаемых ею платформах, включая смартфоны и планшеты, цифровые проигрыватели, игровые приставки и «умные» ТВ.
То, что за потоковым видео по запросу было будущее, может показаться очевидным. В принципе, так оно и было. Лично я работал в парочке стартапов, пытавшихся выдавать видео по запросу. Они провалились. А Netflix ждал успех. Компания определённо хорошо сработала, но пришла на рынок поздно, что ей помогло. К 2007 году интернет был достаточно быстрым и дешёвым, чтобы поддерживать сервисы потокового видео. До этого такого не было. Появление быстрого, не очень дорогого мобильного трафика и ввод мощных мобильных устройств, вроде смартфонов и планшетов, упростил и удешевил просмотр потоковых видео в любое время в любом месте. Правильный момент — залог успеха.
Netflix начинала со своих собственных дата-центров
В 2007 EC2 только начинался, примерно тогда же, когда начинала Netflix. Поэтому Netflix никак не могла бы запуститься с использованием EC2. Компания построила два дата-центра, расположенных рядом. И они испытали на себе все проблемы, которые мы с вами обсуждали в предыдущих главах.
Постройка дата-центров — дело очень затратное. Время уходит на заказ оборудования, его установку и запуск. Сразу после запуска у них заканчивались мощности, и всё приходилось начинать заново. Временные затраты на оборудование заставили компанию принять стратегию вертикального масштабирования.
Netflix писала большие программы, работавшие на больших компьютерах. Такой подход называется построением монолита. Одна программа делала всё. Проблема в том, что если расти так быстро, как Netflix, очень сложно сделать надёжный монолит. Он и не был надёжным.
Отказ сервиса заставил Netflix переехать на AWS
В августе 2008 Netflix три дня подряд не могла отправлять DVD из-за сбоя в их базе данных. Это было неприемлемо. Нужно было что-то решать. Опыт постройки дата-центров научил компанию важной вещи: у неё не получалось хорошо строить дата-центры. У неё хорошо получалось доставлять видео своим клиентам. Ей надо было сосредоточиться на улучшениях в доставке видео, а не на улучшениях в постройке дата-центров. Постройка дата-центров не была конкурентным преимуществом компании — их преимуществом была доставка видео.
В то время Netflix решила переехать на AWS. AWS только начинался, поэтому это было смелое решение. Компания переехала на AWS, поскольку ей нужна была более надёжная инфраструктура. Netflix хотела устранить все слабые места системы. AWS предлагала очень надёжные базы данных, хранение и дата-центры с избыточным резервированием. Netflix требовались облачные сервисы, чтобы больше не строить ненадёжные монолиты. Netflix хотела стать глобальным сервисом, не строя свои дата-центры. Таких возможностей в её старых дата-центрах не было и быть не могло.
Netflix выбрала AWS, поскольку не хотела заниматься недифференцированным тяжёлым трудом. Недифференцированный тяжёлый труд — это то, что необходимо делать, но что не даёт никакого преимущества для основного бизнеса, заключающегося в предоставлении качественного просмотра видео. AWS занимается всем этим тяжёлым трудом для Netflix. А это даёт нетфликсовцам возможность сконцентрироваться на предоставлении ценных для бизнеса услуг.
Переезд компании со своих дата-центров на AWS занял у компании более восьми лет. В это время Netflix увеличила количество клиентов в восемь раз. Теперь Netflix работает на нескольких сотнях тысяч экземпляров EC2.
На AWS Netflix более надёжна
Не то, чтобы Netflix никогда не испытывала проблем с AWS, но в целом её сервис стал гораздо более надёжным, чем раньше. Подобных этим жалоб вы уже больше не увидите:
Компания стала такой надёжной, поскольку предприняла чрезвычайные шаги для этого. Она работает в трёх регионах AWS: в Северной Виргинии, в Портленде, Орегон и в Дублине, Ирландия. В каждом из них Netflix работает в трёх разных зонах доступа.
У компании нет планов увеличивать количество регионов работы. Добавлять новые регионы очень сложно и дорого. Большая часть компаний работает только в одном регионе, не говоря уже о двух или трёх.
Преимущество работы в трёх регионах состоит в том, что один из них может упасть, а два других встанут на его место и будут обслуживать клиентов из пострадавшего региона. Падение региона Netflix называет эвакуацией.
Рассмотрим один пример. Допустим, вы смотрите новый эпизод «Карточного домика» в Лондоне, Англия. Скорее всего, ваше устройство подключено к Дублинскому региону, поскольку он ближе всего находится. Что произойдёт при падении Дублинского региона? Перестанет ли Netflix работать у вас? Нет. После обнаружения проблемы Netflix переадресует вас в Виргинию. Ваше устройство будет общаться с Виргинским регионом вместо Дублинского. Вы даже можете не заметить отказов.
Как часто отказывает регион у AWS? Раз в месяц. Ну, на самом деле регион не отказывает каждый месяц. Netflix выполняет ежемесячные тесты. Каждый месяц Netflix специально роняет весь регион, просто чтобы убедиться, что их система справляется с региональными отказами. Эвакуировать регион можно за шесть минут.
Netflix называет это моделью глобального сервиса. Каждого клиента можно обслужить из любого региона. Это удивительно. И это не происходит автоматически. У AWS нет волшебного соуса для обработки отказа регионов или обслуживания клиентов из разных регионов. Netflix сама проделала эту работу. Компания является пионером в создании надёжных систем с использованием нескольких регионов. Мне неизвестно других компаний, которые пошли бы на такие меры для обеспечения такой надёжности сервиса.
Ещё одно преимущество работы из трёх этих регионов состоит в том, что Netflix может покрывать весь мир. Netflix проводила проверки и выяснила, что, запуская приложение в любой точке мира, вы в любом случае получите быстрое обслуживание из какого-то из этих регионов.
Netflix экономит, используя AWS
Это может удивить многих, но AWS для Netflix выходит дешевле. Стоимость облака в пересчёте на просмотр видео выходит в разы меньше, чем при использовании старых дата-центров. Почему? Из-за эластичности облака.
Netflix может добавлять сервера по необходимости и возвращать их, когда они не нужны. Вместо того, чтобы куча дополнительных компьютеров ничего не делала, просто ожидая пиковой нагрузки, компания использует ровно столько компьютеров, сколько ей надо, и когда надо.
Что происходит на AWS до того, как вы нажали «воспроизвести»?
Всё, что не связано с подачей видео, обрабатывается на AWS. Сюда входят масштабируемые вычислительные мощности, масштабируемое хранение, бизнес-логика, масштабируемые распределённые базы данных, обработка и аналитика больших данных, рекомендации, транскодирование и сотни других функций. Вам не нужно разбираться в них всех, но поскольку вам это может показаться интересным, я объясню их кратко.
Масштабируемые вычислительные мощности и хранение
Масштабируемые вычислительные мощности — это EC2, а хранение — S3. Тут для нас нет ничего нового. Ваше устройство — iPhone, TV, Xbox, смартфон на Android, планшет и т.п. — общается с сервисом, работающим в EC2. Список потенциальных фильмов для просмотра ваше устройство получает, связавшись с компьютером, работающим в EC2. Детальную информацию о видео ваше устройство получает там же. Всё работает так же, как в других облачных сервисах.
Масштабируемые распределённые базы данных
В качестве распределённых баз Netflix использует DynamoDB и Cassandra. Эти имена не должны для вас что-то значить — это просто высококачественные базы данных. Данные хранятся в базе. Информация по вашему профилю, по счетам, по всем просмотренным фильмам — всё это хранится в базе. Распределённые базы данных работают не на одном большом компьютере, а на множестве компьютеров. Ваши данные копируются на многие компьютеры так, чтобы даже если одни или два компьютера, хранящие ваши данные, выйдут из строя, ваши данные будут в безопасности. В реальности все данные копируются по всем трём регионам. Благодаря этому при отказе региона ваши данные будут доступны в другом регионе, на который вас переключат. А масштабирование означает, что база данных сможет хранить столько данных, сколько вы в неё внесёте. Это одно из главных преимуществ распределённых баз данных. Если поступает больше данных, можно добавить больше компьютеров.
Обработка и аналитика больших данных
Большие данные — это просто большое количество данных. Netflix собирает очень много информации. Компания знает, что кто смотрел, когда и где они это смотрели. Компания знает, какие видео её клиенты рассматривали, но не стали заказывать. Она знает, сколько раз смотрели каждое видео — и ещё очень много всего.
Сбор и приведение всех данных к стандартному формату называется обработкой. А извлечение из них смысла — анализом. Данные анализируют, чтобы получить ответы на конкретные вопросы.
Netflix персонализирует картинки специально для вас
Вот вам отличный пример того, как Netflix заманивает вас на просмотр большего количества фильмов с использованием возможностей по аналитике данных. Когда вы просматриваете списки, выбирая, что посмотреть — обращали ли вы вниманеие на то, что для каждого фильма выдаётся какая-нибудь картинка? Это заглавное изображение.
Заглавное изображение должно вас заинтриговать, привлечь ваше внимание и заставить выбрать это видео. Идея в том, что чем более интригующей будет изображение, тем больше вероятность того, что вы просмотрите видео. А чем больше видео вы смотрите, тем меньше вероятность, что вы отпишетесь от Netflix.
Вот пример различных заглавных изображений для сериала Stranger Things:
Вас может удивить, что каждое изображение для каждого видео выбирается специально для вас. Не все видят одни и те же изображения.
Раньше все видели одинаковые заглавные картинки. Вот, как это работало. Клиентам показывали одно изображение, выбранное случайным образом из набора, такого, как представлен на иллюстрации выше. Netflix подсчитывала все просмотры видео, и записывала, какое изображение показывалось пользователю при выборе видео. Допустим, для нашего примера с сериалом, что при показе центральной картинки из коллажа видео посмотрели 1000 раз. А при показе остальных картинок — только по разу.
Поскольку групповое изображение лучше других привлекало пользователей к просмотру, Netflix должна была сделать его заглавным изображением сериала навсегда. Это называется выбор на основе данных. Netflix работает на основе анализа данных. Данные собираются — в этом случае, это количество просмотров, связанное с каждой картинкой — и используется, чтобы принимать наилучшие возможные решения — в этом случае, для выбора заглавной картинки.
Хитро, но можно ли сделать это ещё лучше? Да, используя ещё больше данных. За этой темой будущее — за решением задач через обучение по данным. Мы с вами люди разные. Считаете ли вы, что нас могут мотивировать одни и те же изображения? Вероятно, нет. У нас разные вкусы, разные предпочтений. И Netflix это знает — поэтому теперь она персонализирует все изображения, которые вам показывает. Она пытается выбрать картинку, подчёркивающую самый важный из аспектов видео для вас. Как она это делает?
Помните, что Netflix записывает и подсчитывает всё, что вы делаете на её сайте. Она знает, какие фильмы вам нравится, какие актёры вам нравятся, и так далее. Допустим, что среди ваших рекомендаций оказался фильм «Умница Уилл Хантинг». Netflix должна выбрать подходящую заглавную картинку. Цель — показать картинку, которая сообщит вам о том, что этот фильм вам, возможно, будет интересен. Какую картинку вам нужнео показать?
Если вам нравятся комедии, Netflix покажет вам изображение с Робином Уильямсом. Если вы предпочитаете мелодрамы, Netflix покажет вам изображение Мэтта Дэймона и Минни Драйвер, собирающихся поцеловаться.
Показывая Робина Уильямса, сервис сообщает вам, что в фильме, скорее всего, будет юмор, и поскольку Netflix знает, что вам нравятся комедии, это видео вам подходит. Изображение Мэтта Дэймона и Минни Драйвер передаёт совершенно другое сообщение. Если вы любите комедии, и увидите эту картинку, вы, скорее всего, пропустите её. Поэтому выбор правильного изображения так важен. Оно посылает сильный персонализированный сигнал, рассказывающий о теме фильма.
Вот ещё один пример — «Криминальное чтиво»:
Если вы посмотрели много фильмов с Умой Турман, тогда вы, скорее всего, увидите заглавное изображение с Умой. Если вы смотрели много фильмов с Траволтой, то вы, вероятно, увидите заглавное изображение с Джоном. Видите, как выбор наилучшего возможного персонализированного изображения может увеличить вероятность просмотра определённого видео?
Netflix обращается к вашему интересу, выбирая изображения, однако сервис не хочет вам врать. Он не хочет показывать вам просто некое притягательное изображение, чтобы заставить вас смотреть видео, которое вам не понравится. В этом нет стимула. Сервис не берёт плату за количество просмотров. Сервис пытается минимизировать сожаление и хочет, чтобы вам нравилось то, что вы смотрите, поэтому он подбирает для вас лучшее заглавное изображение из возможных. И это только один небольшой пример анализа данных. Netflix использует подобные стратегии повсеместно.
Рекомендации
Обычно Netflix показывает вам 40-50 вариантов выбора видео, но у сервиса есть предложения из тысяч видео. Как Netflix решает, что показать? При помощи машинного обучения.
Это часть той обработки больших данных и аналитики, о которой мы только что говорили. Сервис изучает данные и предсказывает, что вам может понравиться. Вообще всё, что вы видите на экране Netflix, было подобрано специально для вас при помощи машинного обучения.
Транскодирование из исходного файла в нужный вам формат
И вот мы подбираемся к тому, как в Netflix обрабатывают видео. Перед тем, как вы можете начать просмотр на вашем любимом устройстве, Netflix должен преобразовать видео в формат, наилучшим образом подходящий для вашего устройства. Этот процесс называется транскодированием. Он преобразует файл с видео из одного формата в другой, так, чтобы видео можно было смотреть на разных платформах и устройствах. Netflix кодирует все свои видео на AWS на 300 000 процессорах одновременно. Это больше, чем у почти любого суперкомпьютера!
Источник исходных данных
Кто отправляет видео в Netflix? Студии и производственные объединения. Netflix называет это исходными данными. Новое видео поступает на обработку в команду по работе с контентом. Оно приходит в формате высокого разрешения, объёмом во много терабайт. Чтобы представить себе терабайт информации, представьте себе 60 столбов из бумаги, каждый из которых по высоте равен Эйфелевой башне.
Перед тем, как вы сможете просмотреть видео, Netflix подвергает его суровому многоступенчатому процессу.
Проверка качества
Сначала Netflix проводит много времени за проверкой качества видео. Она ищет цифровые артефакты, изменения цвета, пропущенные кадры, которые могли появиться из-за предыдущих попыток транскодирования или проблем с передачей данных. В случае обнаружения любых проблем видео отвергают.
Конвейер обработки
После подтверждения качества видео отправляют на конвейер обработки. Это последовательность шагов, которые проходят данные перед тем, как их можно будет использовать — что-то похожее на конвейер на фабрике. Для создания каждого видео применяется более 70 различных программ обработки.
Один файл размером в несколько терабайт обрабатывать непрактично, поэтому первым шагом конвейера будет разделение видео на много небольших кусочков. Кусочки проходят по конвейеру так, чтобы их можно было кодировать параллельно — то есть, они обрабатываются одновременно.
Покажем параллелизацию на примере.
Допустим, у вас есть сотня грязных собак, которых надо помыть. Как будет быстрее это сделать — если один человек будет мыть одну собаку за другой, или если нанять сотню мойщиков собак, и помыть их всех одновременно?
Очевидно, процесс пройдёт быстрее, если одновременно будут работать сто мойщиков. Это и есть параллелизм. Именно поэтому Netflix использует так много серверов EC2. Им нужно много серверов, чтобы обрабатывать эти гигантские видеофайлы параллельно. И это работает — компания заявляет, что исходный файл можно закодировать и отправить в CDN всего за 30 минут.
Когда кусочки закодированы, их проверяют, чтобы убедиться, что у них не появилось никаких новых проблем. Затем их снова собирают в один файл и снова проверяют.
Результат — куча файлов
Процесс кодирования создаёт много файлов. Почему? Конечная цель Netflix — поддерживать каждое устройство, подключенное к интернету. Компания начала работать в 2007 году на платформе Microsoft Windows. Со временем было добавлено много других устройств — Roku, LG, Samsung Blu-ray, Apple Mac, Xbox 360, LG DTV, Sony PS3, Nintendo Wii, Apple iPad, Apple iPhone, Apple TV, Android, Kindle Fire и Comcast X1.
В целом Netflix поддерживает 2200 различных устройств. Для каждого из них есть формат видео, который выглядит на нём наилучшим образом. Если вы смотрите Netflix на iPhone, вы увидите видео, которое наилучшим образом выглядит на iPhone. Компания называет все различные форматы видео кодировочным профилем. Также Netflix создаёт файлы, оптимизированные для разных скоростей сети. Если вы смотрите файл по скоростной сети, вы увидите видео лучшего качестве, чем если бы вы смотрели его по более медленной сети.
Также есть файлы для различных аудиоформатов. Аудио кодируется по разным уровням качества и разным языкам. Кроме того, есть файлы с субтитрами. У видео может быть несколько субтитров на разных языках. Для каждого видео есть несколько различных вариантов просмотра. То, что вы увидите, зависит от вашего устройства, качества соединения, тарифа сервиса и выбора языка.
Так сколько же там всего файлов?
Для сериала The Crown Netflix хранит порядка 1200 файлов. У второго сезона Stranger Things файлов ещё больше. Его снимали в разрешении 8К и у него девять эпизодов. Исходные файлы занимают множество терабайт данных. На кодирование только одного сезона ушло 190 000 процессорных часов. В результате получилось 9570 различных видео, аудио и текстовых файлов.
Посмотрим теперь, как Netflix воспроизводит все эти файлы.
Три различных стратегии для воспроизведения потокового видео
У Netflix есть три различных стратегии для воспроизведения потокового видео — его собственная небольшая CDN, сторонние CDN и Open Connect. Начнём с определения CDN. CDN — это сеть распределения контента (content distribution network). Для Netflix контент — это, конечно, видеофайлы, которые мы обсуждали в предыдущем разделе. Распределение означает, что файлы копируются из центрального места хранения по сети и хранятся на компьютерах, распределённых по всему миру. У Netflix центральное место хранения файлов — это S3.
Зачем создавать CDN?
Идея простая: нужно разместить видео как можно ближе к пользователям, распределяя компьютеры по всему миру. Когда пользователь хочет посмотреть видео, найдите ближайший к нему компьютер и организуйте оттуда поток на его устройство. Наибольшими преимуществами CDN являются скорость и надёжность.
Представьте, что вы смотрите видео в Лондоне, а его передают вам из Портленда, Орегон. Видеопотоку необходимо пройти через множество сетей, включая подводный кабель, поэтому соединение может быть медленным и ненадёжным. Передвинув видео поближе к смотрящим его людям, можно сделать ощущения от просмотра видео наиболее быстрысми и надёжными.
Каждое местоположение компьютера, хранящего видео, называется точкой присутствия (PoP, point of presence). Каждая PoP — это физическое местоположение с доступом в интернет. Там находятся сервера, роутеры и другое телекоммуникационное оборудование. Про PoP мы поговорим позже.
Первая CDN была слишком маленькой
В 2007 году, когда Netflix впервые представила свой потоковый сервис, у неё было 36 млн подписчиков в 50 странах, которые смотрели более миллиарда часов видео каждый месяц, и к которым передавалось по несколько терабитов данных в секунду. Для поддержки сервиса Netflix построила свою собственную простую CDN в пяти различных местах США. Видеокаталог компании было достаточно небольшим, и во всех местах хранились все файлы.
Вторая CDN была слишком большой
В 2009 Netflix решила использовать сторонние CDN. В то время стоимость CDN начала падать. Использование сторонних сетей было для Netflix разумным шагом. Зачем тратить время и усилия на построение своих сетей, если можно сразу же достичь любого места на планете при помощи существующих CDN?
Netflix работала над обеспечением CDN сервиса с такими компаниями, как Akamai, Limelight и Level 3. Нет ничего плохого в том, чтобы использовать сторонние CDN. На самом деле так делают почти все компании. К примеру, NFL использовала услуги Akamai, чтобы показывать соревнования по американскому футболу вживую. Не создавая собственные CDN, Netflix освободила время на работу над другими приоритетными проектами.
Компания потратила много времени и усилий на разработку более умных клиентов. Netflix создавала алгоритмы, адаптирующиеся к изменяющимся условиям сети. Даже в случае ошибок, перегрузки сетей или серверов, компания хочет, чтобы у пользователей была наилучшая из возможных картинок. Одна из разработанных компанией технологий — переключение на другой источник видео — допустим, на другую CDN или на другой сервер — для достижения наилучшего результата.
В то же время Netflix тратит много усилий на поддержку всех AWS-сервисов, о которых мы упоминали ранее. Netflix называет сервисы в AWS контрольной плоскостью. Контрольная плоскость — сетевой термин, обозначающий часть системы, контролирующей всё остальное. В вашем теле контрольной плоскостью служит ваш мозг — он контролирует всё остальное.
А затем Netflix решили, что могут улучшить сервис, разработав собственную CDN.
Open Connect оказался идеальным
В 2011 году Netflix поняла, что на их масштабе им нужно выделенное CDN-решение для максимизации эффективности сети. Распределение видео — ключевая компетенция компании, и может стать огромным конкурентным преимуществром. Поэтому Netflix стала разрабатывать Open Connect, собственную специальную CDN. Она запустилась в 2012 году. У Open Connect есть множество преимуществ:
Netflix точно знает своих пользователей, поскольку они оформляют подписку. Она знает, какие видео нужно передавать. Просто потому, что передавать нужно только крупные видеопотоки, можно провести множество действий для разумной оптимизации сетей, которые не могут сделать другие CDN. Netflix также много чего знает о своих клиентах. Компания знает, какие видео им нравятся и когда они любят их смотреть.
С такими знаниями Netflix построила высокоскоростную CDN. Давайте рассмотрим в деталях, как работает Open Connect.
Устройства Open Connect
Помните, как мы обсуждали, что у CDN компьютеры распределены по всему миру? Netflix разработала собственную компьютерную систему для хранения видео. Netflix называет её устройствами Open Connect (Open Connect Appliances, OCA). Вот, как выглядела одна из ранних установок OCA:
На фото — несколько OCA сразу. OCA группируются в кластеры из нескольких серверов. Каждый OCA — это быстрый сервер, оптимизированный на выдачу крупных файлов, со множеством жёстких дисков или флэш-накопителей, хранящих видео. Вот, как выглядит один из серверов OCA:
Для разных целей есть несколько разных видов ОСА. Есть крупные ОСА, способные хранить весь видеокаталог компании. Есть мелкие ОСА, способные хранить только часть видеокаталога. Небольшие ОСА заполняются видеофайлами ежедневно во время пиковых часов в процессе проактивного кэширования.
С точки зрения оборудования у ОСА нет ничего выдающегося. Они основаны на обычных PC-компонентах и различные поставщики собирают их в различных корпусах. Вы можете купить себе такие же компьютеры, если захотите. Обратите внимание, что все компьютеры Netflix красные. Компания специально заказывает их такими, чтобы они совпадали с цветом логотипа.
С точки зрения ПО, ОСА используют FreeBSD ОС и nginx в качестве веб-сервера. Да, каждый ОСА — это веб-сервер. Видеопотоки используют nginx. Если эти названия вам ничего не говорят — не расстраивайтесь, я включаю их только для полноты картины.
Количество ОСА на местах зависит от надёжности, которую Netflix хочет достичь в определённом месте, объём трафика, который оно обслуживает и процент трафика, которую этот центр может отправлять в виде потока. Когда вы жмёте «воспроизвести», вы смотрите видеопоток, идущий с определённого ОСА — такого, как на фото выше, расположенного недалеко от вас.
Для достижения наилучшего качества просмотра Netflix хотела бы кэшировать видео прямо у вас дома. Но пока это непрактично. Следующий по удобству вариант — расположить мини-Netflix поблизости от вашего дома. Как это можно сделать?
Где Netflix размещает ОСА?
Netflix раздаёт огромные объёмы видео с тысяч серверов, расположенных в более чем 1000 дата-центров по всему миру. Посмотрите на эту карту расположения видеосерверов:
Другие видеосервисы, например YouTube и Amazon, доставляют видео по своим собственным сетям. Эти компании буквально построили собственные глобальные сети для доставки видео пользователям. Это очень сложно и дорого. Netflix использует совершенно другой подход для строительства CDN.
Netflix не работает по своей сети, она не работает из своих собственных дата-центров. Вместо этого интернет-провайдеры (ISP) соглашаются размещать у себя ОСА. Netflix бесплатно предлагает провайдерам встраивать свои сервера в их сеть, кроме того, она размещает ОСА близ точек обмена трафиком (internet exchange location, IXP).
Такая стратегия позволяет Netflix не строить собственные дата-центры, но компания получает все преимущества нахождения в таком центре — просто этот центр принадлежит кому-то другому. Гениально! Давайте разобьём последние пару параграфов на более простые шаги.
Использование ISP для создания CDN
ISP — это провайдер вашего интернета. Это тот, кто предоставляет вам интернет в виде услуги. Это может быть Verizon, Comcast, Билайн или один из тысяч других. Главное, что ISP расположены по всему миру и находятся близко к клиентам. Размещая ОСА в дата-центрах ISP, Netflix тоже оказывается распределённой по всему миру и близко к её клиентам.
Использование IXP для создания CDN
Точка обмена трафиком — это дата-центр, где ISP и CDN обмениваются трафиком между сетями. Это всё равно, что сходить на вечеринку, чтобы обменяться подарками к рождеству с друзьями. Обмениваться проще, если все собрались в одном месте.
IXP разбросаны по всему миру:
Вот как выглядит IXP в Лондоне:
Если подойти к этим жёлтым оптоволоконным кабелям, то вот что вы увидите (на основе точки обмена AMS-IX в Амстердаме):
Каждый кабель соединяет одну сеть с другой. Именно так разные сети обмениваются трафиком друг с другом. IXP — это как развязка на шоссе, только с проводами:
Для Netflix это ещё одно преимущество. IXP расположены по всему миру. Расположив ОСА в IXP, компания уже может не запускать собственные дата-центры.
Видео проактивно кэшируется на ОСА
У Netflix есть куча видео, расположенного в S3. Передающие видео компьютеры расположены по всему миру. Не хватает только одного: самого видео! Netflix использует процесс, который называет проактивным кэшированием, для эффективного копирования видео в ОСА.
Что такое кэш [англ. cache — тайник]? Это место, часто расположенное в земле, где тайно хранят патроны, еду и сокровища. Знаете, как белки прячут орехи на зиму? Каждое место, где белка спрятала орех — это кэш. Зимой любая белка может найти кэш с орехами и сжевать их. Исследователи Арктики отправляют вперёд небольшие команды, которые кэшируют еду, горючее и другие припасы по пути, которым они следуют. Более крупная команда, идущая позади, останавливается у каждого кэша и пополняет запасы. И белки, и арктические исследователи работают проактивно; они делают что-то заранее, чтобы подготовиться к будущему.
Каждый ОСА — это видеокэш того, что вы, скорее всего, захотите посмотреть. Netflix кэширует видео, предсказывая, что вы захотите смотреть. Повсюду в мире Netflix с большой достоверностью знает, что любят смотреть её клиенты. Помните, мы говорили, что Netflix — компания, работающая на основе данных? Она использует данные о популярности, чтобы предсказывать, какие видео её клиенты, вероятно, захотят посмотреть завтра в любом месте. Под местом здесь имеется в виду кластер из ОСА, расположенный у ISP или в IXP. Компания копирует предсказанные видео на один или несколько ОСА в каждом из мест. Это называется предварительным расположением. Видео располагается на ОСА ещё до того, как его кто-нибудь запросит. В результате клиенты получают отличную услугу. Видео, которое они хотят посмотреть, уже находится близко к ним, в готовом для просмотра виде.
Netflix работает с т.н. связанным кэшем. Небольшие ОСА размещаются у ISP или IXP. Они слишком мелкие, чтобы на них уместился весь каталог видео. В других местах есть ОСА, на которых есть почти весь каталог видео Netflix. А ещё где-то есть места, ОСА в которых содержат вообще весь каталог Netflix. Они получают видео с S3.
Каждую ночь ОСА просыпается и опрашивает сервис в AWS, какие видео ему нужны. Сервис отправляет ему список видео, которые у него должны быть, построенный на основе предсказаний. Каждый ОСА отвечает за то, чтобы иметь все видео из этого списка. Если у одного из ОСА в одном месте есть одно из нужных видео, то кэширующий ОСА скопирует это видео у него. Иначе видео будет найдено и взято у какого-нибудь ОСА, расположенного не очень далеко.
Поскольку Netflix предсказывает, что будет популярным завтра, всегда существует фора в один день перед тем, как на ОСА потребуется видео. Это значит, что видео можно будет скопировать в тихое время, вне пиковой загрузки, что сильно уменьшает использование пропускной способности ISP.
У Open Connect никогда не бывает промахов в кэше. Промах — это когда у ОСА запрашивают определённое видео, а он отвечает, что его у него нет. Промахи случаются у других CDN, поскольку они не могут позволить себе копировать весь контент повсюду. Поскольку Netflix известны все видео, которые нужно кэшировать, она точно знает, где и какие видео есть в какой момент. Если у мелкого ОСА нет нужного видео, оно с гарантией будет у одного из крупных ОСА.
А почему Netflix просто не скопирует все свои видео на все ОСА в мире? Её видеокаталог слишком большой для этого. В 2013 году объём каталога превышал 3 петабайта; какой он сегодня, я не знаю, могу лишь предположить, что гораздо больше. Именно поэтому компания разработала метод выбора видеофайлов, которые нужно хранить на каждом ОСА, использующий данные, предсказывающие, что захотят посмотреть подписчики.
Возьмём пример. «Карточный домик» — очень популярное шоу. На какой ОСА его надо скопировать? Скорее всего, везде, поскольку подписчики со всего мира захотят его посмотреть. А что, если видео не так популярно, как «Карточный домик»? Netflix решает, в каких местах должны храниться его копии, чтобы наилучшим образом удовлетворить запросы всех ближайших клиентов.
В одном месте самые популярные видео копируются на множество ОСА. Чем популярнее видео, тем больше серверов будет хранить его копию. Почему? Если бы у очень популярного видео была только одна копия, то поток видео ко всем клиентам перегрузил бы сервер.
Видео не считается подготовленным к раздаче, если оно скопировано только на один ОСА. Netflix хочет иметь возможность проиграть один и тот же контент в одно и то же время по всему миру. Только когда есть достаточное количество ОСА с достаточным количеством копий видео для того, чтобы предоставлять его в нужном качестве, видео считается подготовленным для просмотра.
К примеру, второй сезон шоу Daredevil в 2016 году был первым случаем, когда Netflix выпустила все эпизоды сериала на всех устройствах во всех странах одновременно.
Размещение ОСА: зачем это нужно провайдерам?
Зачем же провайдеры соглашаются размещать у себя кластеры ОСА? На первый взгляд это слишком щедро — но вам будет интересно узнать, что на самом деле тут задействована личная выгода. Чтобы понять это, нам надо поговорить о том, Как работают сети. В этой книге мы обсуждали, что доступ к облачным сервисам осуществляется через интернет. В случае с Netflix это не так — при просмотре видео через приложение Netflix оно общается с AWS по интернету. [не очень ясно, какое различие имел в виду автор // прим. перев.]
Интернет — это взаимосвязь сетей. У вас есть провайдер, обеспечивающий доступ в интернет. Я получаю свой интернет-сервис у Comcast. Это значит, что мой дом соединяется с сетью Comcast при помощи оптоволокна. Сеть Comcast принадлежит им — это не интернет, интернет — это нечто другое.
Допустим, я хочу выполнить поиск в Google, и я вбиваю запрос в браузере и жму Enter. Мой запрос сначала идёт по сети Comcast. Google не расположен в сети Comcast. В какой-то момент мой запрос должен попасть в сеть Google. Для этого и существует интернет. Интернет соединяет сеть Comcast с сетью Google. Там существуют протоколы роутинга, работающие на манер уличного регулировщика и направляющие сетевой трафик. Когда мой запрос направляется в интернет, он находится за пределами сети Comcast и за пределами сети Google. Он находится в опорной сети интернета. Интернет связан из множества частных сетей, решивших взаимодействовать друг с другом. IXP — один из способов, которым сети связываются между собой.
В США существует карта дальних оптоволоконных сетей:
Netflix со своим Open Connect сделала следующее: она разместила кластеры ОСА внутри сетей ISP. Это значит, что если я смотрю видео Netflix, я общаюсь с ОСА, расположенном в сети Comcast. Весь мой видеотрафик идёт по их сети, и не выходит в интернет.
Ключ к масштабированию доставки видео — быть так близко к пользователю, как это возможно. Когда вы это делаете, вы не используете опорные сети интернета. Запросы удовлетворяются в местной части сети. Почему это хорошо? Вспомните, мы говорили, что Netflix уже потребляет более 37% интернет-трафика в США. Если бы ISP не сотрудничали с компанией, она использовала бы ещё больше интернета. Интернет не смог бы обработать весь трафик. Провайдерам нужно было бы добавлять больше мощностей, а это очень дорого.
Сейчас почти 100% контента Netflix передаётся внутри провайдерских сетей. Это уменьшает стоимость обслуживания сети, поскольку не забивает интернет. В то же время подписчики Netflix получают видео высокого качества, и работа сети улучшается для всех. Выигрывают все.
Open Connect надёжен и отказоустойчив
Мы уже обсудили, как Netflix увеличивает надёжность системы, работая в трёх регионах AWS. Архитектура Open Connect достигает тех же целей. Это может быть неочевидным, но ОСА не зависят друг от друга. ОСА работают как самодостаточные архипелаги по доставке видео. Подписчики, получающие видео с одного ОСА, не страдают от отказов других ОСА.
Что случается при отказе ОСА? Используемая вами клиентская программа мгновенно переключается на другого ОСА и возобновляет показ. Что происходит, если в одном месте ОСА использует слишком много людей? Клиентская программа находит менее загруженный ОСА. Что происходит, если сеть, используемая для передачи видео, перегружается? То же самое — программа находит другой ОСА на сети, работающей лучше. Open Connect — очень надёжная и отказоустойчивая система.
Netflix контролирует клиента
Netflix ловко обрабатывает отказы, поскольку контролирует клиента на всех устройствах. Компания сама разрабатывает приложения для Android и iOS, поэтому можно ожидать, что она контролирует и их. Но даже на таких платформах, как Smart TV, где Netflix не создавала клиентов, она всё равно его контролирует, поскольку контролирует пакет для разработки приложений (SDK).
SDK — это набор программ для разработки, позволяющие создавать приложения. Каждое приложение Netflix делает запросы к AWS и проигрывает видео при помощи SDK. Контролируя SDK, Netflix может постоянно и в реальном времени адаптироваться к медленным сетям, отказавшим ОСА и другим возможным проблемам.
И, наконец: вот, что происходит, когда вы нажимаете «воспроизвести»
Мы долго шли к этому, и многое узнали. Вот, что мы знаем на текущий момент:
Давайте её закончим: