Построение системы push-уведомлений на сложном конвейере анализа данных на основе Apache Kafka, Storm и MongoDB
2015 год был важным для музыкальной индустрии. Впервые цифровая связь стала основным источником дохода для записанной музыки, обогнав продажи физических форматов. Ключом к этой вехе стал доход от потоковых услуг, который вырос за год на 45%.
Как и во многих потребительских сервисах, рынок потоковой передачи музыки фрагментирован по всему миру. В Индии - второй по численности населения стране на планете и втором по величине рынке смартфонов - Саавн превратился в крупнейший музыкальный сервис субконтинента. У него 80 миллионов подписчиков, а количество ежедневных активных пользователей (DAU) увеличилось в 9 раз всего за 24 месяца, при этом 90% потоков было передано мобильным пользователям. Есть много факторов, которые в совокупности способствовали росту Saavn, но в основе этого лежат данные. И для этого они полагаются на MongoDB.
! [] (Https://webassets.mongodb.com/_com_assets/cms/Saavn-Logo-Horizontal-White-500-eua0kyb1uk.png)
Saavn начал использовать MongoDB в качестве постоянного кэша, заменив существующий слой memcached. Вскоре они осознали универсальность и гибкость базы данных, чтобы служить системой записи ее данных об абонентах, устройствах и активности пользователей. Именно гибкость и масштабируемость MongoDB сыграли важную роль в поддержании темпов роста Saavn.
Благодаря своей обширной коллекции музыки, компания быстро привлекла новых пользователей к своему потоковому сервису, но обнаружила, что вовлечение часто пропадает. Он определил, что push-уведомления, отправляемые непосредственно на клиентские устройства, являются ключом к повторному соединению с пользователями и сохранению их вовлеченности, обслуживая персонализированные списки воспроизведения. На Всемирной конференции MongoDB в этом году технический директор Сриранджан Манджунатх представил, как Саавн использовал MongoDB как часть сложного аналитического конвейера, позволяющего увеличить вовлечение пользователей в 3 раза.
Как заметил Сриранджан и его команда, было недостаточно просто транслировать общие уведомления своим пользователям. Вместо этого Saavn нужно было создавать уведомления, которые предоставляли плейлисты, персонализированные для каждого пользователя. Saavn построил сложный конвейер обработки данных, который использует планировщик для извлечения данных об устройстве, активности и пользователях, хранящихся в MongoDB. Оттуда он вычисляет соответствующие списки воспроизведения, анализируя предпочтения пользователя по прослушиванию, активность, устройство, местоположение и многое другое. Затем он отправляет вычисленные рекомендации процессу диспетчера, который доставляет список воспроизведения на каждое устройство пользователя и входящие. Чтобы уточнить персонализацию, все действия пользователя попадают обратно в очередь Kafka, где они обрабатываются Apache Storm и записываются обратно в MongoDB. Saavn также расширяет использование искусственного интеллекта для более точного прогнозирования интересов пользователей и использует MongoDB для хранения полученных моделей машинного обучения и предоставления их в реальном времени для рекомендательного приложения.
В настоящее время система отправляет 30 миллионов уведомлений в день, но она была рассчитана на поддержку до 1 миллиона в минуту, обеспечивая достаточный запас для поддержки дальнейшего роста Saavn.
В своей презентации Сриранджан рассказал о том, как Saavn мигрировал с MongoDB 2.6 на MongoDB 3.0, используя преимущества Контроль параллелизма на уровне документов механизма хранения WiredTiger для повышения производительности. Он рассказывает о своих ключевых уроках по изменению дизайна схемы, чтобы отразить различия в том, как обновления обрабатываются базовым механизмом хранения, и использование Индексы TTL для автоматического истечения срока действия данных из MongoDB , Шриранджан также обсуждает выбор ключа шарда для оптимизации равномерного распределения данных по кластеру и преимущества использования MongoDB Cloud Manager для мониторинга системы и непрерывного резервного копирования, включая интеграцию со Slack для автоматического оповещения оперативной команды.
Нажмите для просмотра Презентация Саавна от MongoDB World
Чтобы узнать больше об управлении потоковыми данными в режиме реального времени, загрузите:
Белая книга MongoDB и Kafka
Об авторе - Mat Keep
Мэт является директором маркетинговой команды MongoDB, отвечающей за формирование концепции, позиционирования и контента для продуктов и услуг MongoDB, включая анализ тенденций рынка и требований клиентов. До прихода в MongoDB Мэт был директором по управлению продуктами в Oracle Corp. и отвечал за работу базы данных MySQL в веб, телекоммуникациях, облаке и рабочих нагрузках больших данных. Это последовало за серией продаж, развития бизнеса и позиции аналитика / программиста как с поставщиками технологий, так и с компаниями конечных пользователей.
Похожие
Как добавить сноску?Сноска служит авторам текста, чтобы объяснить или прокомментировать содержание в тексте. Вы определенно встречались с ними в книгах. Word 2016, как и полагается в текстовом редакторе, имеет функцию добавления сносок в нижней части страницы документа. Сноска добавляется автоматически, номер сноски как в содержании, так и в нижней части страницы индексируется самостоятельно, и нам нужно только ввести пояснение. Итак, как добавить сноску или сноску в приложение Word 2016? В нашем Как звонить на iPad
Как и любой хороший планшетный компьютер, великое чудо iPad заключается в том, что с правильными приложениями он может превратиться практически во что угодно. Но что, если вы хотите телефон? Даже версия iPad, которая включает 3G, на самом деле не может совершать телефонные звонки - его соединение предназначено только для интернет-трафика данных - но на самом деле, довольно просто использовать iPad для телефонных звонков. Более того, это станет намного проще. Как завязать галстук бабочка
Умение завязывать галстук бабочка - это негласный обряд посвящения в джентльмены, по крайней мере так считалось в старом мире. Ведь, галстук бабочка является потомком обычной классической галстука. Она родилась из необходимости носить аксессуар, который легче носить чем галстук, который обычно болтался во время активных действий. Галстук бабочка обычно носят под смокинг или фрак на официальных мероприятиях. 10 советов, как выбрать панели пола
... сильно влияет на характер квартиры. Он должен соответствовать цвету стен, мебели и дверей. Мы все чаще выбираем напольные панели, но их выбор на рынке настолько широк, что принять решение может быть нелегко. Поэтому, прежде чем выбрать какое-либо из предложений, доступных на рынке, стоит прочитать это краткое руководство, разработанное специалистами Classen. 1. Подготовьте дизайн пола Панели, доступные Как обезопасить свой аккаунт Gmail
Gmail - самый популярный почтовый сервис. Несмотря на это, он не идеален - наш аккаунт, как и в любом сервисе, можно взломать. Тем не менее, мы можем защитить и минимизировать риск, используя инструменты, доступные в Gmail. Как редактировать видео на iPhone
Снимок экрана Джейсон Киприани Редактирование видео на iPhone было впервые представлено в iPhone 3GS, однако некоторые владельцы iPhone до сих пор не понимают, насколько проста эта функция. Невероятно просто быстро отредактировать видео, которое вы только что сняли, чтобы вы могли отправить определенный момент друзьям и членам семьи. Это также может пригодиться, когда видео слишком длинное для отправки; быстро Как избавиться поиска Google в Android 4+
В некоторых телефонах, использующих штатную оболочку операционной системы Android, присутствует виджет поиска Google, который может мешать в ежедневной работе. В таком случае его можно удалить, и вот как это сделать. Как печатать с помощью Epson Connect
Epson Connect Epson Connect - это служба удаленной печати, которая позволяет легко печатать указанный документ дома, в дороге или в офисе. Использование Epson Connect очень просто и интуитивно понятно. В зависимости от модели вашего принтера параметры, включенные в службу Epson Connect, могут различаться. Чтобы распечатать фотографию или текстовый документ, все, что вам нужно, это правильно настроенная Как конвертировать WMV в MP3
... спользования в марте 2006 года"> WMV, или Windows Media Video, - это формат видеофайлов, разработанный Microsoft в 2003 году и выпущенный для публичного использования в марте 2006 года. Формат WMV изначально был разработан для поддержки потоковой передачи в Интернете, а также для конкуренции с RealVideo. В настоящее время этот формат стал стандартом в области видеофайлов. Пользователи, которые хотят использовать встроенные аудиодорожки WMV на таких устройствах, как iPod, iPod Nano, вынуждены Как печатать с iPhone или iPod
На момент написания статьи печать с вашего iPhone (3G, 3GS или 4) или Ipod Touch требует использования стороннего программного обеспечения. К счастью, iTunes Store загружен такими утилитами. Мы покажем вам, как использовать Microtech's Как сохранить видео в автономном режиме в приложении YouTube
В приложении YouTube есть функция, позволяющая сохранять видео в автономном режиме. Он позволяет загружать видеоконтент, когда вы подключены к сети Wi-Fi, и смотреть видео, когда соединение недоступно. Видео можно сохранять и просматривать только в официальном приложении YouTube. Эта функция доступна как на iOS, так и на Android. Вот как это работает. Прежде чем мы приступим к этому, вы должны знать, что это законно. YouTube запрещает скачивание видео в автономном режиме, но это относится
Комментарии
Как я могу изменить каналы и как Myth знает, как изменить каналы на моем кабельном или спутниковом блоке (обычно называемый STB для Set Top Box)?Как я могу изменить каналы и как Myth знает, как изменить каналы на моем кабельном или спутниковом блоке (обычно называемый STB для Set Top Box)? Есть несколько способов подключить серверную часть Myth к вашему провайдеру телевидения, различные статьи HOWTO разбросаны по интернету. Эта страница не будет повторять все это, но мы надеемся связать все это вместе. Руководство пользователя почти не затрагивает эту важную тему, я надеюсь, что кто-то сюда сошлится или начнет там. Кажется, это отличная идея, чтобы проверить свой CP как можно скорее и как можно скорее, верно?
Кажется, это отличная идея, чтобы проверить свой CP как можно скорее и как можно скорее, верно? Это было бы до тех пор, пока вы можете не отставать от затрат позже в игре! Единственное, на чем вы должны потратить МЕНЬШЕГО БИТА на ранних стадиях, - это место на вашем складе. С этим ваша охота на АФК может длиться дольше. Оттуда, только модернизируйте вещи главным образом, чтобы предотвратить жадность ваших банков !! Арена Это не должно занять Как представитель международного холдинга, как вы оцениваете мировой алмазный рынок и его будущее?
Как представитель международного холдинга, как вы оцениваете мировой алмазный рынок и его будущее? Йиржи Швестка - DIC: Спрос на мировом алмазном рынке постоянно растет - это связано с быстрым обогащением сотен миллионов граждан Азии. Наилучшим примером здесь является Китай, где средний класс, то есть социальная группа, которая может позволить себе бриллианты, по оценкам, уже насчитывает 300 миллионов человек. Это огромная толпа потенциальных клиентов, Почему стоит создать учетную запись в крупнейшем в мире сервисе для установления деловых и профессиональных контактов?
Почему стоит создать учетную запись в крупнейшем в мире сервисе для установления деловых и профессиональных контактов? Об этом вы узнаете из следующей записи. В качестве бонуса в конце вы найдете ссылку для загрузки бесплатной электронной книги с советами о том, как создать полный профиль и быть активным в LinkedIn. Несколько месяцев назад я пытался убедить читателей моего блога, что они должны начать использовать Twitter. Вы можете прочитать об Играете ли вы в быструю агрессивную колоду, построенную на нанесении как можно большего урона как можно раньше?
Играете ли вы в быструю агрессивную колоду, построенную на нанесении как можно большего урона как можно раньше? Идите на прямой урон, как только можете. Более методичная колода или игра поздней игры выиграют от акцентирования контроля на доске. Тщательный подсчет количества Я смогу получить обе скидки, если пользуюсь BlaBlaCar и как водитель, и как пассажир?
Я смогу получить обе скидки, если пользуюсь BlaBlaCar и как водитель, и как пассажир? Вы не сможете получить пассажирскую скидку, если уже получили одну из скидок для водителей. Если же вы сначала воспользовались BlaBlaCar как пассажир, а затем как водитель - вы получите штрих-код с пассажирской и с водительской скидкой но карта Fishka может быть настроена только на один вид скидки. У меня еще остались вопросы к вам. Как я могу их задать? Мы всегда открыты для Как они возникают?
Как они возникают? Алмаз - это аллотропный сорт углерода, кристаллизованный в правильной системе в форме октаэдра, додекаэдра или икосаэдра. Он был создан в поистине адских условиях - при температуре, превышающей 1300 градусов по Цельсию, и давлении 50 тонн / см2. Алмаз является самым твердым минералом в природе, он также является самым ценным драгоценным камнем (более ценным, чем рубин, изумруд, сапфир, танзанит или хризоберилл). По десятибалльной шкале Мооса, которая оценивает стойкость Как это поразит их вкусы?
Как это поразит их вкусы? Вероятно, больше всего спросят. В случае скромных верующих детей в учреждении Mikoaja может быть полезно написать письмо, которое позволит нам изучить различные варианты и узнать о последних интересах и мечтах. Дети более старшего возраста обычно подходят к этому вопросу более прагматично и знают, чего хотят, но проблемы с семейным бюджетом могут стать проблемой. Также стоит упомянуть скрытую для многих родителей покупку игрушек для детей, о которой они мечтали Как насчет обмена оригинальными файлами с друзьями?
Как насчет обмена оригинальными файлами с друзьями? Здесь многое зависит от создателя приложения, но крупнейшие игроки готовы к изменениям. У разработчиков было много времени с момента выхода первой бета-версии iOS 11 для разработчиков. Благодаря этому приложения по спорным вопросам спрашивают пользователя, хочет ли он отправить файл .heic или фотографию, преобразованную в .jpg. Проблема может быть в сайтах для хранения фотографий / файлов. Крупнейшие игроки подготовились А как насчет людей, постоянно проживающих за границей?
А как насчет людей, постоянно проживающих за границей? Новые правила были созданы для людей, которые время от времени путешествуют в другие страны - так же, как в роуминге, как дома на телекоммуникационном рынке. Однако я уверен, что наши соотечественники в эмиграции все равно будут использовать это решение, поскольку для проверки в WP Pilot просто отсканируйте идентификационную карту или номер счета, предоставленный польским банком. Однако возможно, что провайдеры Play store: как начать пользоваться?
Play store: как начать пользоваться?
Итак, как добавить сноску или сноску в приложение Word 2016?
Но что, если вы хотите телефон?
Как я могу изменить каналы и как Myth знает, как изменить каналы на моем кабельном или спутниковом блоке (обычно называемый STB для Set Top Box)?
Кажется, это отличная идея, чтобы проверить свой CP как можно скорее и как можно скорее, верно?
Кажется, это отличная идея, чтобы проверить свой CP как можно скорее и как можно скорее, верно?
Как представитель международного холдинга, как вы оцениваете мировой алмазный рынок и его будущее?
Почему стоит создать учетную запись в крупнейшем в мире сервисе для установления деловых и профессиональных контактов?
Играете ли вы в быструю агрессивную колоду, построенную на нанесении как можно большего урона как можно раньше?
Я смогу получить обе скидки, если пользуюсь BlaBlaCar и как водитель, и как пассажир?
Как я могу их задать?
