Quick sense что это
Бесплатное средство интерактивной визуализации и исследования данных, позволяющее руководствоваться интуицией
Qlik® Sense Desktop – это приложение для Windows, которое дает пользователям возможность создавать собственные интерактивные визуальные представления данных, отчеты и информационные панели, с легкостью перетаскивая объекты. Откройте новые знания на основе ваших данных всего за 5 минут.
Qlik Sense Desktop
Материалы по теме
Installation Guide Qlik Sense. Как установить Qlik Sense?
Учебник Qlik Sense Desktop
Системные требования для Qlik Sense
Решения
Рассылка: новости и практики систем BI
Клиенты
Консолидация финансовой отчетности по предприятиям группы; р еализация элиминации внутригрупповых оборотов; м еханизм гибкого сравнения показателей; расчет и визуализация ключевых показателей эффективности.
Анализ эффективности отдела по работе с клиентами; анализ эффективности работы отдела закупок; анализ эффективности и качества работы поставщиков; анализ внутренней и внешней логистики; анализ ключевых показателей деятельности компании; визуализация финансовых потоков внутри группы компаний; анализ управления дебиторской/кредиторской задолженностями; анализ эффективности управления складом.
Анализ деятельности компании в разрезах: товарная иерархия, клиенты, сотрудники
Внедрение решения BusinessQlik for Manufacturing.
План-фактный анализ деятельности отдела лесообеспечения, анализ рабочего времени сотрудников на предприятии; анализ численности сотрудников; структура валового дохода.
Этапы проекта Qlik Sense. Краткий обзор состава работ по проекту
Опубликовано qliksense-expert в 18.06.2019 18.06.2019
Содержание урока по Qlik Sense
Введение Qlik Project Steps
Qlik Sense – очень гибкая платформа создания отчетности. В ней нет ограничений на количество приложений, на количество отчетов, количество данных. Вы можете создать 1 большое приложение с множеством различных отчетов, либо создать много приложений, в каждом из которых будет 1-2 сложных по структуре или логике отчета. Все зависит от Ваших потребностей. Единственно что нужно учитывать – это затраты на поддержку решений.
Также можно создать приложение Qlik Sense, в котором в библиотеке задать нужные измерения и показатели, а пользователи будут сами создавать простые отчеты, графики, дашборды, аналитические панели.
Этапы создания модели Qlik Sense
Рассмотрим основные этапы создания модели Qlik Sense:
Краткая схема создания приложения выглядит следующим образом:
1. Для того, чтобы создать аналитическую модель (Отчет, дашборд и т.п.) изначально необходимо получить требования от заказчика (выявить основные потребности). Вы проводите встречу с заказчиком, на которой записываете основные его желания, затем, обрабатывая первичные требования Вы задаете уточняющие вопросы заказчику.
Очень часто заказчики опускают нужные подробности, которые могут помочь в решении задачи. Делают они это зачастую не умышленно, а потому что для них это очевидно (каждый день с этим работают).
Иногда заказчик может опираться на вымышленные сущности, которых нет в учетных системах, либо они ведутся там очень и очень криво. Это все может привести к тому, что на пол пути Вы поймете, что разрабатываемый отчет довести до конца не получится. И ладно, если Вы на этот отчет потратили пол дня, а если Вы уже 2 недели что-то делаете и приходите в тупик?
Иногда заказчик хочет получить отчет, который можно получить из учетной системы. Он уже там есть, только заказчик про это не знает.
Еще 1 совет – всегда стремитесь избегать в своей работе с данными, которые пользователи ведут в Excel! На этапе выявления требований стремитесь заставить заказчика отказаться от excel, Хотя бы в сторону MS Access. Ну или обязать заказчика разработать жесткую форму для ведения данных с проверками.
2. Дальше начинается работа с источниками данных. В идеале сначала проводится краткий аудит учетных систем на предмет того, как вводятся данные.
На этом этапе необходимо проработать перечень источников из которых Вы будете выгружать данные. Для этих работ целесообразно привлекать системных аналитиков или разработчиков учетных систем, которые знакомы со структурой базы данных, могут помочь написать тот или иной запрос. Иначе Вам придется самостоятельно изучить в лучшем случае документацию, в худшем случае учетную систему (со всеми ее странностями и кастомизациями).
На этом этапе необходимо проверить наличие в справочниках нужных атрибутов (согласно требованиям), наличие фактов, смоделировать (например в Excel) расчеты, которые нужно получить в рамках аналитической модели.
Для снижения риска проекта по Qlik Sense рекомендую делать на предварительной стадии прототип модели на очень ограниченном объеме данных, проверить структуру модели, те или иные гипотезы. Внимание: самое важное на первом и втором этапах не уйти глубоко в детали и не выдумать из небольшого, быстрого и полезного проекта ОГРОМНОГО МОНСТРА.
В ходе второго этапа (при аудите учетных систем) уточняется ТЗ и разрабатывается план проекта.
3. Выстраиваем структуру окружения QS Проекта на Windows Сервере. Если в рамках проекта планируется использовать Qlik Sense Desktop – то требуется одна архитектура организации окружения (с привлечением QlikView Desktop), если Qlik Sense Enterprice – то другая архитектура.
Возможная структура папок для хранения QVD-файлов:
4. На четвертом этапе идет основная работа с данными. Строится процесс выгрузки данных из источников. Это может быть одна база данных или несколько баз данных. При этом в качестве источника данных может выступать облачный сервис (bitrix24, amocrm, мойсклад и т.п.).
4.1. Разработка Extractor на Qlik
Виды Extractor (выгрузки)
Очень часто обычную и инкрементальную выгрузку данных комбинируют. Самые большие данные переводят на инкремент, данные не критичные – выгружают в полном объеме.
4.2. Итак, после того, как Вы выгрузили данные из базы данных или облачного сервиса в QVD файлы, затем необходимо эти данные обработать (очистить, рассчитать показатели, агрегировать, обогатить дополнительными атрибутами, разметить флагами и т.д.) и положить обработанные данные в отдельный слой (например, DataTier1). Эти трансформированные данные Вы загружайте непосредственно в саму модель Qlik Sense или создаете ещё один дополнительный слой данных со сложными расчетами для конкретной модели данных.
Самое главное – не дублировать одинаковые данные в слоях. При повышении уровня слоя данные должны агрегироваться (группироваться). Нижние слои являются более общими, верхние слои – конкретно для каждой модели данных (или по направлениям анализа).
5. Проектируем слои приложения. Вот пример структуры аналитического приложения Qlik Sense:
Лайфхак для прототипирования в небольших проектах: В качестве инструмента прототипирования для визуализации можно использовать сам Qlik Sense. При этом сложные вычисления Вы не прописываете, а заменяете константами. При этом Ваш прототип будет максимально приближен к функциональности конечного продукта 🙂
Пример прототипа на Qlik Sense:
Qlik Deployment Framework
Размышления консультанта “ВСЛУХ”
Возможно кому-то мои рассуждения покажутся “водой”, возможно кто-то сделает заметку, кто-то пройдет мимо, кто-то добавит в комментариях свои мысли. Главное – это просто мысли, мои заметки, которыми я хочу поделиться.
Об отчетах
В компании может быть все плохо, но отчеты об этом могут не говорить. Истинные проблемы начинают всплывать, когда компания начинает генерировать убытки.
В компании может быть 1-3 отчета и из них может быть многое понятно о текущих делах. А может быть десятки отчетов, из которых ничего не понятно (куда смотреть, с чем нужно работать, куда прикладывать усилия). Для работы с отчетами в таких случаях требуется штат аналитиков, которые будут сидеть и обрабатывать автоматически рассылаемые отчеты.
Направление аналитики должно спускаться сверху, причем именно верхнеуровневые показатели должны показываться руководству с графическими представлениями. Руководитель должен открыть дашборд или отчет и дать указание подчиненным руководителям или линейным сотрудникам, что необходимо улучшить в компании. Или какой фронт работы выполнить.
Качество приложения Qlik Sense
Качество приложения Qlik Sense зависит напрямую от качества ваших учетных данных. Очень хорошие данные (структурированные, без мусора, без дублирования, без двоякости и т.п.) = ОТЛИЧНОЕ ПРИЛОЖЕНИЕ QLIK SENSE.
Очень плохое качество данных (пропуски, дублирование, кривая инфа, несоответствия, пустоты, кривые справочники, кривые документы, 100500 способов представления одних и тех же отчетов, но с разными значениями) – ужасная аналитика, ужасный ETL, ужасное приложение, ужасный ROI от бизнес-аналитики?
Куча рассылаемых отчетов Excel – интерес руководителей, но не владельцев компании
Согласитесь, что подделать сложный / запутанный отчет гораздо проще, чем манипулировать данными аналитических панелей. Любая прозрачность данных “больного бизнеса” – это риск для среднего и высшего руководства компании. Они понимают, что владельцы сразу же придут к ним, если у владельца будет под рукой удобный аналитический инструмент.
Исходя из этих предпосылок, можно предположить, что руководство (не владельцы) никогда не будут заинтересованы в разработке прозрачных дашбордов, с понятными и простыми сигналами “что не так” и “что нужно делать”. Они будут заинтересованы только в том, чтобы максимально неудобно представить данные, из которых сложно сделать “нужные выводы”.
Скорей всего это связано с тем, что люди, которые ставят ТЗ на разработку отчетов не имеют премий от прибыли компании, или от снижения издержек. Самая главная их задача – на совещаниях с умными лицами презентовать очередную порцию “умных отчетов”, чтобы их ценили за объемы аналитической работы.
Запомните – владельцам бизнеса нужен сигнал (светофор), чтобы понять, нужно ли кого-то пнуть, чтобы красный свет загорелся хотя бы на желтый, а в лучшем случае на зеленый.
Построить такой отчет очень сложно, т.к. нужно думать, гораздо проще придумать мудренную Excel с кучей столбцов и строк, которые зачастую между собой никак не коррелируют.
Создавайте базу знаний о бизнес-процессах в компании, делайте внутреннюю wiki
Очень часто и в разных компаниях видел ТЗ, в которых присутствует огромная куча различной терминологии, сокращений, формул, которые никак не расшифровываются и не поясняются развернуто.
Плюс очень часто в компании тот или иной бизнес-процесс может быть запутанным и нигде не описанным. Начиная разработку специалист шерстит всевозможные документы, письма, опрашивает коллег по тому или иному термину.
Приходит новый специалист и “исследовательская” работа повторяется снова.
Выход – создать внутреннюю базу знаний о бизнес-процессах в компании. Не называя имен компаний, я назову позитивные фишки, с которыми я встречался при устройстве в ту или иную компанию (ну или мои предположения, как это может выглядеть иначе в других компаниях):
Здравый смысл
Оценивайте полученные результаты, показатели, отчеты на здравый смысл. Если Вы получили ROI = 500%, то очень вероятно стоит перепроверить (и желательно 2 раза) методику расчета показателя. Если показатель дает очень расплывчатый результат, то стоит ли этот показатель считать? Это как по популяции кроликов в южном округе оценивать спрос на мясо кроликов по стране. Проще потратить силы на отчет P&L, и понять откуда приходят деньги и куда уходят, чем заниматься пространственной аналитикой.
Методология расчета и реальная жизнь
Просите методолога/заказчика на основе его алгоритма сделать предварительный расчет в Excel. Так Вы сможете оценить жизнеспособность методологии расчета.
Разработка отчета в Qlik = 60 часов (например), предварительный расчет в Excel = 4-8 часов (со сбором данных)
QLIK SENSE. Опыт применения
Если вы рeшили перейти на Qlik всё, что вам необходимо сделать — это заполнить регистрационную форму и пройти проверку по электронной почте, и Qlik Sense установится, как обычное приложение. Любое устройство может поддерживать Qlik Sense. Я установила себе приложение на телефон и могу в любое время просмотреть отчет.
На мой взгляд, Qlik Sense смотрится проще по сравнению с Power BI: нeбольшое количество настроек; возможность создания отчета за секунды; наличие конструктора загрузки данных является несомненным его преимуществом.
При создании выборки, в программе сразу фильтруются и показываются все связанные элементы. Одним из основных отличий Qlik Sense от других систем является автоматическая установка связей между наборами данных. По клику выделяются определенные наборы данных. Выделенные данные подсвечиваются зеленым цветом, связанные данные — белым, исключенные (несвязанные) — отображаются серым.
Qlik Sense позволяет разработать свои собственные приложения и изменять их, в том числе, существует совместное использование с другими пользователями.
У Qlik имеется свой язык формул Set Analysis, вам может показаться это минусом, но это не так. Человек, умеющий писать запросы и соединения на Set Analysis, имеет широкие возможности.
QVD файлы. Благодаря собственному формату в Qlik Sense снижается нагрузка на сервера баз данных, увеличивается скорость загрузки данных и возможность загрузки из нескольких источников, а также объединение данных из нескольких приложений Qlik Sense.
После того, как я познакомилась с Qlik у меня не возникло проблем в создании отчета. У него интуитивно понятный и очень удобный интерфейс. При работе с программой и базой данных не потребовалось получение определенных знаний.
Давайте создадим простейшее приложение.
Открываем программу и создаем новое приложение. Находясь внутри приложения, вы можете создать и просматривать листы Qlik.
QlikView и Qlik Sense: различия систем
Краткий итог.
Мы предлагаем возможность испытать инновационный функционал QlikView и Qlik Sense в формате «Seeing is Believing» («Посмотри и поверь»): всего за три-пять дней эксперты BI Consult на основе Ваших данных построят рабочее приложение QlikView или Qlik Sense, способное ответить на самые актуальные для Вас бизнес-вопросы.
Оба продукта QlikView и Qlik Sense активно развиваются компанией Qlik в связи с чем, функционал обеих систем непрерывно изменяется и дополняется новыми функциональными возможностями.
СРАВНЕНИЕ QLIKVIEW И QLIK SENSE
QlikView предлагает комплексную функциональность Business Intelligence, но на базе единой платформы, не требующей установки целого комплекса разнородных дорогостоящих программных продуктов, как в случае традиционных BI-решений, а следовательно простую во внедрении и имеющую стоимость ниже, чем традиционные OLAP решения.
Используя разработку аналитических приложений на QlikView Вы никогда не столкнетесь с ограничением платформы при реализации своих потребностей в части аналитики и визуализации данных. Практически любой визуальный элемент так или иначе может быть реализован в QlikView.
QlikView позволяет оперативно строить даже самые сложные модели для анализа, без особых усилий формировать по ним отчетность и поддерживать эти модели в актуальном состоянии. Простота работы с QlikView и интуитивность интерфейса делает его максимально удобным для пользователя, а легкость модификации и разработки обеспечивают быстроту и высокую эффективность проекта внедрения.
Qlik Sense – это приложение для самостоятельной визуализации, исследования и мониторинга данных. Дружелюбный, интуитивно понятный интерфейс не требует от сотрудников специальных знаний по обработке данных. В готовом приложении пользователю достаточно сделать три действия для создания новой диаграммы без написания кодов и формул. Возможность обработки данных непосредственно в оперативной памяти позволяет оперировать большими объемами информации. Qlik Sense закрывает нишу Self-Service BI.
При этом в Qlik Sense нет такой свободы как в QlikView, дизайн полностью закреплен и его приходится использовать «как есть». Другими словами — это новая, иная свобода делать все, что хочешь в рамках того, что есть. Но это открывает большие преимущества для построения отчетов базового уровня обычным неподготовленным пользователям. Для этого в Qlik Sense во главу угла поставлена функциональность Drag&Drop, то есть простое добавление объектов, измерений и выражений обычным перетаскиванием. Такая функциональность присутствовала в QlikView, но здесь она развита до абсолюта и становится чуть ли не основным способом построения интерфейса. Причем легким, красивым и удобным способом.
QlikView и Qlik Sense имеют различный пользовательский интерфейс, но практически одинаковый алгоритм анализа, а это означает, что привычные, по платформе QlikView, скрипты и формулы работают точно так же и на платформе Qlik Sense. Скрипты из QlikView в Qlik Sense можно вообще перенести копипастом.
Если использовать терминалогию самой компании Qlik, то QlikView предназначен для «Guided Analytics», а Qlik Sense – для «Self-service data discovery». Иными словами:
Обе системы совместимы с разнородными источниками данных и позволяют делать как обобщенные анализы, так и разворачивать отбор вплоть до конкретных проблемных транзакций и сразу же делать выводы по текущей ситуации в компании. Если обобщить назначение двух продуктов, то, QlikView создан для продвинутых аналитических задач. При этом, конечный пользователь имеет полную свободу, чтобы исследовать данные. В QlikView, конечно же, можно создавать аналитические отчеты, но QlikSense значительно упрощает эту задачу и позволяет создавать собственные элементы визуализации быстрее и вариативнее. С точки зрения глубины аналитики, никаких различий нет, а вот с простотой построения аналитических приложений – Qlik Sense настоящий помощник исследователя данных. В Qlik Sense закладка «Главные элементы» содержит все типы визуализацией, которые легко перетягиваются на рабочее поле листа, тем самым, вы уже добавляете новую визуализацию т.е. многие опции опрощены до drag-and-drop. Выборки в Qlik Sense работают с функцией Global Selectors, т.е. система нам сама раскрашивает и отбирает поля для приложения.
В QlikView на точечных диаграммах для выборки был доступен только элемент выделения квадрат, а в Qlik Sense есть отличное решение – Лассо, что кастомизирует и упрощает отборы данных в процессе исследования данных. Qlik Sense может загружать данные не только при помощи скрипта как в QlikView, но и drag-and-drop-ом файла в секцию быстрой загрузки – очень удобно для файлов Excel. Подключения веб-файлов позволяет загружать данные из Интернета – просто, быстро и в духе времени. Визуализация и дэшборды в Qlik Sense стали еще нагляднее и красивее.
Приложения действительно и удобны и стильно выглядят. Можно менять цвета визуалов и смотреть превью разработанных панелей. Что еще приятно – так это быстрая геоаналитика с подключением к модулю OpenStreetMap.
Если есть потребность в обмене данными с коллегами, можно опубликовать свой дэшборд на сервер Qlik Sense или в облаке Qlik Cloud (доступно и для бесплатной версии Qlik Sense на объем 1 Гб, при максимальном объеме приложения в облаке – 25 Мб). Нам, как экспертам в BI, очень импонирует Qlik Sense как удобный простой и недорогой инструмент для бизнес-пользователя. Он легко решает задачи по созданию привлекательных визуализаций на лету при помощи встроенных библиотек данных и создания историй данных, с функцией drag-and drop и обилием визуалов.
Таким образом, основным функциональными отличиями (с точки зрения конечного, неподготовленного пользователя) QlikView от Qlik Sense являются возможности визуального представления аналитических данных.
Ключевое же различие заключается в позиционировании: QlikView –позиционируется как корпоративная платформа, а Qlik Sense позиционируется как инструмент персонального исследования данных конечным пользователем.
В этой таблице, мы постарались свести и сравнить основные отличия QlikView от Qlik Sense в части возможностей визуализации.
Технические отличия BI систем (Power BI, Qlik Sense, Tableau)
Время необходимое на прочтение 11 минут
Мы и Квадрат Гартнера 2019 BI 🙂
Рисунок 1. Gartner BI Magic Quadrant 2019
Меня зовут Андрей, я руководитель отдела аналитики компании Аналитикс Групп. Мы строим наглядные отчёты по маркетингу, продажам, финансам, логистике, другими словами занимаемся бизнес аналитикой и визуализацией данных.
Я со своими коллегами уже несколько лет работаем с различными BI платформами. Имеем весьма неплохой опыт проектов, что позволяет нам сравнивать платформы с точки зрения разработчиков, аналитиков, бизнес-пользователей и внедренцев BI систем.
У нас будет отдельная статья по сравнению цен и визуальному оформлению этих BI систем, поэтому тут постараемся оценить эти системы именно с точки зрения аналитика и разработчика.
Выделим несколько направлений для анализа и оценим по 3 бальной системе:
— Порог вхождения и требования к аналитику;
— Источники данных;
— Очистка данных, ETL (Extract, Transform, Load)
— Визуализации и разработка
— Корпоративная среда — сервер, отчеты
— Поддержка мобильных устройств
— Embedded (встроенная) аналитика в сторонние приложения/сайты
1. Порог вхождения и требования к аналитику
Power BI
Я видел много пользователей Power BI, которые не были ИТ специалистами, но могли создать неплохой отчет. Power BI использует тот же язык запросов, что и Excel — Power Query и язык формул DAX. Многие аналитики хорошо знают Excel, поэтому перейти на эту BI-систему у них получается довольно легко.
Большинство действий достаточно не сложно выполняются в редакторе запросов. Плюс есть расширенный редактор с языком M для профессионалов.
Рисунок 2. Конструктор запросов Power BI
Qlik Sense
Qlik Sense выглядит очень дружелюбно — небольшое количество настроек, быстрая возможность создать отчет, можно использовать конструктор загрузки данных.
Поначалу он кажется проще чем Power BI и Tableau. Но из опыта скажу, что через некоторое время, когда аналитик создаст пару простых отчетов и ему понадобится что-то более сложное, он столкнется с необходимостью программировать.
Qlik обладает очень мощным языком загрузки и обработки данных. Есть собственный язык формул Set Analysis. Поэтому аналитик должен уметь писать запросы и соединения, помещать данные в виртуальные таблицы, активно пользоваться переменными. Возможности языка очень широкие, но он потребует его изучения. Наверно все аналитики Qlik, которых я знаю, имеют какой-то серьезный ИТ бэкграунд.
Интеграторы Qlik, вроде нас, часто любят рассказывать про ассоциативную модель, когда при загрузке данных все они помещаются в оперативную память, а связь между данными осуществляется внутренним механизмом платформы. Что при выборе значений, не производится внутренних подзапросов, как в классических базах данных. Данные выдаются почти мгновенно за счет заранее проиндексированных значений и связей.
Правда на практике это приводит к созданию автоматических соединений таблиц, при совпадении названий полей. Например, нельзя иметь разные таблицы без связей, у которых будет одинаковое поле. К этому надо привыкнуть. Приходится либо переименовывать столбцы и следить, чтобы имена не совпадали, либо сводить все таблицы фактов в одну и окружать их справочниками по типу “звезда”. Наверно новичкам удобно, а опытным аналитикам уже без разницы.
Типичный интерфейс по загрузке и обработке данных для аналитика выглядит так.
Рисунок 3. Редактор загрузки данных Qlik Sense, таблица Calendar
Заметка: В Power BI ситуация обычно выглядит иначе, ты оставляешь разные таблицы фактов и справочников, можешь вручную соединять таблицы классическим способом, т.е. сопоставляю столбцы друг другу вручную.
Tableau
Tableau разработчики позиционируют как BI с удобным и дружелюбным интерфейсом, который позволит аналитику самостоятельно изучать свои данные. Да, у нас в компании были аналитики, которые без ИТ опыта могли делать свои отчеты. Но оценку Tableau снижу по нескольким причинам:
— Слабая локализация с русским языком
— Сервера Tableau Online находятся не в РФ
— Довольно простой конструктор загрузки начинает вызывать проблемы, когда нужно построить довольно сложную модель данных.
Рисунок 4. Конструктор загрузки данных Tableau
Один из вопросов, который мы задаём на собеседовании аналитикам по Tableau “Как построить модель таблиц фактов с таблицами справочниками, не приводя все в единую таблицу?!” Data Blending требует вдумчивого использования. Я много раз исправлял у своих аналитиков ошибки задвоения данных после таких объединений.
Плюс у Tableau довольно своеобразная система, когда ты каждый график делаешь на отдельном листе Sheet, а потом создаешь Dashboard, где начинаешь размещать созданные листы. Потом можно создать Story, это комбинация разных Dashboard. Разработка в Qlik и Power BI в этом плане проще, ты сразу накидал на лист шаблоны графиков, задал меры и измерения и Dashboard готов. Трудозатраты на подготовку в Tableau мне кажется из-за этого возрастают.
2. Источники данных и загрузка
В этом разделе нет явного лидера, но мы выделим Qlik из-за пары приятных особенностей.
Tableau в бесплатной версии ограничен в источниках, но мы в наших статьях больше ориентируемся на бизнес, а бизнес может позволить себе коммерческие продукты и аналитиков. Поэтому Tableau не стали снижать оценку по этому параметру.
Рисунок 5. Список возможных источников Tableau
В остальном, список источников везде впечатляет — все табличные файлы, все стандартные базы данных, web подключения, все везде работает. Я не сталкивался с нестандартными хранилищами данных, там возможно есть свои нюансы, но в большинстве случае у вас не будет проблем с загрузкой данных. Исключение, пожалуй только 1С. Прямых коннекторов к 1С нет.
Партнеры Qlik в России продают свои собственные коннекторы по 100 000 — 200 000 руб., но в большинстве случае дешевле сделать выгрузки из 1С на FTP в Excel или базу данных SQL. А можно опубликовать базу 1С в вебе и подключаться к ней по протоколу Odata.
PowerBI и Tableau умеют это стандартно, а вот Qlik попросит платный коннектор, поэтому тут тоже проще выгрузить в промежуточную базу данных. В любом случае вопросы все вопросы по подключениям можно решить.
Рисунок 6. Список возможных источников Qlik Sense
Дополнительно стоит отметить особенность Qlik, что отдельным продуктом они поставляют как платные, так и бесплатные коннекторы.
Рисунок 7. Дополнительные коннекторы Qlik Sense
Из опыта добавлю, что при больших объемах данных или многочисленных источниках не всегда целесообразно подключать сразу BI систему. В серьезных проектах обычно используется хранилище данных, база данных с уже подготовленными для анализа данными и т.д. Нельзя взять и выгрузить скажем 1 миллиард записей в BI систему. Тут уже нужно продумывать архитектуру решения.
Рисунок 8. Источники данных Power BI
Но почему же выделили Qlik? Мне очень нравится 3 вещи:
— QVD файлы
Собственный формат хранения данных. Иногда можно построить серьезные коммерческие проекты только на QVD файлах. Например, первый уровень — сырые данные. Второй уровень — обработанные файлы. Третий уровень — агрегированные данные и т.д. Эти файлы можно использовать в разных приложениях, за них могут отвечать разные сотрудники и сервисы. Скорость загрузки из таких файлов в десять раз быстрее чем из обычных источников данных. Это позволяет экономить на базе данных и обмениваться информацией между различными приложениями Qlik.
— Инкрементальная загрузка данных
Да, Power BI и Tableau также могут это делать. Но Power BI потребует дорогой Premium версии, а в Tableau нет той гибкости, как в Qlik. В Qlik на QVD файлах вы может делать слепки систем на разное время и потом обрабатывать эти данные как вам угодно
— Подключение внешних скриптов
Помимо QVD файлов для хранения данных, в Qlik код скрипта также можно вынести за пределы приложения и подключать командой Include. Это уже позволяет организовывать командную работу, использовать системы контроля версий, управлять единым кодом для разных приложений. В Power BI есть расширенный редактор запросов, но такой командной работы у нас не получилось настроить как в Qlik. Вообще у всех BI есть с этим проблемы, управлять одновременно и данными, и кодом, и визуализациями во всех приложениях из единого места просто невозможно. Максимум, что нам удалось сделать, это вынести QVD файлы и код скриптов. Визуальные элементы приходится редактировать внутри самих отчетов, что не позволяет нам массово менять визуализации у всех клиентов одновременно.
А как же такой механизм как Live соединение? Tableau и Power BI поддерживают LIVE соединение к ряду источников, в отличие от Qlik. К этой фиче мы относимся довольно равнодушно, т.к. практика показывает, что когда речь идет о больших данных работать с LIVE соединением становится просто невозможно. А BI в большинстве случаев и нужно для больших данных.
3. Очистка данных, ETL (Extract, Transform, Load)
В этом разделе у меня 2 лидера, Qlik Sense и Power Bi.
Скажем так, Qlik мощно, но сложно. Разберетесь в их SQL подобном языке и вы сможете почти все — виртуальные таблицы, соединения и объединение таблиц, пробежаться циклом по таблице и сгенерировать новые таблицы, куча команд по обработке строк. Например, поле в 1 ячейке, которое забито данными вида “Иванов 851 Белый” на лету можно разложить не только на 3 столбца (как все умеют), а сразу и на 3 строки например. Тоже самое на лету сделать объединение 3 строк в 1 тоже легко.
Рисунок 9. Как загрузить и транспонировать таблицу в Qlik Sense из Google Sheets
Power BI в этом плане представляется попроще, но большинство задач легко решается через конструктор запроса. Выставил ряд параметров, транспонировал таблицу, поработал над данными, и все это без единой строчки кода.
Рисунок 10. Как загрузить и транспонировать таблицу в Power BI из AmoCRM
У Tableau мне кажется другая идеология. Они больше за красоту и дизайн. Подключить кучу разных источников, объединить их все и обработать внутри Tableau мне кажется очень тяжело. В коммерческих проектах в большинстве случаев для Tableau уже подготавливаются и аккумулируются данные в хранилищах и базах данных.
Рисунок 11. Как загрузить и транспонировать таблицу в Tableau
4. Визуализации
В этом разделе мы не стали выделять лидера. У нас будет отдельная статья, где мы на примере одного кейса покажем один и тот же отчет во всех 3 системах (Статья «Аналитика девушек с низкой социальной ответственностью „). Тут больше дела вкуса и мастерства аналитика. На просторах интернета можно найти очень красивые картинки, построенные на базе любой из этих систем. Базовые возможности визуализаций примерно одинаковые у всех. Остальное решается использованием Extensons. Есть платные, бесплатные. Есть расширения от самих вендоров, так и от фрилансеров и интеграторов. Вы сами можете написать собственное расширение визуализации для любой платформы.
Мне нравится стиль Tableau, считаю его строгим и корпоративным. Но получить по настоящему красивую картинку в Tableau тяжело. Отличный пример визуализации Tableau, где использованы одни расширения. Я не смогу так повторить, т.к. у меня нет этих расширений, но смотрится красиво.
Рисунок 12. Внешний вид отчетов Tableau c Extensions
Power BI можно тоже сделать интересно.
Рисунок 13. Внешний вид отчетов Power Bi c Extensions
Единственное, чего я не понимаю в Power BI почему у них такие странные цвета по умолчанию. На любом графике я вынужден менять цвет на свой фирменный, корпоративный и удивляюсь стандартной расцветке.
Qlik Sense также зависит от Extensions. Использование дополнений может изменять отчеты до неузнаваемости. Также можно накатить свою тему и оформление.
Рисунок 14. Внешний вид отчетов Qlik Sense c Extensions
C точки зрения разработчика мне удобнее Qlik Sense из-за стандартных опций как альтернативные измерения и меры. Можно в настройках визуализации задать несколько измерений и мер, и пользователь может легко сам задать что ему смотреть на том или ином графике.
В Power Bi и Tableau мне приходится настраивать параметры, кнопки, программировать поведение системы в зависимости от этих параметров. Удивляюсь, почему так сложно. Тоже самое с возможностью изменить вид вилуазилизаций.
В Qlik можно в одном объекте спрятать разные виды визуализаций, а в Power BI и Tableau c этим сложнее. Опять же, тут больше зависит от мастерства исполнителя. Можно в любой системе сделать шедевр, а без опыта везде будут получаться невыразительные графики.
5. Корпоративная среда — сервер, отчеты
Все продукты имеют корпоративные серверные версии. Я работал со всеми редакциями и могу сказать, что у всех есть сильные и слабые стороны. Выбор продукта должен подбираться из ваших требований к ПО с учетом их нюансов. У всех вендоров можно раздавать права как на уровне учетных записей и групп, так и на уровне Data Row Level Security. Доступно автоматическое обновление отчетов по расписанию.
Qlik Sense Enterprise отличная возможность построить аналитику внутри вашей организации для среднего бизнеса. Это может показаться дороже чем Power BI Pro, но не надо забывать, что сервера Power BI Pro находятся в облаке на территории Microsoft и на производительность вы не можете повлиять, а когда вам нужен будет Power BI Premium, который можно развернуть на ваших серверах, то цена начинается от 5000$ в месяц.
Qlik Sense Enterprise стартует от 230 000 руб. на 5 лицензий (плата за год, далее только тех.поддержка), что гораздо доступнее чем Power BI Premium. И Qlik Sense Enterprise позволит использовать все возможности Qlik. Пожалуй кроме одной. Почему-то Qlik решили, что такая функция как возможность отправлять отчеты в PDF по электронной почте должна поставляться в виде отдельного сервиса NPrinting.
Но Qlik Sense Enterprise мощнее чем Power BI Pro и поэтому тут можно сделать следующее сравнение.
Qlik Sense Enterprise = Power BI Premium, при равных возможностях получается дешевле при средних внедрениях. Крупные внедрения обычно просчитываются уже на стороне вендора, там они могут давать индивидуальные условия под вашу компанию.
В этом плане мы дадим предпочтение Qlik Sense Enterprise, там есть все возможности построить серьезную аналитику на огромных данных. По нашему мнению на больших массивах Qlik будет работать быстрее Power BI, на конференциях Qlik попадались клиенты, которые вначале тестировали свои данные в миллиарды записей и Power BI показывал хуже результат.
Рисунок 15. Внешний вид отчетов сервера Qlik Sense Enterprise
Qlik Sense Cloud = Power BI Pro. Qlik Sense Cloud получается в 1.5 раза дороже* и там есть весьма существенное ограничение, которое нам не позволяет эту платформу. Нельзя использовать Extensions, даже встроенные. А без расширений Qlik несколько теряет свою визуальную красоту.
Рисунок 16. Внешний вид панели управления Power BI Pro
*Альтернативным вариантом является использование Qlik Sense Enterprise по подписке. Но чтобы эта статья не воспринималась как рекламная, своё ценообразование мы освещать не станем
А Tableau стоит немного в стороне для нас. У них есть как облачные подписки по 70$ на разработчика и 15$ на просмотр, так и дорогие серверные решения. Но основная идея Tableau, что для больших данных нужно обработку данных и их хранение организовывать на стороне. Объективно меньший функционал не позволить произвести серьезную обработку данных в Tableau. Визуализировать, анализировать, да. Но для маленького и среднего бизнеса обычно создавать отдельное хранилище бывает проблемно. Я бы занизил бал для Tableau поэтому, если бы не их 1 фишка. Сервер Tableau без проблем отправляет письма по электронной почте по расписанию с вложениями в CSV или PDF. Причем можно делать раздачу прав, автофильтров и прочее. Power BI и Qlik почему то так не могут, а кому то это может быть критично. За счет этого Tableau выдерживает позицию в нашем споре.
Рисунок 17. Внешний вид панели управления Tableau Server
Также в корпоративной среде нужно подумать о стоимости внедрений и обслуживания. В России сложилась практика, что Power BI более распространен в малом бизнесе. Это привело к появлению большого количества вакансий и резюме, появлению небольших интеграторов. Это позволит найти специалистов для небольшого проекта. Но скорее всего у всех у них не будет опыта больших внедрений и работы с большими данными. Qlik и Tableau наоборот. Партнеров Qlik немного, а Tableau и еще меньше. Эти партнеры специализируются на больших внедрениях с большим средним чеком. Вакансий и резюме на рынке не много, порог вхождения в эти продукты сложнее чем в Power BI. Но в России есть успешные внедрения этих продуктов на тысячи пользователей и эти продукты хорошо показывают себя на больших данных. Необходимо просто понимать слабые и сильные стороны продуктов применительно именно к вашему бизнесу.
6. Поддержка мобильных устройств.
В этом разделе мы выделим Power BI и Tableau. Вы можете установить мобильные приложения и они довольно адекватно будут смотреться на экранах мобильных устройств. Хотя нам кажется аналитика на мобильных устройствах проигрывает аналитике на ПК. Все таки не так удобно пользоваться фильтрами, картинки маленькие, цифры плохо видно и т.д.
Рисунок 18. Внешний вид отчета Power BI на iPhone
Рисунок 19. Внешний вид отчета Tableau на iPhone
Рисунок 20. Внешний вид отчета Qlik Sense на iPhone
Почему занизили баллы Qlik? По непонятным нам причинам мобильный клиент доступен только на iPhone, на Android придется пользоваться обычным браузером. Плюс при использовании Qlik сразу приходится понимать, что ряд Extension или визуализаций не уменьшаются или авто позиционируются в мобильных устройствах как ожидается. Отчет который очень красиво смотрится в ПК, на маленьком экране выглядит гораздо хуже. Приходится для мобильных устройств делать отдельный отчет, где убирать фильтры, KPI и еще ряд объектов. Это также касается Power BI или Tableau, но в Qlik особенно сильно проявляется. Мы надеемся Qlik еще поработает над своим мобильным клиентом.
Если у вас много времени планируется проводить аналитику именно с мобильных устройств, то имеет смысл поставить все 3 клиента и на тестовых отчетах проверить их отображение. Любой вендор на своем сайте имеет галерею тестовых отчетов для ознакомления.
7. Embedded (встроенная) аналитика в сторонние приложения/сайты
Использование аналитики как стороннего сервиса не всегда удобно. Возможно вы разрабатываете свой продукт, но не готовы заняться разработкой визуализации и движка аналитики с нуля. Возможно вы хотите развернуть аналитику на своем сайте, чтобы клиент сам регистрировался, загружал свои данные и проводил анализ внутри личного кабинета. Для этого вам необходима встроенная аналитика (Embedded).
Все продукты позволяют это сделать, но в этой категории мы выделим Qlik.
Power Bi и Tableau однозначно говорят, что для таких целей нужно покупать отдельный продукт Tableau Embedded Analytics или Power BI Embedded. Это не дешевые решения в тысячах долларов за месяц, что сразу ограничивает их использование. Большинство проектов сразу становится нерентабельными для наших клиентов. Имеется в виду, что вам нужно не просто опубликовать отчет всей сети Интернет, а обеспечить публикацию отчетов согласно определенных доступов, с защитой данных, авторизацией пользователей и т.д.
А Qlik позволит вам выкрутиться. Конечно, у них тоже есть Qlik Analytics Platform который лицензируется на сервер и организует неограниченное количество подключений. Это также будет дорого как и конкуренты Tableau и Power Bi. И в случае с неограниченными подключениями вариантов особо нет.
Но в Qlik есть такое понятие как Mashup. Допустим у вас есть Qlik Sense Enterprise и 10 лицензий. Стандартная аналитика, внешний вид, все уже надоело. Вы поднимаете собственный сайт или приложение, и можете внедрить всю свою аналитику прямо туда. Фишка в том, что упрощенно говоря, Mashup это визуализация в программном коде. По API вы можете программно задать создание визуализации внутри вашего приложения или сайта. Qlik Sense Enterprise вам по прежнему будет нужен для лицензирования (лицензии на подключения к сайту = лицензиям на подключения к BI), для загрузки данных и т.д., но визуализации будут уже отображаться не на стороне этого сервера, а встраиваться к вам в приложение или сайт. Вы можете использовать CSS стили, задавать новые шрифты, цвета. Ваши 10 пользователей теперь не будут заходить на сервер аналитики, а будут пользоваться вашим корпоративным порталом или приложением. Аналитика выйдет на новый уровень.
Рисунок 21. Внешний вид отчета Qlik Sense внедренного на веб-сайт
Уже сложно будет понять где элементы сайта, а где уже начинается Qlik Sense.
Конечно, вам потребуется программист, а даже скорее несколько. Один для веб-программирования, один для работы с API Qlik. Но результат того стоит.
Выводы. Подведем итоги.
Сложно однозначно сказать, кто лучше, а кто хуже. Power BI и Qlik в нашем соревновании идут наравне, Tableau чуть уступает. Но возможно для вашего бизнеса результат будет другой. В BI платформах очень важна визуальная составляющая. Если вы посмотрели десятки демо отчетов и картинок в интернете по всем BI системам и вам не нравится как выглядит одна из платформ, то скорее всего вы ее не будете внедрять, даже если вас устраивает цена или тех. характеристики.
Далее вам обязательно нужно будет просчитать стоимость лицензий, внедрения и содержания BI платформы. Возможно в вашем случае будет выявлен лидер. Большое значение имеет подрядчик или возможность нанять подходящего специалиста. Без профессионалов в любой платформе результат будет плачевным.
Успешных вам BI-интеграций, Андрей и Владимир, Аналитикс Групп