Как кластеризовать в кей коллекторе
Анализ групп
Инструмент анализа групп позволяет кластеризовать фразы (сгруппировать похожие) и расположен на вкладке «Данные».
Поддерживаются несколько алгоритмов группировки фраз:
Вы можете выбрать подходящий вид группировки, указать параметры анализа и запустить сбор. Результаты кластеризации сохраняются в проекте, и к ним можно вернуться позже, даже после перезагрузки программы или смены проекта.
Окно анализа групп
Группировка по отдельным словам
Программа объединяет в группы фразы, имеющие пересечения по их составным частям — отдельным словам. Каждая группа состоит из фраз, имеющих в составе одно и то же слово.
Данный режим группировки удобен для оценки состава фраз при начальной кластеризации семантического ядра и при составлении списка минус-слов.
Группировка по составу фраз
Программа объединяет в группы похожие фразы. Чем больше фразы похожи друг на друга — тем с большей вероятностью они окажутся в одной группе.
Этот режим удобен для автоматической кластеризации семантического ядра.
Группировка по поисковой выдаче
Программа объединяет в группы фразы с похожей поисковой выдачей. Чем больше совпадений между результатами поисковой выдачи по запросам — тем с большей вероятностью они окажутся в одной группе.
Этот режим удобен для автоматической кластеризации семантического ядра.
Группировка по конкурентам в поисковой выдаче
Программа выполняет поиск наиболее сильных конкурентов по заданному набору фраз и группирует фразы по принадлежности к найденным конкурентам.
Создание структуры
Результаты группировки могут быть перенесены в проект через создание структуры.
Шаг 1. Нажмите кнопку «Создать структуру» на панели инструментов. Откроется окно параметров выполнения операции.
Шаг 2. Структура может быть создана для помеченных или выделенных групп. Как правило, удобней работать с помеченными группами. Статус пометки находится справа от названия группы, помеченные группы подсвечиваются зеленым цветом (см. скриншот).
Шаг 3. Выбранные на шаге 2 группы могут быть созданы на корневом уровне проекта или внутри активной группы. Выберите подходящий режим.
Шаг 4. Выберите тип операции: копирование или перенос. При переносе одна и та же фраза может быть перенесена только единожды, т.е. она не будет продублирована во все целевые группы.
Шаг 5. Выберите источник фраз: только отмеченные фразы или все фразы сформированной группы.
Шаг 6. Для достижения эффекта этот шаг нужно выполнять в самом начале перед вызовом инструмента создания структуры. По умолчанию группы создаются в проекте с автоматически сформированными заголовками, однако вы можете переопределить заголовок группы на свой более подходящий. Если несколько групп будут иметь одинаковый заголовок, то их фразы попадут в общую группу с определенным самостоятельно заголовком (дублирования групп не произойдет).
Drag & Drop (перетягивание) групп и фраз
Если вам удобно работать с операцией Drag & Drop (перетягивать элементы мышкой), вы можете выделить интересующие вас группы фраз или фразы внутри групп и перетянуть их в область заголовка группы.
При перетягивании групп можно выбрать вид операции: скопировать/перенести только фразы из выделенных групп в целевую группу либо создать подгруппы внутри целевой группы и наполнить их фразами, сохраняя структуру.
При перетягивании фраз открывается диалог инструмента «Копировать/перенести фразы» для реальных фраз в проекте, которые вы видите на вкладке «Ключевые слова».
Перед вызовом инструмента всплывает окно с предложением скрыть перетянутые фразы из таблицы временных результатов группировки. Вы можете воспользоваться предложением и скрыть перетянутые фразы, чтобы они не мешали и чтобы визуально зафиксировать «обработку» фраз вручную.
При согласии фразы скрываются еще до выполнения фактической операции копирования/переноса.
Если вы согласились со скрытием фраз по ошибке, то ничего страшного не произошло: фразы по-прежнему хранятся в проекте и в результатах группировки, но просто скрыты. Для повторного отображения скрытых по ошибке фраз можно создать новую группировку.
Пометка групп
При выполнении многих операций в таблице результатов группировки действие может касаться только помеченных групп.
Для пометки групп используйте специальную колонку справа от названия группы.
Использование столбца пометки добавляет свободу при выполнении операции, т.к. этот статус сохраняется в результатах группировки, не зависит от статуса отметки фраз внутри групп или текущего выделения в таблице.
Для удобства предусмотрены функции автоматизации пометки групп. Нажмите на иконку в заголовке колонки для раскрытия меню.
Сохранение результатов
В процессе работы вы можете удалять и отмечать фразы, менять состав групп и запросов в них, задавать комментарии к группам, определять собственные заголовки и пр.
Все эти действия относятся именно к результатам группировки. Однако чтобы они вступили в силу, необходимо нажать «Применить изменения» на панели инструментов.
В окне вы можете настроить параметры сохранения изменений. Внешний вид окна может незначительно отличаться для каждого из видов группировки.
До тех пор пока вы не сохраните изменения в результатах группировки, удаленные фразы, например, не будут удалены из реальных групп в проекте.
Вопросы и ответы
Раньше отметка между результатами группировки и основной таблицей автоматически синхронизировать, а теперь нет. Как работать без синхронизации?
Действительно, интерфейс Key Collector 3 не был гибким, поэтому единственным способом взаимодействия с данными являлась связь через статус отметки фраз в таблице.
В Key Collector 4 вы можете создавать группы, структуру и переносить запросы без синхронизации отметки напрямую.
Для создания структуры групп вы можете пометить нужные группы, а затем нажать кнопку создания структуры на панели инструментов.
Также можно просто выделить нужные группы и перетащить их в дерево групп. Операция может быть выполнена как на уровне выделенных групп (будут созданы соответствующие группы и обработаны входящие в них фразы), так и на уровне входящих в них фраз (будут обработаны все фразы набора групп в выбранную целевую группу).
Для переноса или копирования фраз в целевую группу больше не требуется синхронизировать отметку и выбирать в списке целевую группу. Вместо этого можно сразу перетащить выделенные фразы в целевую группу жестом перетягивания.
Если по каким-то причинам вам нужно именно синхронизировать отметку с основной таблицей-источником, то нажмите кнопку применения изменения на панели инструментов.
Анализ по тегам
Принципиально другой подход предлагается на основе системы тегов. Вы можете ввести теги для групп, а затем фразы будут полуавтоматически распределяться на основе этих ассоциативных связей.
Кластеризация запросов в Key Collector
Продолжаем цикл статей на тему автоматизации разработки рекламных кампаний для интернет-магазина: кластеризуем ядро!
После прочтения статей вы научитесь: оптимизировать кампании в Excel методами, которые используются в оптимизаторах конверсий; автоматически собирать семантику, сегментировать и создавать объявления; прогнозировать конверсию на базе истории и многое другое.
Материал сложный и раскрывает только базовые подходы к автоматизации, чтобы задать вам вектор развития.
В прошлой статье мы распарсили наши запросы с конверсиями, в этом нам нужно его кластеризовать вместе с полученными входящими запросами.
На ряду с обычными методами сбора ключевых слова «руками» есть метод расширения семантического ядра путем кластеризации запросов или группировки.
Что такое группировка ключевых слов?
Группировка ключевых слов — объединение пересекающихся по поисковой выдаче запросов в группы или кластеры, для более удобного управления рекламными кампаниями или составления структуры сайта. Часто после парсинга вы получаете файл с тысячами и даже десятками тысяч ключевых слов, но среди них всегда есть очень похожие.
Простой пример: «купить огнетушитель для дома» и «огнетушитель для дома в москве», поисковая выдача по ним может иметь много одинаковых страниц, а значит для этих ключевых слов можно использовать одно объявление и вести на одну и ту же страницу вашего сайта.
В 2020 эту задачу можно решить с помощью сервисов автоматической кластеризации. В рамках данной статьи не будем подробно их рассматривать, но отметим, что наш способ очень экономный, особенно при больших объемах ключевых слов
Собственно, из этой простой технологии вытекает интересная возможность автоматизации контекстной рекламы, которую мы рассмотрим в цикле статей по разработке рекламной кампании с применением кластеризации ключевых слов.
Мы можем помочь вам настроить контекстную рекламу, оставьте заявку или напишите в чат.
Настройка Кей Коллектора
Нам нужно взять наши запросы с конверсиями и к ним «примагнитить» входящие запросы, который мы распарсили ранее. Для этого нам нужно спарсить для всех запросов поисковую выдачу и соотнести все запросы с друг другом по выдаче. Это и называется кластеризация семантического ядра.
Парсить выдачу для 30 000 запросов, это многовато 🙂 Поэтому используем сервис xmlproxy.ru, там 1 запрос стоит 0,005 рублей, в итоге 30 000 * 0,005 будет всего 150 рублей, это супер дешево!
Регистрируемся, пополняем баланс и копируем адрес для запросов.
Адрес вставляем в настройки Key Сollector, как на скрине. Правим настройки, можно установить аж 100 потоков!
Теперь можете создать тестовый запрос и проверить, как у вас все работает. Должны собираться ссылки до 10-ой позиции.
Группировка семантического ядра
Теперь создаем новую группу и копируем в нее слова после парсинга и слова с конверсиями. Слова после парсинга необходимо предварительно лемматизировать, как мы делали ранее.
Теперь запускаем сбор данных, как мы делали ранее и ждем.
После парсинга группируем слова на основании схожести поисковой выдачи, для этого используем следующие параметры. Нажимаем Вычислить группировку, группировка может занимать до часа времени.
Экспортируем группы и ключевые слова.
Все, вот и вся кластеризация! Исследование на выявление отличий алгоритма кластеризации в KC и онлайн-сервисов мы не проводили.
Стоит признать, что после 100 запросов Key Collector начинает глючить, поэтому нам пришлось арендовать сервер и написать свое ПО для парсинга и кластеризации больших массивов.
Пишите вопросы в комментариях, какие темы было бы интересно раскрыть подробнее? Если у вас есть идеи или советы, то делитесь!
Подпишитесь на Facebook или Телеграмм, чтобы не пропустить новые статьи
Разделяешь наш подход? Вступай в команду!
Группировка по поисковой выдаче
Алгоритм объединяет в группы фразы с похожей поисковой выдачей. Чем больше совпадений между результатами поисковой выдачи по запросам — тем с большей вероятностью они окажутся в одной группе.
Данный режим группировки удобен для автоматической кластеризации семантического ядра.
Группировка по поисковой выдаче v.3 использует другой алгоритм объединения фраз по объединению и пересечению признаков (также известный как SOFT и HARD). Она способна быстро и качественно разгруппировать большие объемы фраз.
После завершения анализа в главную рабочую область добавляется вкладка с результатами группировки (1). Вы можете переименовать эту вкладку позже при сохранении изменений.
Вкладка содержит таблицу результатов группировки (2). Здесь фразы сгруппированы согласно выставленным настройкам. Каждая группа имеет дополнительные поля с размерностью группы (кол-во фраз), колонку статуса пометки, колонку произвольного комментария и колонку переопределенного заголовка группы. Также имеется колонка с функциональными кнопками.
В панели состояния добавляется блок счетчиков (3) фраз и групп в результатах группировки: общее кол-во фраз и групп, кол-во отмеченных фраз и групп, кол-во выделенных фраз и групп.
Для работы с результатами группировки в ленту инструментов добавляется группа контекстных вкладок «Анализ групп» (4).
Работа с результатами
Внутри каждой группы отображаются фразы вместе со статистикой из основной таблицы данных. Поддерживается сортировка и фильтрация данных.
Колонка «Коэфф.» (коэффициент) отражает степень связи между фразами в группе: чем больше значение коэффициента — тем более похожи фразы внутри группы.
Редактирование группировки
Группировка по составу фраз может скорректирована вручную: группы могут быть созданы или удалены, фразы могут быть перемещены между группами.
Создание структуры
Вы можете скопировать структуру, полученную в результатах группировки, в основные группы проекта.
Настройки
Рассматривать только отфильтрованные фразы
При использовании этой опции только фразы, удовлетворяющие текущим условиям фильтрации в группе, будут рассматриваться алгоритмом.
Опция может потребоваться при необходимости выполнить группировку некоторого подмножества фраз в большой группе.
Следить за статусом отметки в группах
Группа фраз в результатах группировки имеет статус отметки, вычисляемый на основе статусов отметки фраз внутри этой группы.
Вычисление состояния этого элемента интерфейса занимает время, и это может ощущаться при работе с огромными проектами.
Если опция выключена, программа не пытается автоматически обновлять это состояние.
Если вы ощущаете замедление работы интерфейса программы, можно попробовать отключить эту опцию.
Таблица результатов содержит столбец «Сумма»для каждой группы.
В нем отображается сумма значений выбранного в параметре «Колонка суммы» параметра для всех фраз внутри группы.
Если вы используете этот столбец для сортировки или фильтрации групп в результатах, укажите столбец суммы. В остальных случаях можно этого не делать, чтобы не выполнять лишние вычисления.
Таблица результатов содержит столбец «Ср.зн.» (среднее значение) для каждой группы.
В нем отображается среднее арифметическое значений выбранного в параметре «Колонка средних» параметра для всех фраз внутри группы.
Если вы используете этот столбец для сортировки или фильтрации групп в результатах, укажите столбец средних. В остальных случаях можно этого не делать, чтобы не выполнять лишние вычисления.
Сила группировки определяет минимальный порог совпадений между любыми двумя фразами, чтобы алгоритм начал рассматривать их как похожие фразы для включения в одну группу.
Если требуется получить более широкие группы, то уменьшите силу группировки, а если нужны группы сильно похожих друг на друга запросов — увеличьте силу.
Параметр минимального размера группы определяет, сколько фраз должно минимально содержаться в группе для ее создания.
Если алгоритм не смог найти заданное кол-во подходящих для включения в единую групп фраз, то он попытается распределить эти фразы по другим ранее сформированным группам допустимого размера.
Если указать слишком большой минимальный размер группы, то много запросов могут не найти себе подходящей группы и останутся не сгруппированы. В этом случае можно попробовать уменьшить мин. размер группы.
Учитывать сперва сильные связи
В процессе группировки алгоритм сравнивает похожие друг на друга фразы и подсчитывает кол-во совпадений. Найденные похожие фразы могут иметь различное кол-во совпадений с рассматриваемой фразой.
Если опция включена, то на одном шаге алгоритм сгруппирует только наиболее тесно связанные фразы, а другие менее похожие отложит на потом для следующей итерации.
Использование данное опции может немного увеличить время анализа, а также может привести к формированию более точно подобранных и тесных групп.
Усиливать связи в группах
В процессе группировки алгоритм сравнивает похожие друг на друга фразы, подсчитывает кол-во совпадений и группирует фразы.
Если опция включена, то после завершения группировки алгоритм проверяет наличие более тесных связей для сгруппированных ранее фраз и перемещает их между группами при наличии возможности.
Например, если выясняется, что ранее сгруппированная фраза 1, допустим, по 5 совпадениям имеет похожую и тоже сгруппированную фразу 2 по 7 совпадениям (ее группа создавалась позже), то фраза 1 может быть перемещена в эту более подходящую и тесную группу.
Использование данное опции может увеличить время анализа, а также может привести к формированию более точно подобранных и тесных групп.
Вычислять лучшие фразы в группе
Если опция включена, то после завершения группировки алгоритм находит лучшие фразы в группе — фразы, которые больше всех похожи на все остальные фразы группы.
Лучшей фразой считается такая фраза, которая имеет наибольшее кол-во совпадений по критерию выбранного алгоритма группировки с остальными фразами рассматриваемой группы.
Просмотр списка лучших фраз возможен в таблице результатов группировки.
Записывать лучшую фразу в свой заголовок
Если опция включена, то после завершения группировки алгоритм находит лучшие фразы в группе, а затем записывает одну из них в поле «Свой заголовок» для каждой из найденных групп.
Лучшей фразой считается такая фраза, которая имеет наибольшее кол-во совпадений по критерию выбранного алгоритма группировки с остальными фразами рассматриваемой группы.
В дальнейшем вы можете лучше понимать суть найденных групп по найденным маркерным запросам. Также поле «Свой заголовок» может использоваться при создании структуры групп в качестве заголовка групп.
Просмотр списка лучших фраз возможен в таблице результатов группировки.
Показывать статистику групп
Если опция включена, то после завершения группировки под таблицей результатов появится панель статистики выделенной группы.
В настоящий момент там отображается метрика тренда по выбранной колонке.
Выберите колонку для исследования и выделите любую группу в таблице результатов. Программа подсчитает долю и кол-во каждого из уникальных значений в выбранной колонке для фраз группы.
Например, можно выяснить, какие страницы находятся в ТОП по снятым позициям. Или же распределение пользовательских комментариев.
Некоторые фразы могут остаться несгруппированными либо из-за их непохожести на остальные запросы, либо из-за высоких значений силы группировки, либо если алгоритм не нашел для них подходящей группы.
Эта опция определяет, что произойдет с такими фразами: они могут быть скрыты из результатов группировки, либо объединены в отдельную группу несгруппированных запросов.
Разбивать группы по силе
Если опция включена, то фраза 1 из рассмотренного выше примера не будет притягиваться к сильной связи степени M, а образует новую группу.
При группировке по поисковой выдаче вы можете захотеть на учитывать совпадения между фразами по некоторым популярным сайтам. Например, можно не учитывать аукционы, сервисы ПС и пр.
Собираю семантическое ядро для сайта в Key Collector 4
Всем привет! Давненько не виделись, а все потому что я застрял на этапе сбора семантического ядра. Нет что бы купить какой ни будь Ahrefs за 99$ в месяц и собрать ядро за неделю, я решил пойти по более сложному пути.
Моей целью стало найти бюджетное решение, которое в будущем не потребует ежемесячных капиталовложений. Иными словами не тратить деньги на платные сервисы, по сбору и кластеризацию семантики.
Есть такое мнение, что сервисы кластеризации выполняют свою задачу лишь на 40%. Оно к тому, что кластеризацию все равно нужно делать в ручную
Ниже я опишу свою бюджетную стратегию по сбору семантики и группировки. Мой способ не топовый, поэтому сильно не закидывайте меня камнями 🙂 Лучше поделитесь в комментариях: как вы собираете и кластеризируете свои ядра.
Для тех кто не в курсе, я хочу создать продуктовый сайт под студенческий трафик, где студенты будут заказывать курсовые работы. В прошлом посте я уже нашел домен и купил хостинг. Поставил на сайт заглушку в виде сео текста, и формы заказов из образовательной партнерки.
Анализируем сайты конкурентов
Рынок студенческих работ уже давно устоявшийся. Поэтому я возьму структуру у конкурентов, соберу по ней запросы, кластеризирую их, и переделаю на свой лад. С помощью сервиса SE Ranking и вкладки “Анализ конкурентов” вычисляем ТОП 10 сайтов конкурентов.
В строке поиска вводим название оффера партнерки, сайт: zachete.ru
Основные минусы этих сервисов — это ежедневные лимиты, и возможность просмотра не более десяти позиций, но и этого для начала нам будет достаточно. Рекомендую их, чтобы получить бесплатно базовую аналитику по каждому конкуренту.
Собираем стартовые ключи
Полученный список конкурентов заносим в таблицу, он еще пригодиться для дальнейшего продвижения проекта.
Проанализировав структуру каждого сайта, мы видим, что она у всех одинаковая. А все целевые запросы, типа курсовая, дипломная, реферат, находится разделе “Услуги”.
Таким образом из структуры сайта конкурентов мы получаем стартовые ключи, которые дальше нужно распарсить.
Типы студенческих работ
Далее… С нулевым бюджетом и стартовыми ключами можно пойти в Яндекс Вордстат, взять Excel или Google Таблицы, и закопаться еще на месяц — другой в ручной работе. Кто собирал семантику таким образом знает 😉
Поэтому чтобы ускорить процесс я купил себе Key Collector 4. Стоит это удовольствие всего 1800 рублей. Лицензия покупается один раз, и на всю жизнь. Основной плюс — отсутствие ежемесячной подписки.
В нем можно собирать семантику и делать кластеризацию. А еще мониторить позиции и много, много чего полезного. Главное, разобраться как!
Сбор семантики в Key Collector
На примере группы запросов: “курсовая работа”, я покажу как я собираю семантику для своего сайта, с помощью кейколлектора.
1. Устанавливаем расширение для браузера “Serpstat Website SEO Checker”
3. Активируем расширение, и переходим во вкладку “Анализ страницы”. Там мы получаем ТОП-10 ключевых слов по URL. Копируем в ключевые слова в текстовый файл, удаляя лишнее.
4. Полученный список ключей переносим в текстовый файл.
Чтобы семантика была более полная: можно посмотреть страницы других конкурентов, провести мозговой штурм, или чекнуть вордстат на наличие других словоформ.
5. Открываем кейколлектор. Вкладка: “Данные” — Прочее — “Планировщик задач”. Далее нажимаеv на шестеренку “Задать параметры”.
Выбираем сбор фраз из Яндекс Вордстат. Выбираем регион, в моем случае это Россия. Далее нажимаем на значок “Распределить по группам” — загружаем список наших ключей — нажимаем “Применить изменения”.
6. Далее добавляем в скрипт задачу: “Собрать поисковые подсказки Яндекс” В настройках с помощью желтых и зеленых папок переносим наши фразы.
Потом добавляем в скрипт: “Собрать прогноз из Яндекс Директ”. В настройках выбираем все наши группы, выбираем нужный регион, ставим галочки напротив всех частот. Для полной семантики, можно добавить ПС Google.
7. Нажимаем “Создать скрипт”, пишем имя для скрипта и нажимаем “Продолжить”. Все, теперь ждем пока спарсятся все ключи.
8. После того как Key Collector закончит сбор фраз и частотность, нам нужно удалить все запросы равные нулю. Включаем мультигруппы: выделяем все наши группы Ctrl+A и нажимаем F3.
В колонке с точной частотность настраиваем фильтр: равно 0.
9. Собранную семантику нужно очистить на предмет дублей. Переходим во вкладку: Главная — «Неявные дубли» — Найти. С помощью умной отметки выбираем запросы, далее нажимаем удалить и применить.
11. Теперь все оставшиеся фразы нам нужно перенести в одну, новую группу.
Выделяем все наши группы Ctrl+A — Вкладка данные — Копировать/перенести фразы. Перенести в «Новая группа». После чего все остальные группы можно удалять. Новую группу переименовываем в «Курсовая работа». Теперь у нас есть пул запросов, и можно переходить на этап кластеризации.
Кластеризация в Key Collector 4
1. Для кластеризации нам нужно собрать данные по SERP. Переходим во вкладку Парсинг — Поисковая выдача — “Собрать данные из ПС Яндекс”
2. Когда данные по SERP будут спаршены. Переходим во вкладку данные — “Анализ групп” по поисковой выдачи v3.
В колонке “Сумма” выбираем точную частотность. Режим группировки “Пересечение”. Сила группировки 4, размер группы 3. Также ставим галочки напротив всех настроек. Нажимаем “Начать анализ”.
3. По завершению анализа у нас есть готовая кластеризация. Благодаря данным SERP. Кейколлектор сгруппировал запросы. Теперь их нужно пересмотреть на предмет интента и пересечения в выдачи. А потом создать структуру.
Вот неплохой видео мануал по кластеризации в кей коллектор 4.
Работа в Key Collector — процесс не быстрый, в отличии от браузерных сервисов. Он затратный в плане человеко-часов. Зато — он бесплатный!
Да нужно потратить свое время, чтобы изучить данный софт. Да нужно купить расходники в виде прокси и капчи. Но зато нет ежемесячной подписки. А когда вам нужно собрать или кластеризовать семантику, вам это легко сделаете здесь и сейчас, без регистрации и смс*
Всем кому интересен кейколлектор заходите на их официальный канал канал https://t.me/KeyCollectorOfficial
Структура для сайта
Благодаря группировке у меня появилась структура для страницы Услуг: “Курсовая работа”. Теперь можно писать ТЗ для копирайтеров. Хотя скорее всего, тексты я буду писать сам.