Как получить и обработать сырые данные из ки

Как получить и обработать сырые данные из Яндекс.Метрики

Хотите качественно анализировать статистику из Яндекс.Метрики? Отследить сложные воронки продаж, объединить данные из разных систем аналитики, контролировать расхождения в статистике, — «сырые» данные помогут вам эффективно решить все эти сложные задачи.

В 2016 году Яндекс заявили о публичном релизе программного интерфейса Logs API, который позволяет получить сырые данные из Яндекс.Метрики в файле формата TSV.

Однако в работе с API Яндекс.Метрики у вас могут возникнуть сложности:

• процедуру выгрузки придется повторять каждый раз, когда вы захотите получить новую статистику;
• для визуализации данных нужно вручную загружать TSV-файл в оболочку, предназначенную для построения графиков и таблиц.

В этой статье я расскажу, как автоматизировать выгрузку сырых данных из Яндекс.Метрики и работать с полученной статистикой.

Как выгрузить сырые данные с помощью языка R?

Язык R был специально разработан для применения в таких областях, как разведочный анализ данных, классические статистические тесты и высокоуровневая графика.

Для выгрузки данных из Яндекс.Метрики я создал программный пакет ryandexdirect, в который добавил функцию yadirGetLogsData — она упрощает работу с Logs API.

Опишу работу с пакетом поэтапно:

1. Скачайте, установите и запустите версию R, соответствующую операционной системе вашего компьютера.

2. Скопируйте код пакета ryandexdirect в консоль R:

Появится сообщение, которое подтвердит успешную установку пакета.

3. Далее необходимо получить токен доступа к API. Для этого в консоль R скопируйте следующий код:

В открывшемся окне браузера разрешите приложению «ryandexdirect» доступ к своему аккаунту.

4. Появится окно с кодом доступа к API: скопируйте его и вставьте в R-консоль после строки «Enter your token». Рекомендую также сохранить этот код в блокноте, потому что он еще понадобится вам для выгрузки данных в Power BI.

5. В работе с функцией yadirGetLogsData используются такие аргументы:

• counter — номер счётчика Яндекс.Метрики;
• date_from — начальная дата отчёта;
• date_to — конечная дата отчёта;
• fields — список полей, которые вы хотите получить;
• source — источник записей (возможные значения для этого аргумента: «hits» — просмотры или «visits» — визиты);
• token — API токен (ключ доступа к Logs API).

Смотрите в справке список доступных полей для источника записей «visits» и «hits».

Подставьте ваши значения аргументов и запустите код ниже в консоли R:

6. Появится сообщение об успешной загрузке данных:

В сообщении можно увидеть:

• время обработки запроса на сервере Яндекса (53 секунды);
• время загрузки данных с сервера (0,33 секунды);
• общее время процедуры (54 секунды);
• размер обработанных данных (0.13 мегабайт);
• количество вернувшихся строк (1649).

Как выгрузить данные из R в таблицу или базу данных?

1. В CSV-таблицу

Если вы предпочитаете работать со статистикой в редакторе таблиц, например Excel, выгрузите полученные данные в CSV-файл. Для этого вставьте и запустите код в R-консоли:

В рабочей директории появится файл «rawdata.csv» с нужными данными. Чтобы узнать расположение рабочей директории, запустите в консоли R этот код:

2. В базу данных MySQL

Рассмотрим, как импортировать статистику в базу данных на примере популярной СУБД MySQL.

В представленном коде подставьте значения вашей базы данных в значения параметров «dbname», «user» «password»,«host» (указаны после знака «=»).

Запустите код со своими значениями в консоли R.

Как импортировать сырые данные в Microsoft Power BI?

Если ваших навыков работы в среде R недостаточно, чтобы визуализировать полученные данные, используйте Power BI — мощный бесплатный инструмент от Microsoft.

Рассмотрим два способа импорта данных:

• с помощью сценария на языке R;
• с помощью специального файла Power BI с коннектором к Яндекс.Метрике.

1. С помощью сценария на языке R

1.1. В Power BI на вкладке «Главная» выберите группу меню «Получить данные» — «Другое» — «R-скрипт». Нажмите кнопку «Подключить».

1.2. Укажите ваши значения в аргументах функции:

Вместо «my_token» нужно вставить значение вашего токена API.

В открывшемся окне вставьте код в поле «Выполните сценарий R».

1.3. В окне «Навигатор» поставьте галочку напротив таблицы «rawmetrikdata» и нажмите кнопку «Загрузить»:

1.4. Данные, загруженные в вашу модель, будут выглядеть следующим образом:

2. С помощью файла Power BI с коннектором к Яндекс.Метрике

Этот метод еще проще — вам не нужно изменять код, достаточно ввести пользовательские параметры в коннектор.

2.1. Скачайте файл Power BI.

2.2. На вкладке «Главная» выберите группу меню «Внешние данные», откройте выпадающий список «Изменить запросы» и кликните на поле «Изменить параметры».

2.3. Введите свои параметры и нажмите кнопку «ОК».

2.4. Появится сообщение, что в запросах есть ожидающие изменения — нажмите «Применить изменения».

2.5. В диалоговом окне «Собственный запрос к базе данных» кликните «Выполнить».

В Power BI загрузятся данные из указанного вами аккаунта Яндекс.Метрики.

Выводы

Сырые данные из Яндекс.Метрики — отличный источник информации для аналитических исследований, однако без навыков программирования работать с API сложно. Используя описанный в статье метод, вы сможете легко выгрузить статистику и обработать данные.

Настройка «Метрики» в «Яндекс.Директ»

Для того чтобы иметь информативную и наглядную статистику, рекомендуется оптимизировать инструменты ее получения. Грамотное связывание «Яндекс.Метрики» и «Яндекс.Директа» — как раз такая задача.

Сочетание функционалов позволяет:

• отслеживать действия и переходы посетителей сайта;
• применять стратегии с оптимизацией по конкретным целям;
• использовать цели для дополнительных вариантов релевантных фраз;
• осуществлять настройку ретаргетинга (ручного и автоматического) по сегментам или целям из «Метрики» (очень актуально для интернет-магазинов и лендингов).

Что это дает? Более наглядное выявление эффективных и неэффективных запросов рекламной кампании, фильтрацию целевой аудитории, рациональное расходование бюджета.

Кроме того, возможность использования вебвизора позволяет наглядно оценить поведение посетителей на ресурсе.

«Метрика» взаимодействует с трафиком «Яндекс.Директа» посредством счетчика. Его номер должен быть прописан в параметрах кампании.

Все счетчики имеют индивидуальные номера, посмотреть которые можно в списке «Мои счетчики» либо в индивидуальных настройках.

Возможны два варианта связки:

1. с существующей кампанией;
2. с новой кампанией.

Если «Метрика» и рекламная кампания функционируют с общего аккаунта, то никаких дополнительных действий не требуется — все произойдет автоматически. В противном случае придется немного повозиться с ручной настройкой.

Связка существующей кампании и счетчика

Для выполнения операции потребуется открыть раздел «Параметры выбранной кампании» в «Яндекс.Директе». Там нужно выбрать пункт «Метрика» и включить в нем разметку ссылок для сбора данных о кликах. Далее потребуется добавить номера всех нужных счетчиков (не более 5-ти для одной кампании).

Добавляемые счетчики могут быть связаны как с одним аккаунтом, так и с разными.

Связка новой кампании и счетчика

«Яндекс.Директ» дает возможность настроить функцию автоматической синхронизации для связи новых кампаний и счетчиков. Это может пригодиться в двух случаях:

• необходимость создания множества кампаний с одинаковым набором счетчиков;
• необходимость привязывания определенных счетчиков к каждой новой кампании.

1. в разделе «Мои кампании» выбрать пункт «Настройки пользователя»;
2. в поле «Счетчик Метрики для новых кампаний» набрать номера (от 1 до 5).

Если аккаунты расположены на разных логинах, для корректной настройки потребуется заранее обеспечить доступ к функционалу «Метрики». Если это не сделано, система не добавит счетчик и выдаст предложение на отправку запроса на почту держателя аккаунта. Добавить счетчик получится уже только после подтверждения.

По завершении настроек «Яндекс.Директ» по умолчанию начнет предлагать связку вновь создаваемых кампаний с внесенными в список счетчиками. Добавить другие можно будет позднее через «Параметры кампании».

Как предоставить доступ к статистике Яндекс Метрики

Как дать доступ к Яндекс.Метрике — очень часто задаваемый вопрос. Собственник аккаунта в Яндекс.Метрике может дать два типа доступов другим пользователям к своим счетчикам:

• гостевой доступ;
• представительский доступ.

В обоих есть определенные возможности и уровни доступа. Чем они друг от друга отличаются и как их предоставить другому пользователю — вы узнаете в данной статье.

Как открыть гостевой доступ

Через него вы можете поделиться доступом к вашей статистике с другими пользователями. Что бы его получить, человеку необходимо зарегистрировать свой аккаунт в Яндексе. Гостевой доступ имеет два подвида:

• публичный доступ;
• индивидуальный доступ.

Публичный доступ — вы можете дать доступ от статистики вашего счетчика аналитику или агентству для SEO оптимизации вашего сайта, через сгенерированную ссылку.

Для того, чтобы сгенерировать данную ссылку:

1. Перейти во вкладку «Настройка».
2. В разделе меню, находящимся под заголовком «Настройка», выбрать вкладку «Доступ».
3. В правом углу, под меню, расположена кнопка «Вкл/Выкл». Переключите в положение «Вкл».
4. Скопировать, сгенерированный URL, чтобы отправить его другому (другим) пользователю.
5. Не забудьте сохранить изменения.

Выдача публичного доступа

При просмотре статистики через публичный доступ, пользователь не сможет видеть сведения по Вебвизору, отчетам Директа, информации о заказах, целевому звонку, поисковым фразам и системам.

Индивидуальный доступ — вы можете открыть доступ к статистике вашего счетчика, пользователям, чьи логины вы впишите в данные счетчика. Также в нем присутствуют параметры доступа:

• Разрешение на просмотр — человек сможет только просматривать параметры и статистику счетчика. Он не сможет вносить поправки в настройки, формировать задачи, добавлять данные в Метрику, давать право доступа кому-либо, сохранять отчеты, добавлять их в избранное или удалять счетчик.
• Разрешение на редактирование — человек будет иметь право распоряжаться всеми вышеперечисленными инструментами в Яндекс.Метрике, кроме удаления или переноса счетчика.

Чтобы открыть данный доступ, вам необходимо:

1. Перейти во вкладку «Настройка».
2. В разделе меню, находящимся под заголовком «Настройка», выберите вкладку «Доступ».
3. Кликнуть кнопку «Добавить пользователя», находящуюся, под заголовком «Индивидуальный доступ»
4. В окне «Новый пользователь» указать логин почты пользователя, которому вы предоставляете доступ и выбрать права доступа. (По желанию вписать комментарий).
5. Кликнуть кнопку «Добавить», расположенную в данном окне.
6. Не забудьте сохранить изменения.

Выдача индивидуального доступа

Также, вы можете предоставить данный доступ в самом счетчике, через иконку «Параметры» аналогичным способом.

Предоставление доступа к счетчику

Выдавайте доступ с разрешением на редактирование только специалистам, в которых вы уверенны. Злоумышленники могут воспользоваться полученными привилегиями в своих корыстных целях, что потом на вас с играет злую шутку.

Для проведения аудитов, или сбора трафика, вполне достаточно доступа с разрешением на просмотр.

Как дать представительский доступ

Через данный доступ можно работать одновременно с другими пользователями и настраивать счетчики с разных аккаунтов.

Допустим, на вашем аккаунте находятся пять проектов с пятью разными счетчиками. Вы можете открыть доступ для своего партнера. Тем самым, он будет иметь возможность на просмотр или редактирование всей информации на всех счетчиках и сможет удалить любой из них. При появлении нового счетчика, владелец представительского доступа увидит данное изменение.

Чтобы выдать данный доступ, вам необходимо:

1. Перейти в раздел «Представители».
2. Указать логин почты в поле «Новый представитель». При желании, можете добавить комментарий.
3. Не забудьте сохранить изменения.

Открытие представительского доступа

После того как вы выдали доступ, чтобы пользователь мог просмотреть или отредактировать информацию счетчика, ему необходимо зайти в учетную запись, расположенную в разделе счетчики, в верхнем левом углу.

Подведем итоги: просматривать общую статистику счетчика может пользователь с любым уровнем доступа. Редактировать информацию могут: владелец счетчика; представитель; пользователь с гостевым уровнем доступа, с разрешением на редактирование. Удалить счетчик может владелец или представитель. Выполнить перенос счетчика вправе только владелец. Также мы написали инструкцию, как дать доступ к Google Analytics.

Для того, чтобы удалить или перенести счетчик, вам необходимо:

1. Перейти во вкладку «Настройка».
2. В информационном поле, находящимся под номером счетчика, ввести «Имя счетчика» и «Адрес сайта».
3. Выбрать операцию, «Перенести на другой аккаунт» или «Удалить счетчик», данные кнопки находятся в правом верхнем углу. (Данный выбор будет только у владельца. Представитель сможет только удалить).
4. Не забудьте сохранить изменения.

Перенос или удаление счетчика

Мы постарались написать очень подробную инструкцию по предоставлению доступов к Яндекс.Метрике. Но, если у вас остались вопросы — задавайте их в комментариях и мы обязательно ответим.

Как установить и настроить счетчик посещений «Яндекса»

Как установить и настроить счетчик посещений «Яндекса»

Для чего устанавливать Метрику

При помощи этого инструмента веб-аналитики обеспечивается сбор корректных данных об объёмах и источниках трафика. Он позволяет довольно просто определить, насколько эффективна рекламная кампания, и проанализировать, как ведут себя посетители.

Установка Яндекс Метрики откроет для вас широкие возможности по оперативному аудиту контента и юзабилити для своевременного внесения необходимых правок. Сбор статистических данных — только малая часть функционала этого сервиса. Добавив на сайт код счётчика, вы получите возможность не только следить за прогрессом, но и корректировать его. Если вы что-то изменили на своём сайте, то сможете увидеть, насколько лучше или хуже стали показатели. А на базе полученной информации можно будет удалить неактуальные материалы и отключить лишние функции, повышающие показатель доли отказов.

Ещё один аргумент в пользу установки Метрики — возможность использовать её данные, чтобы индексировать новые страницы и присваивать поведенческие факторы. Но важно предварительно удостовериться в том, что к исходному коду веб-ресурса есть доступ. Другими словами, у вас должна быть возможность вносить на сайт изменения по FTP или через админпанель CMS, иначе установить счётчик не удастся.

Поэтапная инструкция по подключению Яндекс.Метрики

Чтобы получить доступ к возможностям сервиса, необходимо действовать по такому алгоритму.

1 этап — Авторизуемся

Установка Метрики начинается с регистрации в системе. Если же у вас есть аккаунт в Яндексе, нужно пройти авторизацию. Сервис размещён по адресу https://metrika.yandex.ru/ . Переходим по нему и нажимаем на жёлтую кнопку «Добавить счётчик».

2 этап — Создаём информер

В открывшейся форме нужно указать следующие сведения.

Название анализатора, которое будет отображено на странице «Мои счётчики».

URL ресурса — его полный адрес или домен без упоминания протокола.

Перечень дополнительных адресов. Эта информация позволяет контролировать, доступен ли проект, и подсчитывать внутренние переходы. При появлении в отчётах информации с других сайтов необходимо поставить отметку напротив пункта «Принимать данные только с указанных адресов».

Тайм-аут посещения (30–360 минут). По окончании этого промежутка времени считается, что визит завершён.

Валюта. Информация о денежной единице применяется в электронной коммерции.

Заполнив форму, вы должны поставить отметку, подтверждающую согласие с условиями пользовательского соглашения, и кликнуть по кнопке с надписью «Создать счётчик».

3 этап — Проводим первичную настройку

Дальше переходим в окно, в котором формируется код веб-аналитики. При этом учитываются такие параметры.

Отслеживание хеша. Эта функция подходит для сайтов AJAX и позволяет собирать статистику со страниц, для обновления которых не требуется перезагрузка.

Вебвизор. Специалисты по SEO утверждают, что этот инструмент необходим всем. Он фиксирует всё, что люди делают на сайте, сохраняет видеозаписи, позволяет воспроизвести их в любой момент и провести анализ действий посетителей.

Для сайтов XML. Этот пункт отмечается в том случае, когда есть массивы данных, для обработки которых постоянно используются специальные приложения.

Асинхронный код. Если подключить такую опцию, сайт будет загружаться без задержек, вызванных установкой Метрики. Это особенно ценная возможность для веб-ресурсов, размещённых на серверах небольшой мощности, поскольку загрузка системы отслеживания происходит не одновременно с блогом, а на заключительном этапе.

Запрет на индексирование. Если вы по каким-то соображениям не хотите, чтобы какие-то страницы индексировались Яндексом, можно подключить эту функцию.

Код в одну строку. Эта опция не для каждого. Она позволяет уменьшить код, то есть сжать его до длины одной строчки и не разбивать на теги, но он при этом становится нечитаемым.

Информер. Его назначение — демонстрация всем, кто посещает ресурс, числа просмотров. Эту цифру, как правило, размещают в футере. Когда вы выберете эту опцию, появится возможность предварительного просмотра информера, можно будет выбрать его тип, цвет и размер. Но важно понимать, что после её подключения точный показатель посещаемости вашего сайта будут видеть все.