Анализ файла журнала: преимущества SEO и как это сделать бесплатно

1. Преимущества анализа файла журнала
2. Количество посещений SEO
3. Частота сканирования
4. Ошибки в ответах кода
5. Сканирование приоритетных и активных страниц
6. Поползание ресурсов и растрата бюджета
7. Дата последнего сканирования
8. Анализ файла журнала: сделай это бесплатно
9. 1: установить докер
10. 2: Импорт файлов журнала
11. Логи Apache / Nginx
12. 3: Играть

Анализ файла журнала является важным компонентом любых технических и локальных SEO-аудитов. Файлы журналов - единственные данные, которые на 100% точны, когда дело доходит до понимания того, как боты сканируют ваш сайт. С помощью анализа журналов вы можете пойти дальше простого сканирования и получить более высокий рейтинг, получить больше трафика, конверсий и продаж.

Файл журнала на самом деле представляет собой выходной файл, сделанный веб-сервером, содержащий «обращения» или запись всех запросов, полученных сервером. Данные хранятся и предоставляют подробную информацию о времени и дате, когда был сделан запрос, запрошенный URL-адрес, пользовательский агент, адрес идентификатора запроса и другие.

Давайте посмотрим на преимущества анализа файла журнала и как сделать это бесплатно.

Преимущества анализа файла журнала

Анализ файла журнала поможет вам понять, как поисковые системы сканируют веб-сайт и как это влияет на SEO. Эти идеи помогут вам улучшить качество сканирования и оптимизировать SEO. С этими данными вы можете проанализировать поведение сканирования и определить некоторые интересные метрики, такие как:

• Ваш бюджет обхода расходуется эффективно?
• Какие ошибки доступности были обнаружены во время сканирования?
• Где районы дефицита ползания?
• Какие мои самые активные страницы?
• Какие страницы Google не знает?

Это всего лишь несколько примеров возможностей анализа файлов журналов. У Google действительно есть бюджет сканирования. Настройка правильных улучшений поможет вам сэкономить этот бюджет и поможет Google сканировать правильные страницы и посещать их чаще.

Вот несколько метрик, на которые следует обратить внимание:

Количество посещений SEO

Анализ журнала помогает определить количество посещений SEO (по органическим результатам), полученных на веб-сайте. Это страницы, которые генерируют трафик. Являются ли эти страницы правильными? Ваши самые ценные страницы привлекают органический трафик на ваш сайт? Это довольно действенный показатель.

Частота сканирования

Журналы также позволяют вам определить объем сканирования бота или, другими словами, количество запросов, выполненных Googlebot, Bingbot, Yahoo, Yandex или любыми другими движками за период времени. Объем сканирования показывает, с какой частотой посещался сайт. Этот показатель помогает увидеть, увеличило ли количество посещений ботов добавление нового контента. Внезапное снижение частоты сканирования может предупредить вас о возможных изменениях на веб-сайте, которые заблокировали бы эти посещения.

Ошибки в ответах кода

Анализ данных журналов также может помочь отследить ошибки в кодах состояния, таких как 4xx или 5xx, которые компрометируют SEO. Анализ кодов состояния веб-сайта также помогает измерить их влияние на количество посещений ботов и их частоту. Слишком много ошибок 404 ограничит посещение сканера.

Сканирование приоритетных и активных страниц

Анализ журналов также может помочь определить наиболее популярные страницы для Google и определить, какие из них менее просканированы. Таким образом, эта информация может помочь узнать, являются ли это наиболее важные страницы, которые часто посещаются ботами или нет. Это позволяет избежать игнорирования некоторых страниц или разделов вашего сайта.

Фактически, анализ журнала может выделить URL или каталоги, которые не часто сканируются ботами. Например, если пользователь хотел бы, чтобы конкретная публикация его блога была ранжирована по целевому запросу, но который находится в каталоге, который Google посещает только раз в шесть месяцев, он упустит шансы получить органический трафик из этой публикации для по крайней мере шесть месяцев. Если это так, он будет знать, что, например, необходимо переопределить его внутренние ссылки, чтобы подтолкнуть его «наиболее ценные страницы».

Анализ журнала также может помочь узнать ваши самые активные страницы или, другими словами, страницы, которые получают больше посещений SEO.

Поползание ресурсов и растрата бюджета

Анализ журналов также помогает определить, как расходуется ваш бюджет обхода в файлах вашего типа. Например, тратит ли Google слишком много времени на сканирование изображений?

Бюджет сканирования - это количество страниц, которые поисковая система будет сканировать при каждом посещении вашего сайта. Этот бюджет связан с авторитетом домена, здравомыслием вашего сайта и пропорционален потоку ссылок на сайте.

На самом деле, этот бюджет обхода может быть потрачен на нерелевантные страницы. Представьте, что у вас есть бюджет в 100 единиц в день, тогда вы хотите, чтобы эти 100 единиц были потрачены на важные страницы.

Если боты встречают слишком много негативных факторов на вашем веб-сайте, они не будут возвращаться так часто, и вы потратите свой бюджет сканирования на ненужные страницы. Если у вас есть свежий контент, который вы хотите проиндексировать, но не осталось бюджета, Google не будет его индексировать.

Вот почему вы хотите посмотреть, куда вы тратите свой бюджет сканирования, с помощью анализа журналов и оптимизировать свой сайт, чтобы увеличить количество посещений ботов.

Дата последнего сканирования

Анализ файла журнала сообщает, когда Google сканировал определенную страницу в последний раз и что пользователь хотел бы быстро проиндексировать.

Анализ файла журнала: сделай это бесплатно

Вы можете использовать анализатор логов с открытым исходным кодом для аудита вашего SEO, как OnCrawl ELK один. Это поможет вам определить:

• Уникальные страницы, отсканированные Google
• Частота сканирования по группам страниц
• Коды состояния монитора
• Найдите активные и неактивные страницы.

Например, если у вас есть веб-сайт, размещенный на OVH, и вы настроили свои журналы, чтобы они различались по типам хостов, вот процесс:

1: установить докер

устанавливать Ящик для инструментов Docker

Выберите терминал Docker Quickstart для запуска

Скопируйте / вставьте IP-адрес 192.168.99.100

Загрузите выпуск oncrawl-elk: https://github.com/cogniteev/oncrawl-elk/archive/1.1.zip

Добавьте эти строки, чтобы создать каталог и разархивировать файл:

MacBook-Air: ~ cogniteev $ mkdir oncrawl-elk

MacBook-Air: ~ cogniteev $ cd oncrawl-elk /

MacBook-Air: oncrawl-elk cogniteev $ unzip ~ / Downloads / oncrawl-elk-1.1.zip

А потом:

MacBook-Air: oncrawl-elk cogniteev $ cd oncrawl-elk-1.1 /

MacBook-Air: oncrawl-elk-1.1 cogniteev $ docker-compose -f docker-compose.yml up -d

Docker-compose загрузит все необходимые образы из Docker Hub, это может занять несколько минут. После запуска Docker-контейнера вы можете ввести в браузере следующий адрес: Http: // DOCKER-IP: 9000 , Обязательно замените DOCKER-IP на тот, который вы скопировали ранее.

Вы должны увидеть панель мониторинга OnCrawl-ELK, но данных пока нет. Давайте приведем некоторые данные для анализа.

2: Импорт файлов журнала

Импортировать данные так же просто, как копировать файлы доступа к журналу в нужную папку. Logstash начинает индексацию любого файла, найденного в logs / apache / *. Log, logs / nginx / *. Log, автоматически.

Логи Apache / Nginx

Если ваш веб-сервер работает на Apache или NGinx, убедитесь, что формат представляет собой комбинированный формат журнала . Они должны выглядеть так:

127.0.0.1 - - [28 / Aug / 2015: 06: 45: 41 +0200] "GET /apache_pb.gif HTTP / 1.0" 200 2326 "http://www.example.com/start.html" "Mozilla / 5.0 (совместимо; Googlebot / 2.1; + http: //www.google.com/bot.html) "

Перетащите ваши файлы .log в каталог logs / apache или logs / nginx соответственно.

3: Играть

Вернуться к Http: // DOCKER-IP: 9000 , У вас должны быть цифры и графики. Congrats!

Теперь вы можете начать использовать бесплатный анализатор логов с открытым исходным кодом и ежедневно отслеживать свою эффективность SEO. Пожалуйста, оставьте комментарий, если у вас есть какие-либо вопросы. Дайте нам знать, как это сработало для вас.