Plazer-don.ru

Сварочное оборудование
5 просмотров
Рейтинг статьи
1 звезда2 звезды3 звезды4 звезды5 звезд
Загрузка...

Как закрыть счетчики посещаемости от индексации

Как закрыть счетчики посещаемости от индексации

Индексация в поисковиках — важная часть продвижения (раскрутки) сайта. По мере развития сайта увеличивается его посещаемость, увеличивается также и количество поисковых роботов (сокращенно — ботов), посещающих сайт, чтобы проиндексировать новые или изменившиеся страницы сайта и добавить в свою базу данных. Это хорошо для владельцев сайтов, т.к. хорошая индексация в поисковиках в результате повышает посещаемость сайта. Но это может также стать причиной проблем с хостером. Почему? Объясняем. Если на вашем сайте 5 страниц, то индексация проходит быстро и безболезненно. А если сотни или тысячи? Если посмотреть статистику сайтов наших пользователей, видно, что большинство сайтов в сутки посещают более тысячи роботов. То есть, нагрузку на сервер создают не только пользователи (которых может быть и не много у недавно созданного сайта), но и роботы.

Но не все поисковые роботы одинаково полезны. Известны случая «атак» сайтов роботами, которые зачем-то считывают главную страницу каждые несколько секунд. Нередко жалуются на робота Yahoo — индексирует часто и помногу, а для продвижения сайта (с русскоязычным контентом, предназназченным для жителей определенного города) он может быть совершенно неинтересен, т.к. от него нет целевых посетителей. Помимо роботов известных поисковых систем сайт посещают «левые» боты, среди которых много сборщиков e-mail для спама. Главная проблема состоит в том, что все эти визитеры создают трафик, а главное — бесполезную нагрузку на сервер, из-за которой Ваш аккаунт на хостинге может быть закрыт.

Не так давно сайт, расположенный на нашем хостинге, был заблокирован за нагрузку на сервер. Создавали ее спам-роботы, которые постоянно пытались добавить комментарии в формы на сайте. Формы были защищены «капчей», и добавить комментарий роботам не удавалось. Тем не менее попытки их добавить создавали нагрузку.

При продвижении сайта очень полезно анализировать, как и что индексируют поисковые системы, а также с какой периодичностью, тогда прогнозирование будет более точным, после внесения каких-либо изменений на сайт. На многих сайтах, особенно если они созданы c помощью различных CMS, присутствует информация, которую вовсе не обязательно индексировать. Хороший пример — форумы. Не всем понятно, каким образом небольшой форум с несколько сотнями посетителей в сутки вдруг начинает создавать не 2%, а 30-60% серверной нагрузки. Однако причина этого явления проста. В отличии от обычного посетителя, поисковый бот способен просмотреть 10.000-20.000 страниц за несколько часов своего посещения. Это на несколько порядков выше, чем нагрузка на сервер от реального посетителя. Запрет индексации отдельных частей сайта избавит ваш сайт (и наш сервер хостинга) от излишней нагрузки. Мы настоятельно рекомендуем выполнять хоть частичный запрет индексации динамических частей сайта (форумы, доски объявлений и т.п.).

Существует несколько способов снизить бесполезную нагрузку от поисковых ботов.

Способ 1. Файл robots.txt

Файл robots.txt — файл, в котором содержатся указания для поисковых систем. Это обычный текстовый файл с командами, оформленными особым образом. Он размещается в корневой папке вашего сайта. Подробнее — wikipedia.org/wiki/Robots.txt

Читайте так же:
Платить за других если стоят счетчики

Пустой файл robots.txt предполагает разрешение на индексирование всего сайта, точно так же происходит, если поисковый робот увидел ошибки в файле.

Директива User-agent указывает, на то какому именно роботу относятся нижеследующие предписания. У каждого поискового бота есть свое уникальное имя. Список наиболее часто встречаемых поисковых роботов, самых известных поисковиков:

  • Google (www.google.com) — Googlebot
  • Yahoo! (www.yahoo.com) — Slurp (или Yahoo! Slurp)
  • MSN (www.msn.com) — MSNBot
  • AOL (www.aol.com) — Slurp
  • Live (www.live.com) — MSNBot
  • Ask (www.ask.com) — Teoma
  • Alexa (www.alexa.com) — ia_archiver
  • AltaVista (www.altavista.com) — Scooter
  • Lycos (www.lycos.com) — Lycos
  • Яндекс (www.ya.ru) — Yandex
  • Мэйл.ру (mail.ru) — Mail.Ru
  • Рамблер (www.rambler.ru) — StackRambler
  • Aport (www.aport.ru) — Aport
  • Вебальта (www.webalta.ru) — WebAlta (WebAlta Crawler/2.0)

У крупных поисковых систем имеются также отдельные боты для индексирования новостей, картинок, блогов и т.д., что позволяет производить еще более тонкую настройку.

Директива «User-agent: *» адресована всем ботам, зашедшим на Ваш сайт.

Disallow — понятная всем без исключения ботам команда, запрещающая индексировать ту или иную директорию сайта (файл, группу файлов). Директива Allow — разрешает индексирования сайта (каталога).

Параметры команды Disallow задаются в виде масок. Несколько простейших примеров:

  1. Допустим, на сайте имеется форум, который размещен в директории phpbb. Следующие директивы запрещают индексацию форума для всех поисковиков:
    User-Agent: *
    Disallow: /phpbb
  2. Следующий код для файла robots.txt запрещает роботу Yahoo индексировать сайт:
    User-Agent: Slurp
    Disallow:
  3. Можно использовать связку Allow-Disallow для включения в индекс контента в закрытых для индексации каталогах. В следующем примере, будет открыта для индексации лишь одна директория «forindex» из всех, что находятся в папке «img»: User-agent: *
    Disallow: /img/
    Allow: /img/forindex/
  4. Параметр Crawl-delay указывает поисковому роботу чтобы он загружал страницы вашего сайта с интервалом не менее 10 секунд, другими словами просто выдерживал паузу во время индексации страниц вашего сайта. И ваш сайт спокойно индексируется в пределах допустимой нагрузки. Вы можете менять интервал по своему усмотрению, делая его больше или меньше.
    User-agent: *
    Crawl-delay: 10

С рекомендуемыми robots.txt вы всегда можете ознакомиться на сайтах разработчиков своей CMS, а также на форумах пользователей этих CMS. Можно также забить в Гугле поисковый запрос «снизить нагрузку» и посмотреть результаты.

Мы (как хостер) рекомендуем для всех без исключения ботов запретить индексацию фидов, трекбеков, комментариев, поисковых запросов, архивов, страниц с выборками по тегам. Так же следует запретить индексацию папок с плагинами и темами, страниц регистрации. В общем, желательно оставить для индексации только сами посты — пусть поисковики по ним ходят. Это полезно также тем, что исключается появление в поисковой выдаче дублей — путей, ведущему к одному и тому же посту. В итоге нагрузка от поисковых ботов может снизится почти вдвое.

Способ 2. Мета тег robots

Мета тег robots — управляет индексацией конкретной web-страницы.

    Примеры:
    meta name=»robots» content=»index, follow» — индексируется данная страница, робот идёт по ссылкам с этой страницы.
    meta name=»robots» content=»noindex, follow» — страница не индексируется, но робот идет дальше по ссылкам.
    meta name=»robots» content=»index, nofollow» — страница индексируется, но робот не идёт по ссылкам на другие страницы, т.е. он их не индексирует.
    meta name=»robots» content=»noindex, nofollow» — страница не индексируется, робот по ссылкам не идёт. Если поместить такой код на все страницы сайта — он не проиндексируется.
    meta name=»robots» content=»none» — идентичное последнему. Страница не индексируется.
Читайте так же:
Трафик счетчик для windows 7

Способ 3. Файл .htaccess

Не всегда и не все роботы читают файл robots.txt, не всегда и не все выполняют прописанные там запреты. В этом случае можно блокировать ботов на уровне сервера, даже не давать доступ к сайту. Делать это можно как при помощи юзерагента, так и при помощи IP средствами .htaccess.

    Пример 1:
    Частый случай, когда у сайтов на CMS Joomla резко возрастает нагрузка на CPU сервера. Ее создают автоматические подборщики пароля к административному разделу CMS. Поэтому в каталоге /administrator/ обязательно должен быть файл .htaccess в котором должна быть запись вида:
    Allow from 31.24.208.11
    Deny from all
    где вместо 31.24.208.11 должен быть IP-адрес, с которого администрируется сайт.
    Строк «Allow from . » может быть несколько с разными IP-адресами.
    Deny from all — обязательно одна и последняя.
    Пример 2:
    Для сайтов на WordPress, когда боты подбирают пароль к админ-файлу wp-login.php, рекомендуем средствами .htaccess ограничить доступ к этому файлу, оставив доступ только с тех IP, с которых заходит админ сайта:
    <Files wp-login.php>
    Require all denied
    Require ip 1.2.3.4
    </Files>
    нужно заменить 1.2.3.4 на IP-адрес, с которого редактируется сайт. Если их несколько — то по одному в каждой строке.

Руководство пользователя по .htaccess.
Естественно, нужно быть уверенным в том, что вы заблокируете только ненужные элементы.
Анализируя лог-файлы сайта, ведение которых можно включить в Панели управления хостингом (см. рисунок), и собирая свою статистику, вы сможете не только снизить нагрузку, но и убрать с сайта нежелательные элементы, которые собирают и потом спамят роботы.

Подробнее о разных типах журнальных файлов (лог-файлов) можно прочитать в FAQ. .

Как закрыть внешние ссылки от индексирования Гугла

— Этот плагин также может добавить rel=nofollow в замаскированные ссылочки.

— Он также может добавить target=»blank» на все ссылочки на сторонние блоги (ваши ссылочки станут открываться в другом окне).

wp no external links

Для многих этот параметр очень важен и многие вебмастера советуют его применять, т.к. он увеличит время посещения вашего ресурса пользователем и ваш ресурс не закроется, когда пользователь кликнет по ссылочке, ведущей на сторонний ресурс.

Закрываем от индексации часть текста

Очень часто случается такая ситуация, что необходимо закрыть от индексации Определенные части контента:

  • меню
  • текст
  • часть кода.
  • ссылку
Читайте так же:
Счетчик часов для генератора

Скажу сразу, что распространенный в свое время метод при помощи тега <noindex> не работает.

<noindex>Тут мог находится любой контент, который нужно было закрыть</noindex>

Однако существует альтернативный метод закрытия от индексации, который очень похож по своему принципу, а именно метод закрытия от индексации при помощи Javascript.

Установка кода статистики Google Analytics на Joomla.

Здесь все намного проще данный счетчик не имеет информера и его необходимо устанавливать перед закрывающим тегом </head>. Поэтому для того, чтобы данный код установился на всех страницах вашего сайта вам необходимо добавить его в главный файл темы index.php и он появится на всех страницах.

Для этого в HTML коде главного файла темы, который мы открыли для редактирования найдите тег </head>, затем скопируйте и вставьте код счетчика непосредственно перед этим тегом и кликните по иконке «Сохранить».

Место в коде страницы куда необходимо вставить код счетчика Google Analytics

После этого счетчик будет установлен и через сутки вы получите первую статистику.

Как запретить индексацию счетчиков

Не секрет, что с каждой исходящей ссылкой с нашего сайта мы отдаем часть веса. Счетчики, кнопки иди баннеры — это тоже, своего рода ссылки. Для того, чтобы запретить индексацию этих «кнопок» всего-навсего нужно поместить их коды между тегов и . Таким способом мы «защитимся» лишь от поисковой системы Яндекс, для Google этот тег не работает. Некоторые вебмастера, с целью запретить индексацию под Google, дописывают в код счетчика команду: . Но этого лучше не делать, т.к. счетчик после этого может работать некорректно.

Недавно на одном блоге я встретил не рабочую инструкцию о том как закрыть внешнюю ссылку счетчика Rambler top100.

Если вы вдруг решите добавить свой сайт в рейтинг Рамблера, то мой пост вам поможет сделать ссылочку этого счетчика не индексируемой, что само по себе положительно с точки зрения поискового продвижения…
Не стану вам здесь рассказывать долгими речами о том как добавит сайт в рейтинг, а просто покажу как правильно вставить код счетчика, затемнить его, если это вам понадобиться или скрыть совсем от глаз посетителя как это сделано у меня.

Закрыть текст от индексации

Чтобы закрыть текст от индексации, необходимо заключить его в тег <noindex>Текст</noindex>. Текст окруженный этим тегом закрыт от индексирования поисковыми системами Yandex и Rambler, а вот Google и другие поисковики этот тег не распознают, так как он отсутствует в HTML.
Соответственно, если в тексте, заключенном в данный тег, будет ссылка, она так же закроется от индексации и будет проигнорирована этими поисковыми системами.

Витринный марафон — неделя третья

Марафон - неделя третья

Вторая неделя пролетела, в общем чате участников марафона за неделю было написано более 10 000 сообщений от более чем 70 участников. И их количество растет.

На третьей неделе мы с вами должны запустить первую версию сайта и исправить обнаруженные ошибки. На прошлой неделе мы выдали много лицензий adCms. Основные сложности, которые возникают при запуске первой версии сайта (по данным нашего чата):

  • проблемы с требованиями хостингов
  • не подгружаются картинки.
Читайте так же:
Счетчик 2726 не работает

При запуске первой версии сайта мы бы рекомендовали сделать следующее:

  • запретить весь сайт к индексации при помощи robots.txt
  • установить счетчики посещамости — liveinternet, яндекс.метрика, google analytics (все или один-два по желанию)
  • установить код GetSEA и проверить его работоспособность.
  • проверить отображение сайта во всех популярных браузерах
  • прогнать сайт через audit.megaindex.ru (об этом позже)
  • проверить работоспособность партнерских ссылок admitad и работу системы статистики
  • сделать тестовые заказы на нескольких офферах, желательно на всех, и отследить корректность в статистике admitad.

Индексация

Запретить к индексации желательно сразу, чтобы было время исправить все SEO ошибки — об этом через неделю. Индексация всегда можно разрешить, но бывают случаи, когда google «съедает» много чего лишнего и из-за этого падает процент основного индекса. Причем после этого не хочет «выплевывать».

Яндекс еще более инертен, может много «съесть» и потом очень долго хранить. Поэтому лучше сразу закрыть индексацию, а как только сайт будет исправлен от большого количества ошибок, можно открыть для индексции. Это не обязательное требование, но лучше все же сначала запретить индексацию.

Счетчики посещаемости

Счетчики посещаемости — это статистика, это наше все. В последнее время многие начинают отказываться от liveinternet, потому что в первую очередь он нужен своим владельцам для сбора данных ваших пользователей. Если вам жалко делиться этими данными, то можете счетчик liveinternet не ставить. В свою очередь мы рекомендуем поставить как минимум два счетчика: яндекс.метрика и google analytics. Если это не первый ваш сайт, то вопросов с постановкой не возникнет.

Если не хотите отдавать свои данные яндексу, метрику можете не ставить. В дальнейших постах про марафон мы будем использовать скриншоты из google analytics, так как для нас он наиболее удобен.

Установить код GetSea

Это нужно сделать обязательно, прежде всего чтобы увидеть тестовые продажи, а так же видеть все источники трафика и понимать, какие вам приносят прибыль, а какие нет. Все детали по установке GetSea.

Проверить отображение сайта в различных браузерах

Как ни странно, но бывают ленивые верстальщики, которые делают верстку под популярные браузеры (chrome, firefox) и считают что этого достаточно, а под «еще популярные» opera, internet explorer забывают. А в менее популярных браузерах так же есть платежеспособная аудитория, которая может не сконвертироваться в продажу, если страница товара на вашей витрине «поедет». Соответственно, конверсия падают и вы «недозарабатываете» денег на текущем трафике из-за лени верстальщика.

Поэтому проверьте шаблоны каждой страницы своей витрины в разных браузерах. Это легко сделать, например, через сервис https://browsershots.org/.

Прогнать сайт через audit.megaindex.ru

Это условно-бесплатный (до определенного количества страниц) сервис, который сразу позволит выявить ошибки в верстке, которые можно сразу исправить до момента индексации вашего сайта.

Если audit.megaindex.ru выдает вам много чего «неудовлетворительно», есть повод задуматься о том, чтобы сразу исправить эти SEO ошибки до того, как разрешить поисковыми системам индексировать «неудовлетворительный» сайт.

Читайте так же:
Счетчик измерение максимальной энергии

Проверить работоспособность партнерских ссылок admitad

Иногда могут возникнуть ошибки (по той или иной причине), что партнерские ссылки на вашем сайте появились некорректные. Этого всегда можно избежать через проверку — покликать по ссылками своего сайта. Кроме того, желательно установить баннер одного из подлюченных рекладателей, чтобы проверить, что идут показы, а после кликов по баннеру, еще и клики.

В итоге в статистике admitad вы должны увидеть следующую картину (есть как клики, так и показы).

Сделать тестовые заказы

На предыдущем скрине показана продажа. Как только запустите сайт — перейдите по ссылке своего сайта и сделайте заказ. В течение нескольких минут (обычно еще раньше) в статистике admitad вы должны увидеть эту продажу. Через некоторое время вам позвонят из интернет-магазина уточнить детали заказа. Сообщите оператору колл-центра, что это был тестовый заказ и попросите его отменить.

Тем самым вы проверите корректность работы партнерской программы.

Работоспособность сайта

Поставьте себя на место пользователя, придумайте некую информационную потребность (например вам нужны красные футболки стоимостью до 600 рублей с бесплатной доставкой) и попробуйте найти этот товар при помощи своей витрины. Если получится — отлично, можно усложнить задачу до поиска чего-то более узкого и как следствие более целевого с бОльшей конверсией. Если не получилось — исправьте сайт до того уровня, чтобы получалось.

Чат участников

Чат участников в скайпе на самом деле существует, на момент публикации в нем более 60 человек, люди приятные, воспитанные, образованные и интеллигентные. В чате всегда можно задать любой вопрос про CPA и витрины и с большой вероятностью вы получите ответ.

В чате присутствует представитель semrush, который раздает специальные бесплатные промокоды с двухнедельной подпиской на сервис. Все участники могут получить этот промокод. Как его использовать — будет рассказано в одном из ближайших постов.

Лицензии adCMS

Бесплатные лицензии adCMS участникам марафона будут выдаваться до пятницы 20 сентября включительно. С субботы 21 сентября лицензии в рамках марафона выдаваться не будет.

Всех участников мы приглашаем в нашу закрытую группу вконтакте, вопросы вы можете задать в специальном разделе форума admitad, а так же в комментариях к данному посту.

Как повысить эффективность закрытых ссылок

Неиндексируемые линки, в отличие от индексируемых, рассчитаны не на то, чтобы поднять показатели проекта, а на то, чтобы привлечь и удержать целевую аудиторию. Поэтому при их размещении нужно учитывать:

  • качество контента: линк должен мотивировать пользователя перейти на ваш ресурс, содержание должно быть релевантно запросу;
  • место установки;
  • определите, для чего нужна та или иная ссылка.

Запрещаете индексацию ссылок и текста на своем проекте? Пишите в комментариях.

голоса
Рейтинг статьи
Ссылка на основную публикацию
Adblock
detector