Оптимизация больших сайтов

В сети есть масса материалов по внутренней оптимизации, но большинство советов из них касается работы с каждой страницей в отдельности и, поэтому, они плохо подходят, когда нужно оптимизировать не пару десятков, а несколько сотен или даже тысяч страниц. Эта статья написана благодаря моему опыту в разработке скрипта для автоматического продвижения больших сайтов (HTracer), моему личному опыту, а также нескольким десятков аудитов крупных проектов. Поэтому, этот материал найдут полезным для себя как начинающие так и опытные специалист.

Показы - ничто. Трафик - все

Среднее число слов в запросе растет год от года и, поэтому, большинство высокочастотных запросов (далее - ВЧ) становится "пустышками". Это можно проверить набрав в Wordstat запрос и тот-же запрос в кавычках. В первом случае будет показано число показов запросов со всеми его уточнениями (далее грязные показы), во втором - число показов этого ключевика во всех словоформах, но без уточнений (далее - чистые).

На картинке 2 случайно выбранных запроса. Проверка большинства запросов даст аналогичный результат. Более того, большинство из 353 показов "ноутбуков в москве" - результат проверки позиций оптимизаторами.

По официальной статистике Яндекса, среднее число слов в запросе меньше 3 и кажется, что разницы в 70 раз быть не может. Но она, все-таки есть. Причем чем больше у запроса грязных показов, тем в большее число раз чистые показы уступают грязным. Разница зависит намного больше от частотности запроса, чем от его длины. Этому есть простое объяснение.

Пользователь способен оценить частотность запроса еще до его ввода, поэтому может предугадать "качество" выдачи. Например, если он интересуется какой-то малоизвестной рок-группой, то он не будет уточнять запрос, поскольку, в этом случае выдача будет либо нерелевантная либо вообще нулевая. Набрав популярную группу он введет уточнения. В этом ему помогут поисковые подсказки. Пользователи ищут не в первый раз и способны неосознанно обучатся набирать запросы оптимальной частотности.

Мы пойдем иным путем

Таким образом, реальных ВЧ запросов крайне мало и в большинстве случаев основной запрос можно игнорировать сосредоточившись на его уточнениях. Низкочастотные и среднечастотные запросы (далее НЧ), кроме того, что в них больше трафика обладают также рядом преимуществ. Например, более высокой конверсий и невысокой конкуренцией.

Поэтому, возникает необходимость в продвижении большого числа запросов и, следовательно, большого числа страниц. Однако, покупка ссылок для такого числа запросов обходится в копеечку и ее невозможно быстро произвести не получив санкции за слишком быстрый рост ссылочной массы.

И в большинстве случаев мы вынуждены делать ставку на внутренние факторы. Однако, редактирование нескольких сотен статей довольно трудоемкий процесс. Поэтому, мы сосредоточимся на редактировании текста шаблона сайта.

Ссылками по самым частотным запросам тоже можно закупиться. Рерайт основных посадочных страниц принесет свои плоды, но прежде всего нужно сосредоточится на более общих действиях, которые более эффективны в плане отношения результата к затраченному времени.

О культе ссылочного и его последствиях

Страница на которой находится ссылка называется донором, страница на которую ведет ссылка акцептором. Ссылочное ранжирование - это влияние текста ссылки на ранжирование акцептора. Ссылка передает не только ссылочное, но еще и вес, который независимо от текста ссылки улучшает позиции акцептора по всем запросам. В то время как ссылочное увеличивает релевантность страницы только по запросам, содержащим часть слов из текста ссылки.

Во время второй мировой войны американцы построили множество баз на островах тихого океана. Часть островов они делили с аборигенами, которых регулярно подкармливали и задаривали всякими товарами. В глазах туземцев это выглядело так: солдаты маялись какими-то странными вещами и "железные птицы" привозили им всякие полезные вещи. Никто из туземцев не видел, чтобы кто-то из белых производил эти товары или добывал пищу и туземцы решили, что железные птицы, привозящие американцам припасы - это посланники духов предков.

Война закончилась, американцы вернулись домой, грузовые самолеты перестали прилетать и туземцы потеряли источник припасов. Аборигены решили вести себя как белые, чтобы и дальше получать посылки от духов предков. Они строили даже деревянные модели самолетов, пытаясь приманить железных птиц. Это называется культом карго.

В русском SEO тоже возник подобный культ. Ссылочное внешних ссылок хорошо работает, поэтому, большинство оптимизаторов при расстановке внутренних ссылок думает прежде всего о их текстах, а не о распределении веса по сайту. На западе, поскольку там используют в основном внутренние факторы, такой проблемы нет. Ровно как и аналога термина "ссылочное".

Более того, существует поверье, что и для внутренних ссылок нужно выбирать релевантные страницы-доноры. Учет тематической близости донора и акцептора был введен поисковиками, чтобы отфильтровать продажные ссылки. Однако, говорить о продажности внутренних ссылок как-то глупо. И еще глупее было бы со стороны поисковиков тратить ресурсы на расчет этого параметра для внутренних ссылок, ведь их раз в 20 больше, чем внешних.

Внутреннее ссылочное тоже действует, но оно намного слабее внешнего. Более того сквозная ссылка (ссылка со всех страниц сайта) независимо от того внешняя она или внутренняя дает очень слабое ссылочное, а расстановка уникальных ссылок требует много времени. Ссылочное тоже можно оптимизировать, однако, для нас распределения веса по сайту намного важнее.

Распределяй и властвуй

Советую прочитать об алгоритме расчета веса страницы. Из него следует, что увеличить суммарный вес страниц сайта можно либо создав новые страницы на сайте либо закупившись ссылками. Однако, вес можно перераспределить и это даст значительный эффект.

Согласно принципу Паррето, большинство трафика всегда приносит меньшинство страниц. Допустим, 90% трафика нам приносит 10% страниц. Если мы заберем у "страниц-неудачников" половину веса и отдадим его "страницам-победителям", то мы увеличим вес победителей в 1 + 9/2 = 5.5 раз. Если предположить, что трафик пропорционален весу страницы, то мы увеличим его в 5.5 * 0.9 - 0.1/2= 5 раз!

Косвенное подтверждения важности распределения веса по сайту дал Google, сделав бесполезными nofollow ссылки. Поскольку, с помощью nofollow оптимизаторы перераспределяли вес, скрывая от Google ссылки на бесполезные для SEO страницы, например, "Контакты".

Однако, далеко не всегда без ущерба для навигации можно изменить половину ссылок сайта. Но даже небольшое перераспределение приносит свои плоды.

Латаем дыры

Суммарный вес страниц страниц можно увеличить устранив утечки: ссылки на другие сайты, 404 ошибки и "тупиковые" страницы (на которых нет ссылок).

• Cуществует предположение, что через ссылки на файлы .pdf и .doc тоже могут передавать вес. Ведь эти файлы ранжируются в поиске и могут содержать ссылки. Вместо ссылок на сайты можно использовать кнопки.
• Есть мнение, что при переходе через редирект часть веса теряется. По крайней мере, Яндекс нам советует: "по возможности избегайте использования редиректов". Вполне вероятно, что редирект рождает утечку. Некоторые CMS создают дубли страниц (например, некоторые версии OpenCart, когда товар сразу в нескольких категориях), проще всего этого избежать через редирект, но ссылки тоже нужно поправить.
• Также, по крайней мере в Google, nofollow ссылки являются утечками независимо от того внешние они или нет. Ссылка через картинки тоже передает вес, поэтому, удалите ссылки со счетчиков или сами счетчики. В крайнем случае обрамите их в noindex.
• В последнее время для красивого сниппета в Яндекс, нужно добавлять ссылки на социальные сети. Однако, многие оптимизаторы ставят сквозные ссылки, когда в документации написано, что достаточно ссылаться только с главной.

• Для блогов ссылки на вход в админку лучше удалить из шаблона. Для остальных сайтов ссылки на вход и на регистрацию можно объединить и выводить загружаемый через AJAX лайтбокс.

Кто не работает, тот не ест!

Практически на любом сайте есть страница "Контакты". Она находится в главном меню и на нее ссылаются все страницы сайта, однако, она не приносит трафика. Убрать ссылку на контакты нельзя. Хотя, можно поместить ее в тег noindex, но не факт, что Яндекс ее не учтет.

Можно, конечно, скрыть ссылку от поисковиков средствами Javascript, но за это могут последовать санкции. Ведь это делается не ради пользователей, а для поисковых роботов.

Хотя, недавно я увидел неплохое решение: на сайте интернет-магазина при нажатии на "Контакты", "Оплата и доставка" открывается лайтбокс с текстом, загруженным через AJAX. Таким образом пользователь быстрее получает необходимые данные и ему не нужно возвращаться на страницу товара - просто закрыть справку. В этом случае скрытие ссылок оправдано. Однако этот метод довольно сложен.

• Посмотрите статистику просмотров по страницам, если на какие-то ссылки главного меню пользователи не кликают и они не нужны для создания доверия, то их лучше удалить. Тем самым вы упростите интерфейс, убрав ненужные элементы.
• На многих сайта есть в главном меню две ссылки и "Контакты" и "Обратная связь" (с формой). Это часто путает пользователей и можно эти две страницы объединить в одну.
• Ссылка на карту сайта, если сайт нормально проиндексировался можно убрать со всех страниц кроме главной. В большинстве случаев карта не ускоряет индексацию новых страниц.
• Другой способ снизить вес страниц-дармоедов - увеличить число ссылок на страницы-победители. Однако, нужно держать число ссылок в разумных пределах.
• Ссылку на пустую корзину ("корзина: 0 товаров") лучше не выводить или заменить ее текстом "ваша корзина пуста". Не думаю, что пользователю в здравом уме понадобится лезть в пустую корзину, а робот не будет видеть ссылку на корзину.

Советы для блогов

Если трафик идет в основном на статьи, а доля трафика на теги не велика, то удалите список тегов под анонсом каждой статьи (при выводе категорий) и задумайтесь над удалением облака тегов (посмотрите статистику - кликают на него или нет) . Если под анонсом статьи при выводе категории у вас ссылка на страницу автора, то удалите эту ссылку, авторов редко запрашивают в поисковиках, а если и запрашивают, то, обычно выводиться страницы Вконтакте и Facebook.

Аналитика - это наше все

Прежде чем ставить ссылки нам нужно разобраться какие страницы приносят нам больше всего трафика. Чтобы получить список основных посадочных: в Google Analytics перейдите на "Источники трафика"->"Источники"->"Поиск"->"Бесплатный" и задайте "Основной параметр" = "Целевая страница".

Если у вас в URL категорий есть какая-то специфическая строка, например, "category=", то вы можете посмотреть какой тип страниц вам приносит больше трафика. Для этого нажмите на ссылку "еще" над таблицей.

Лучше больше, да лучше

Удаление внутренних сквозных ссылок само по себе не принесет особые результаты. Ведь страница передает 85% полученного веса другим страницам и, следовательно, удаление внутренней ссылки в 6.5 раз менее эффективно, чем внешней. Однако, в сочетании с добавлением ссылок на страницы приносящие трафик это дает хорошие плоды. Наша цель - увеличить число полезных для SEO ссылок и при этом общее число ссылок лучше держать в разумных пределах - не большим 200 - 250.

• Если львиную долю трафика нам приносят страницы последнего уровня (далее - СПУ), то нужно увеличить число отображаемых товаров/статей на странице. Это, конечно, уменьшит число страниц на сайте, но увеличит долю ссылок на СПУ с категории, а, следовательно, и их вес.
• На страницах-товаров или статей можно добавить блок "смотрите также" (можно даже со случайными товарами или со статьями), также можно добавить блок "горячие предложения" или "популярные статьи" в категории.
• Мегаподвал с несколькими блоками ссылок сейчас популярный тренд в дизайне. Его можно использовать, чтобы увеличить вес необходимых нам страниц.

Однако всему нужно знать меру и ссылки не должны выглядеть как поисковый спам.

Товары в категориях можно сортировать по числу переходов с поисковиков. Если товаров в категории много, то ссылку с первой страницы категории получат только лучшие страницы. Такая сортировка лучше сортировки по дате добавления, поскольку, учитывает популярность товаров.

Облака - белогривые лошадки

Также можно использовать облака ключевиков. Таким образом можно добавить на страницу 20-30 ключевиков. Выглядят они хорошо и полезны пользователям, поскольку содержат ключевые слова которые они же и ищут, а размер ключей зависит от популярности. Ниже пример, автоматически сгенерированного облака:

Сгенерировать такое облако можно бесплатно. Перейдите по этой ссылке. Перейдите в раздел ключи. Затем пролистайте до заголовка "Действия", выберите "Отчистить базу", затем выберите "Импорт из Google Analytics" и, следуя инструкциям, импортируйте запросы. После чего перейдите в раздел "Опции" и нажмите вкладку "Облако", настройте его и скопируйте исходный код из предпросмотра, заменив в ссылках URL.

Для некоторых магазинов, у которых значительная дола трафика идет на страницы с брендами, можно построить облако брендов. Делается это аналогичным образом, только перед импортом с Google Analytics нужно добавить фильтр по URL, чтобы отсеять все страницы не являющиеся брендами.

Dura validator, sed validator

Поисковики учитывают валидность (правильность) верстки сайта. Влияние верстки на позиции сайта невелико, но редактирования шаблона повысит валидность всех страниц сразу. И если страниц у нас несколько сотен то игра стоит свеч.

• Проверьте валидатором (validator.w3.org) страницы и исправьте ошибки в шаблоне. Проверять стоит все типы страниц, которые приносят вам трафик. Например, СПУ и категории.
• Также важна логическая верстка заголовков (h1,h2,...,h6). Заголовок h1 должен встречаться на странице только раз. Заголовок h2 недопустимо использовать до заголовка h1; h3 недопустимо использовать до h2 и так далее.
• Также поисковики не любят дублирование контента на сайте. Лучше использовать редирект и одновременно с ним изменять ссылки.
• В некоторых случаях, например, при наличии версии для печати, можно воспользоваться rel=canonical. Версию для печати можно удалить с большинства сайтов, поскольку пользователи крайне редко пользуются этой возможностью.

• Также поисковики не любят, когда поиск по сайту не скрыт от поискового робота.

Еще одно, последнее сказанье - и летопись окончена моя

Оптимизация текстов страниц важна, однако, это трудоемкий процесс. Самое лучшее сочетание эффективности и трудозатрат дает правка текстов в шаблоне сайта. Нужно удалить часть ненужных текстов со страницы.

• Если какой-то сквозной блок появляется только при нажатии на ссылку (например, форма логина в лайт боксе), то его контент лучше скрывать явно прописывая display:none в самом элементе, а не в CSS. Так поисковики могут понять что блок скрыт. Хотя, правильнее было бы грузить его через AJAX.
• Многие бесполезные тексты лучше сократить. Например, надпись рядом с голосованием: "Общий рейтинг статьи: 3.71 / 5 оставило 5 человек." можно заменить на "3.7/5 (5 человек)".
• Особое внимание уделяйте текстам содержащим предлог "и". Существует мнение, что по этому предлогу Яндекс рассчитывает размер текста, а не по числу слов. И уменьшение числа этих предлогов увеличит плотность ключевых слов.
• Обратите внимание на то как товар или статья отображается в категориях, нет ли там лишних данных. Например, даты добавления, автора, артикула товара. Поскольку такие данные не содержат ключевых слов и повторяются на страницы категории много раз, то лучше их удалить.
• Тексты вроде "Страница сгенерирована за 0,4 секунды" или "Сайт создан на движке SuperCMS" тоже являются лишними на сайте. Во многих случаях надпись в стиле "копирование статей возможно только со ссылкой на источник" лишняя.

В вордстат посмотрите несколько типовых запросов сайта и найдите их общие уточнения. Для сайта с рецептами это будет: рецепт, рецепт приготовления, фото, видео. Для магазина, обычно, это: купить, отзывы, цены. Необходимо, чтобы эти уточнения присутствовали на страницах. Еще лучше чтобы они были в заголовках рядом с названием товара.

• Копирайты лучше сделать в виде: (с)2012 Украина, Одесса, ветцентр "Бобик сдох". Так мы добавим некоторые популярные уточнения на страницу.
• Для магазинов кнопку "Добавить в корзину" лучше переименовать в "Купить". К титлу страницы можно добавить популярные уточнения, например "Синхрофазитрон D143: купить, отзывы, цены". Если копка организована через тег img, то его альт лучше сделать в виде "Купить %Название товара%".
• Не поленитесь уделить время добавлению уточнений в шаблон страницы. Лучше в одном предложении с основным запросом. Проверьте титлы и h1 у категорий, подкатегорий и СПУ. Иногда с ними возникают ошибки когда, например, титлы или h1 подкатегорий совпадают с названием родительской категорий. Либо когда в титл СПУ не включена подкатегория. Иногда бывает, что тег title и вовсе отсутствует. На страницах бренд+категория в заголовках часто отсутствует название категории или бренда.
• Если в магазине много категорий и акции идут по группам товаров, то акции в большинстве не релевантны категориям ни товарам ни в смысле SEO, ни для пользователей. Во многих случаях акции лучше убрать со страниц категорий и страниц товаров, оставив их только на главной.

Способы добавления ключевых слов на страницу сильно различаются от сайта к сайту. Поэтому, к сожалению, описать их все нельзя. Оптимизация текста страницы важна также как и вес. При самой простой формуле ранжирования вес страницы умножается на релевантность текста страницы и улучшение обоих факторов на 40% увеличит релевантность вдвое (1.4*1.4=1.96).