Кожен веб-майстер знає, що для того щоб на йогоресурс почали заходити люди з пошукових систем, необхідна його індексація. Про те, що з себе представляє індексація сайту, як вона проводиться, і в чому полягає її зміст, ми розповімо в даній статті.
Отже, слово «індексація» саме по собі означаєвнесення до реєстру чогось, перепис матеріалів, які є в наявності. Цей же принцип застосовується і до індексації сайтів. По суті, цей процес можна назвати також внесенням інформації про інтернет-ресурсах в базу даних пошукових систем.
Таким чином, як тільки користувач будезабивати чергову фразу в пошукове поле Google, скрипт буде повертати йому результат, що включає заголовок вашого сайту і його короткий опис, яке ми бачимо нижче.
Сама індексація ( «Яндекс» це, або Google - роліне грає) проходить досить просто. Всю павутину інтернет, орієнтуючись на базу ip-адрес, яка є у пошукачів, сканують потужні роботи - «павуки», що збирають інформацію про ваш сайт. Їх у кожної з пошукових систем величезна кількість, а працюють вони в автоматичному режимі 24 години на добу. Їх завдання - зайти на ваш сайт і «прочитати» весь контент на ньому, занісши при цьому дані в базу.
Отже, в теорії індексація сайту малозалежить від власника ресурсу. Вирішальним фактором тут є пошуковий робот, який заходить на сайт і досліджує його. Саме це і впливає на те, як швидко ваш сайт з'явиться в пошуковій видачі.
Зрозуміло, кожному веб-майстру вигідно, щоб йогоресурс з'явився в пошуковій видачі якомога швидше. Це буде впливати, по-перше, на терміни виведення сайту на перші позиції, а, по-друге, на те, коли почнуться перші етапи монетизації сайту. Таким чином, чим раніше пошуковий робот «з'їсть» усі сторінки вашого ресурсу, тим краще.
Кожна пошукова система має свій алгоритмвнесення даних про сайтах в свою базу. Наприклад, індексація сторінок в «Яндекс» здійснюється поетапно: роботи сканують сайти постійно, потім впорядковують інформацію, після чого проходить так званий «апдейт», коли всі зміни вступають в силу. Регулярність таких подій компанією не встановлюється: вони проводяться раз в 5-7 днів (як правило), однак можуть відбуватися і за 2, і за 15 діб.
При цьому індексація сайту в Google йде за іншоюмоделі. У цій пошуковій системі такі «апдейти» (оновлення бази) проходять регулярно, в зв'язку з цим чекати кожен раз, поки роботи занесуть інформацію в базу, а потім вона буде впорядкована раз в декілька діб, не потрібно.
На основі вищесказаного, можемо зробити наступнийвисновок: сторінки в «Яндекс» додаються через 1-2 «апдейта» (тобто за 7-20 днів в середньому), а в Google це може статися набагато швидше - буквально за добу.
При цьому, зрозуміло, у кожної пошукової машиниє свої особливості того, як проводиться індексація. «Яндекс», наприклад, має так званого «бистробота» - робота, який може вносити дані в видачу за кілька годин. Правда, зробити так, щоб він зайшов на ваш ресурс, непросто: це стосується переважно новин і різних гучних подій, що розвиваються в режимі реального часу.
Відповідь на питання про те, як занести дані про свійсайті в індекс пошукових систем, одночасно і простий, і складний. Індексація сторінок - це явище природне, і якщо ви навіть не замислюєтеся про неї, а просто, скажімо, ведете свій блог, поступово наповнюючи його інформацією - пошукові механізми з часом відмінно «проковтнуть» ваш контент.
Інша справа - це коли вам потрібно прискоритиіндексацію сторінки, наприклад, якщо у вас мережа так званих «сателітів» (сайтів, розрахованих на продаж посилань або розміщення реклами, якість яких, як правило, гірше). В такому випадку необхідно вживати заходів для того, щоб роботи помітили ваш сайт. Загальнопоширеними вважаються наступні: додавання URL-адреси сайту в спеціальну форму (називається вона «AddUrl»); прогін адреси ресурсу по каталогам посилань; додавання адреси в каталоги закладок і багато іншого. Про те, як працює кожен з цих методів, ведуться численні дискусії на SEO-форумах. Як показує практика, кожен випадок унікальний, і більш точно визначити причини того, чому один сайт проіндексованих за 10 днів, а інший - за 2 місяці, складно.
Проте, логіка, за допомогою якої можназробити так, щоб сайт потрапив в індекс швидше, ґрунтується на розміщенні посилань на нього. Зокрема, мова йде про простановке URL на безкоштовних і загальнодоступних сайтах (закладки, каталоги, блоги, форуми); про покупку посилань на великих і розкручених сайтах (за допомогою біржі Sape, наприклад); а також про додавання карти сайту в форму addURL. Можливо, є й інші методи, однак ті, що вже були перераховані, можна з упевненістю назвати найпопулярнішими. Нагадаємо, в цілому ж все залежить від сайту і везіння його власника.
Згідно з офіційною позицією всіх пошуковихсистем, в індекс потрапляють сайти, які проходять ряд фільтрів. Які вимоги містять останні, не знає ніхто. Відомо лише, що з плином часу все вони вдосконалюються таким чином, щоб відсіювати псевдосайт, створені для заробітку на продажу посилань і інші ресурси, що не несуть корисної інформації для користувача. Зрозуміло, для творців цих сайтів головним завданням є індексація сторінок в якомога більшому обсязі (щоб залучити відвідувачів, продати посилання і так далі).
Базуючись на попередній інформації, можна зробитивисновок про те, які сайти, швидше за все, не потраплять в пошукову видачу. Та ж інформація озвучується і офіційними представниками пошукових систем. В першу чергу це сайти, що містять неунікальний, генерований автоматично контент, який не є корисним для відвідувачів. Далі йдуть ресурси, в яких мінімум інформації, створені для продажу посилань і так далі.
Правда, якщо проаналізувати видачу пошуковихсистем, то в ній можна знайти всі ці сайти. Тому, якщо говорити про сайтах, які не будуть присутні у видачі, слід відзначати не тільки неунікальний контент, а ще й ряд інших факторів - безліч посилань, неправильно організована структура і так далі.
Пошукові системи сканують весь контент,що знаходиться на сайті. Однак існує методика, за допомогою якої можна обмежити доступ пошукових роботів до того чи іншого розділу. Робиться це з використанням файлу robots.txt, на який і реагують «павуки» пошукових систем.
Якщо в корені сайту помістити цей файл,індексація сторінок буде проходити за сценарієм, який прописаний в ньому. Зокрема, можна заборонити індексацію за допомогою єдиної команди - Disallow. Крім неї, у файлі можна вказувати ще й розділи сайту, на які ця заборона буде поширюватися. Наприклад, для заборони входження в індекс всього сайту, досить вказати один слеш «/»; а щоб виключити з видачі розділ «shop», досить вказати таку характеристику в своєму файлі: «/ shop». Як бачите, все логічно і гранично просто. Індексація сторінок закривається дуже легко. При цьому пошукові роботи заходять на вашу сторінку, читають robots.txt і не вносять дані в базу. Так можна легко маніпулювати, щоб бачити в пошуку ті чи інші характеристики сайтів. Тепер поговоримо про те, як перевіряється індекс.
Існує кілька способів дізнатися те, скількиі які сторінки присутні в базі «Яндекс» або Google. Перший - найпростіший - це поставити відповідний запит в пошукову форму. Виглядає він так: site: domen.ru, де замість домен.ру ви прописуєте, відповідно, адреса вашого сайту. Коли ви зробите такий запит, пошуковик покаже всі результати (сторінки), розташовані за зазначеною URL. Причому, крім простого перерахування всіх сторінок, ви можете також бачити загальне число проіндексованого матеріалу (праворуч від фрази «Кількість результатів»).
Другий спосіб - це перевірити індексаціюсторінки, використовуючи спеціалізовані сервіси. Їх зараз велика кількість, навскидку можна назвати xseo.in і cy-pr.com. На таких ресурсах можна не тільки побачити загальне число сторінок, але і визначити якість деяких з них. Однак це потрібно вам лише в тому випадку, якщо ви більш поглиблено розбираєтеся в даній темі. Як правило, це професійні SEO-інструменти.
Ще хотілося б трохи написати про так званої«Примусової» індексації, коли людина різними «агресивними» методами намагається загнати свій сайт в індекс. Робити цього оптимізатори не рекомендують.
Пошукові системи як мінімум, помітивши надмірнуактивність, пов'язану з новим ресурсом, можуть ввести в дію якісь санкції, що негативно позначаються на стані сайту. Тому краще робити все так, щоб індексація сторінок виглядала як можна більш органічною, поступової і плавною.
