Самым главным принципом практически всех поисковых систем является предоставление посетителю наиболее "естественных" страниц по запросу. Говоря простым языком, "естественные страницы" - это страницы, которые созданы именно "для людей", а не исключительно для поисковых машин (как например создаются "дорвеи" всех типов). Конечно, не в силах поисковика достаточно точно оценить, подобно живому человеку, естественность той или иной страницы, но тут на помощь нам приходят такие вещи как математика и лингвистика.
...Любой естественный текст обязательно имеет свои собственные параметры, такие как частоту употребления слов, среднюю длину этих слов, также среднюю длину предложений и прочее в подобном духе. Эти все параметры имеют каждый конкретные числовые диапазоны, которые машина никогда не сможет оценить. В этом случае особый вес имеют так называемые "частоты встречаемости" тех или иных слов в тексте. Небезызвестный "Закон Ципфа" гласит так: "...если все слова текста расположить в порядке частоты их употребления в достаточно объёмном текстовом массиве, то тогда количество вхождений любого слова обратно пропорционально его порядковому номеру".
Используя этот закон вместе с другими факторами, поисковая система делает относительно правильное "заключение" о необходимой естественности текста страницы. Общая схема этого алгоритма ранжирования поисковой машины примерно такая: по определённому запросу обязательно находятся все вхождения любого слова или цитаты в анализируемую веб-страницу. Также оценивается и компактность вхождения (то есть расположение слов рядом друг с другом), также важность (присутствие этих слов в заголовке, титле, и что важно - близость к самому началу страницы), ну и, естественно, порядок расположения.
Итак, в итоге все вхождения в результате получают некий "вес". Затем происходит обязательное суммирование всех этих "весов" по строго определённой формуле. В результате на первых местах в выдаче поисковика оказываются страницы с самым максимальным "весом".
Однако каждый поисковик настроен на свои алгоритмы подсчета, и следовательно, результаты выдачи всегда получаются разные, хотя базовые факторы, по которым происходит этот расчёт, являются общими для абсолютно всех поисковых машин без исключения.
