Все сайты DMOZ в одном архиве. Н-н-надо?

DMOZ (ODP, Open Directory Project) - крупный веб-каталог интернет-ресурсов, самый большой и авторитетный в интернете. Авторитетность ДМОЗ состоит в том, что хотя он и бесплатный, но модерируемый (на добровольной основе) коллективно и принимаются в этот каталог исключительно полезные ресурсы. В интернете можно найти массу публикаций и рекомендаций с заголовками "Как добавить сайт в каталог DMOZ", но на практике туда помещаются не все веб-ресурсы, а только тщательно отобранные и проверенные, поэтому нахождение сайта в каталоге DMOZ - весьма престижно (равносильно нахождению сайта в Яндекс.Каталоге)! Если ваш сайт находится в каталоге DMOZ, он может рассчитывать на лояльность со стороны рекламодателей, такой фактор увеличивает цену продажной ссылки, увеличивает цену домена при продаже и т.д.

Интересный факт. Каталог DMOZ в настоящее время принадлежит корпорации Netscape. Каталог был открыт в 1998 году на домене directory.mozilla.org (далее находился по адресу dmoz.org) и был известен как GnuHoo, NewHoo, а также ZURL, до момента продажи в 1998 году за свыше 40 млн. долларов!!! Сайты в каталоге DMOZ каталогизированы в свыше 1 млн. подразделов на 90 языках.

Моя статья не про то, как добавить сайт в каталог DMOZ и прелести для сайтов от попадания туда. Я про список сайтов, которые находятся в DMOZ. Их достаточно много. Если быть точным, то по состоянию на момент написания этой статьи (см. дату написания статьи), сайтов в каталоге DMOZ - 3 652 793

Зачем нужны сайты из DMOZ

Я уже упоминал выше, что нахождение сайта в каталоге DMOZ - весьма "денежный" показатель. Добавить сайт в каталог DMOZ - не совсем простая задача, а часто так бывает, что домен из каталога DMOZ освобождается - сайт забрасывается бывшим владельцем. Если у сайта тИЦ ниже 10, то очень большие шансы, что такой домен никто и не заметит освободившимся. Что имеем? Домен есть в каталоге DMOZ и его можно регистрировать! Можно вытянуть тот же сайт из веб-архива или создать аналогичный: есть все шансы, что его не удалят из DMOZ и он так и останется там. В итоге, имеем сайт в каталоге DMOZ почти нахаляву!

Собственно, сайты из каталога DMOZ можно проверить на предмет освобождения и перехватывать такие "лакомые кусочки": продолжать начатое бывшим вебмастером дело, открывать собственный аналогичный проект или продавать домены в третьи руки. И обязательно надо учитывать такой фактор, как возможность любого пользователя интернета "Сообщить о проблеме с сайтом или описанием" в DMOZ. Любой может сообщить редакторам, что сайт не работает, взломан или не соответствует действительности. Но, сами понимаете, сайтов очень много, а редакторов мало (часто, если вы зайдете в какой-либо раздел каталога DMOZ, вы можете увидеть там сообщение, типа "Вы можете подать заявку на редактирование раздела" (что говорит нам о том, что редакторов там мало и сайты из раздела пересматриваются не так уж и часто)).

Или вот еще одна практическая польза! Мой список сайтов из DMOZ - реальная база сайтов из каталога DMOZ! Что я имею ввиду? Ваш сайт может находится в DMOZ фактически (вы можете наблюдать его в каком-либо разделе сайта), а в поиске (если вы ищите домен) - ничего не высвечиваться! Поскольку факт нахождения сайта в каталоге DMOZ проверяется (если идет речь о каком-либо машинном способе проверки) как раз поиском в DMOZ, то сайт может быть и одновременно не быть в DMOZ (почти как "Кот Шрёдингера"). Объясняется это тем, что перечень сайтов большой и разделы каталога индексируются для поиска не так часто. В моей практике был случай, когда сайт из каталога DMOZ больше года не находился через поиск, хотя физически был в DMOZe. Сайт продавал ссылки через SAPE и, каждый раз после переиндексации сайта, мне приходилось создавать тикет в службу поддержки с указанием того, что такой-то сайт находится в таком-то разделе DMOZ с просьбой присвоить сайту факт нахождения сайта в DMOZ (естественно, это влияло на цену продаваемых ссылок).

Естественно, имея под рукой список всех сайтов из каталога DMOZ, в нем легко можно найти тот или иной домен - легко установить факт нахождения конкретного сайта в каталоге ODP.

Скачать список сайтов из DMOZ

Ниже Вы можете скачать (за символическую плату) весь список сайтов из каталога DMOZ по состоянию на 17 апреля 2016 года. В списке 3 652 793 доменов. В архиве вы найдете следующие файлы (для вашего удобства некоторые доменные зоны уже каталогизированы):

• all_dmoz.txt - весь список сайтов из DMOZ (3 652 793 шт)
• ru_dmoz - все домены в зоне .ru из DMOZ (77 251 шт)
• com_dmoz - все домены в зоне .com из DMOZ (1441573 шт)
• biz_dmoz - все домены в зоне .biz из DMOZ (5614 шт)
• org_dmoz - все домены в зоне .org из DMOZ (347784 шт)
• net_dmoz - все домены в зоне .net из DMOZ (120035 шт)
• info_dmoz - все домены в зоне .info из DMOZ (17655 шт)
• ucoz_dmoz - все домены ucoz из DMOZ (1055 шт)

Вес архива с файлами 43 Мб, вес файлов в архиве 181 Мб. Как использовать эту информацию на практике - опытный веб-мастер или веб-мастерица придумают обязательно!