Недавно самому понадобилось узнать сколько страниц на сайте в действительности, то есть посчитать количество ссылок в файле sitemap (карта сайта). Нашел известный всем сервис, но там ограничение на 500 ссылок, а многие сайты гораздо больше в количестве. Пришлось написать скрипт, чтобы узнать количество ссылок в xml.


После того, как я написал этот скрипт, я решил немного его улучшить. Теперь можно узнать количество страниц второго уровня, количество страниц третьего уровня в файле sitemap.xml


Upd 14/01/2012. Сегодня понадобилось узнать количество проиндексированных страниц в Яндексе. Пришлось для каждого сайта из списка по очереди узнавать сколько ссылок в выдаче Яндекса. Делается это через запрос site:ваш домен. Ну и после первого десятка сайтов меня эта рутинная “работа” достала и написал простейший парсер.


Upd 2024-03-18. Всего-то лет 12 страничка не работала LoL.


Пользуйтесь!