Недавно самому понадобилось узнать сколько страниц на сайте в действительности, то есть посчитать количество ссылок в файле sitemap (карта сайта). Нашел известный всем сервис, но там ограничение на 500 ссылок, а многие сайты гораздо больше в количестве. Пришлось написать скрипт, чтобы узнать количество ссылок в xml.


После того, как я написал этот скрипт, я решил немного его улучшить. Теперь можно узнать количество страниц второго уровня, количество страниц третьего уровня в файле sitemap.xml


Upd 14/01/2012. Сегодня понадобилось узнать количество проиндексированных страниц в Яндексе. Пришлось для каждого сайта из списка по очереди узнавать сколько ссылок в выдаче Яндекса. Делается это через запрос site:ваш домен. Ну и после первого десятка сайтов меня эта рутинная “работа” достала и написал простейший парсер.


Upd 2024-03-18. Всего-то лет 12 страничка не работала LoL.


Пользуйтесь!

Список всех проверенных файлов

18th March 2024 (10:56) || tourskazka.ru || Всего: 363

18th March 2024 (11:47) || zamenasteklavdveri.blogspot.com || Всего: 162

18th March 2024 (12:34) || dikoed.ru || Всего: 13986

18th March 2024 (13:39) || www.wondersoftibet.com || Всего: 277

18th March 2024 (14:03) || best-climat.ru || Всего: 1142

18th March 2024 (17:00) || www.wondersoftibet.com || Всего: 277

18th March 2024 (18:12) || bankrotnoebyuro1.ru || Всего: 24

18th March 2024 (18:13) || nbdm.ru || Всего: 6

18th March 2024 (18:15) || maria-textile.ru || Всего: 1295

18th March 2024 (18:37) || marketing-corp.ru || Всего: 18

18th March 2024 (20:08) || medlineservice.ru || Всего: 1617

19th March 2024 (10:49) || kalinin-oleg.ru || Всего: 66

19th March 2024 (14:52) || www.mrtru.ru || Всего: 268

19th March 2024 (15:11) || www.atlasformen.ru || Всего: 1193

19th March 2024 (18:58) || start.ru || Всего: 809628

19th March 2024 (22:46) || a3boots.shop || Всего: 8

20th March 2024 (08:32) || regoperatory.ru || Всего: 25792

20th March 2024 (09:26) || 1-cleaning-ufa.ru || Всего: 134

20th March 2024 (10:19) || chipworld.ru || Всего: 6

20th March 2024 (12:58) || zamki99.ru || Всего: 10

20th March 2024 (13:23) || ridersadventure.ru || Всего: 50

20th March 2024 (13:47) || lockservice.pro || Всего: 1718

20th March 2024 (13:53) || spaszamkov.ru || Всего: 126

20th March 2024 (13:58) || vidnoe.spaszamkov.ru || Всего: 13

20th March 2024 (14:00) || spaszamkov.ru || Всего: 126

21st March 2024 (07:21) || networkss.ru || Всего: 271

21st March 2024 (07:24) || eltex-co.ru || Всего: 2205

21st March 2024 (09:45) || orion-arzamas.ru || Всего: 4

21st March 2024 (15:57) || domkrat-off.ru || Всего: 420

21st March 2024 (16:56) || atc-logistic.com || Всего: 698

21st March 2024 (16:57) || fsteam.pro || Всего: 24

21st March 2024 (20:26) || topplitka.com || Всего: 800

22nd March 2024 (13:01) || flowlove.ru || Всего: 2162

22nd March 2024 (15:30) || nalchik.restavraciya-vannoj.ru || Всего: 9

22nd March 2024 (16:34) || gdlog.ru || Всего: 1089

22nd March 2024 (17:34) || hanston.ru || Всего: 1188

22nd March 2024 (18:24) || oplock.ru || Всего: 1

22nd March 2024 (18:27) || spravochnick.ru || Всего: 224892

23rd March 2024 (13:03) || shop.oknagorizont.ru || Всего: 1666

23rd March 2024 (13:10) || zamki99.ru || Всего: 10

23rd March 2024 (14:02) || www.cupedoors.ru || Всего: 1079

23rd March 2024 (17:18) || portal.eaeregistry.org || Всего: 450

25th March 2024 (01:02) || site.pro || Всего: 64430

25th March 2024 (11:30) || bitbat.ru || Всего: 682

25th March 2024 (12:39) || sitian.ru || Всего: 5

25th March 2024 (12:46) || alaskapof.ru || Всего: 104

25th March 2024 (12:48) || zamki-kluchi.ru || Всего: 104

25th March 2024 (12:53) || lady-parket.ru || Всего: 2520

25th March 2024 (12:59) || barsa-it.ru || Всего: 5

25th March 2024 (13:30) || zamki99.ru || Всего: 10

25th March 2024 (13:31) || bitbat.ru || Всего: 682

25th March 2024 (13:58) || psk-teamup.ru || Всего: 179

25th March 2024 (13:58) || prysm.group || Всего: 274

25th March 2024 (13:58) || stroy-trading.ru || Всего: 1881

25th March 2024 (13:59) || pg-lider.ru || Всего: 73

25th March 2024 (13:59) || primecad.ru || Всего: 71

25th March 2024 (13:59) || arxproektstroy.ru || Всего: 845

25th March 2024 (13:59) || vr-k.com || Всего: 121

25th March 2024 (13:59) || est-3d.ru || Всего: 153

25th March 2024 (14:00) || proektstroy.expert || Всего: 49

25th March 2024 (14:07) || baumix.ru || Всего: 135

25th March 2024 (14:09) || rosstrojproject.ru || Всего: 15

25th March 2024 (14:24) || arm-plast.ru || Всего: 6818

25th March 2024 (23:18) || www.letto.ru || Всего: 42853

25th March 2024 (23:19) || www.letto.ru || Всего: 42853

26th March 2024 (04:22) || transitllc.ru || Всего: 130

26th March 2024 (04:24) || transitllc.ru || Всего: 130

26th March 2024 (21:26) || fcc-spb.ru || Всего: 96

27th March 2024 (10:37) || mostpp.ru || Всего: 1175

27th March 2024 (12:00) || laticka.com || Всего: 254

27th March 2024 (18:23) || goo.su || Всего: 129

27th March 2024 (22:21) || lrknadzor.ru || Всего: 557

27th March 2024 (22:39) || istroy.su || Всего: 84

27th March 2024 (22:42) || niistrom.ru || Всего: 62

27th March 2024 (22:56) || tps-spb.ru || Всего: 70

28th March 2024 (13:34) || bilanix.ru || Всего: 39

28th March 2024 (13:35) || www.moedelo.org || Всего: 7382

28th March 2024 (13:38) || rosco.su || Всего: 3704

28th March 2024 (16:30) || www.b1.lt || Всего: 4900

28th March 2024 (17:36) || ic-lsk.ru || Всего: 109

28th March 2024 (17:52) || velomagazin.ru || Всего: 47368

28th March 2024 (17:52) || stroilab-sl.ru || Всего: 214

28th March 2024 (18:01) || lab-eng.ru || Всего: 78

28th March 2024 (18:04) || www.divanyikresla.by || Всего: 5758

28th March 2024 (18:12) || profitlab.pro || Всего: 68

28th March 2024 (18:15) || fcc-spb.ru || Всего: 96

28th March 2024 (18:22) || ins-lab.ru || Всего: 269

28th March 2024 (18:29) || istroy.su || Всего: 84

28th March 2024 (18:30) || lrknadzor.ru || Всего: 557

28th March 2024 (18:30) || niistrom.ru || Всего: 62

28th March 2024 (18:30) || infosmit.ru || Всего: 77

29th March 2024 (08:43) || martsoft.ru || Всего: 4831

29th March 2024 (13:10) || alderasoft.ru || Всего: 38

29th March 2024 (13:52) || dubrovkafitness.ru || Всего: 8

29th March 2024 (20:10) || asnova-muz.ru || Всего: 704

29th March 2024 (20:10) || school-of-music.ru || Всего: 96

29th March 2024 (20:14) || 1musicfamily.ru || Всего: 28

31st March 2024 (14:50) || a108-development.ru || Всего: 19

31st March 2024 (15:59) || econs.online || Всего: 1653

01st April 2024 (13:45) || sitian.ru || Всего: 5

01st April 2024 (13:58) || remont-bitovoi-techniki-nn.ru || Всего: 15

01st April 2024 (15:03) || doctorbormental.ru || Всего: 890

01st April 2024 (15:52) || profisluzhba.ru || Всего: 13

01st April 2024 (21:19) || flibusta.su || Всего: 162906

01st April 2024 (21:53) || ugtest.ru || Всего: 84

02nd April 2024 (07:05) || planb.group || Всего: 33

02nd April 2024 (07:30) || fin-teh.com || Всего: 6

02nd April 2024 (07:35) || www.abk-buh.ru || Всего: 18

02nd April 2024 (07:54) || matricaucheta.ru || Всего: 1

02nd April 2024 (11:16) || melegal.ru || Всего: 630

02nd April 2024 (11:34) || kykok.ru || Всего: 12

02nd April 2024 (12:10) || melegal.ru || Всего: 630

02nd April 2024 (12:58) || site.pro || Всего: 64446

02nd April 2024 (14:50) || rekate-medical.ru || Всего: 292

02nd April 2024 (20:00) || navigator.taxi || Всего: 64

02nd April 2024 (22:37) || selectloan.ru || Всего: 38052

02nd April 2024 (22:37) || desrazu.com || Всего: 865

03rd April 2024 (13:56) || gramotus.ru || Всего: 90

04th April 2024 (16:27) || rusohrana.su || Всего: 323

04th April 2024 (16:48) || www.divanyikresla.by || Всего: 5758

04th April 2024 (17:24) || pnevmotex.com || Всего: 11918

04th April 2024 (19:34) || dasportret.ru || Всего: 25

04th April 2024 (19:34) || www.tvoyportret.ru || Всего: 67

05th April 2024 (07:55) || skillbox.ru || Всего: 16973

05th April 2024 (07:55) || skillbox.ru || Всего: 16973

05th April 2024 (07:58) || skillbox.ru || Всего: 16973

05th April 2024 (07:59) || skillbox.ru || Всего: 16973

05th April 2024 (08:00) || gonnasound.ru || Всего: 11

05th April 2024 (08:02) || www.openbusiness.ru || Всего: 2073

05th April 2024 (08:08) || www.advgazeta.ru || Всего: 23535

05th April 2024 (08:10) || gonnasound.ru || Всего: 11

05th April 2024 (08:11) || www.advgazeta.ru || Всего: 23535

05th April 2024 (08:11) || gitis.net || Всего: 449

05th April 2024 (08:16) || markway.ru || Всего: 298

05th April 2024 (08:16) || markway.ru || Всего: 298

05th April 2024 (08:24) || www.rmj.ru || Всего: 31008

05th April 2024 (08:29) || markway.ru || Всего: 298

05th April 2024 (08:33) || xn----7sbbahcmgafaski8a2afibqaixke4dxd.xn--p1ai || Всего: 2113

05th April 2024 (08:37) || www.buhta.ru || Всего: 246

05th April 2024 (11:46) || atg-howo.ru || Всего: 139

05th April 2024 (12:12) || atg-howo.ru || Всего: 139

05th April 2024 (12:13) || gkgross.ru || Всего: 350

05th April 2024 (12:21) || atg-howo.ru || Всего: 139

05th April 2024 (14:20) || frprf.ru || Всего: 1660

08th April 2024 (11:19) || smile-luxe.com || Всего: 55

08th April 2024 (11:42) || stomferos.ru || Всего: 134

08th April 2024 (12:35) || abilis-med.ru || Всего: 86

08th April 2024 (21:25) || endspire.tilda.ws || Всего: 1

08th April 2024 (21:25) || endspire.tilda.ws || Всего: 1

09th April 2024 (09:32) || gk-infostroy.ru || Всего: 835

09th April 2024 (12:14) || porta.forma.ru || Всего: 2

10th April 2024 (04:45) || snmash.ru || Всего: 789

10th April 2024 (18:44) || dgenerx.com || Всего: 440

10th April 2024 (18:44) || dgenerx.com || Всего: 440

10th April 2024 (18:49) || avenir-pro.com || Всего: 440

10th April 2024 (18:54) || dgenerx.com || Всего: 440

11th April 2024 (12:21) || hotlider.ru || Всего: 1589

11th April 2024 (17:11) || umbridge.ru || Всего: 27

12th April 2024 (10:31) || www.autorus.ru || Всего: 691777

12th April 2024 (11:42) || rimteh.com || Всего: 145

12th April 2024 (11:52) || be1.ru || Всего: 2038

12th April 2024 (16:36) || medics.kz || Всего: 53

13th April 2024 (12:25) || zamki99.ru || Всего: 10

13th April 2024 (12:26) || profisluzhba.ru || Всего: 13

13th April 2024 (12:48) || velesovik.ru || Всего: 106371

19th April 2024 (09:37) || siz155.ru || Всего: 2305

19th April 2024 (12:50) || kvantacar.ru || Всего: 47

22nd April 2024 (10:59) || gaztormoz.ru || Всего: 6862

22nd April 2024 (16:21) || international-cargo.ru || Всего: 607

22nd April 2024 (20:00) || www.cyfest.art || Всего: 68

23rd April 2024 (13:16) || dkon.app || Всего: 265622

23rd April 2024 (13:18) || dkon.app || Всего: 265622

23rd April 2024 (17:47) || institut-zdorovia.ru || Всего: 36

23rd April 2024 (18:01) || sudact.ru || Всего: 2

23rd April 2024 (18:05) || medicalbusinesschool.com || Всего: 418

23rd April 2024 (18:06) || sudact.ru || Всего: 2

23rd April 2024 (18:09) || www.tumen.kp.ru || Всего: 421

23rd April 2024 (18:09) || studylib.ru || Всего: 2020502

23rd April 2024 (18:12) || novosibirsk.1cbit.ru || Всего: 11134

24th April 2024 (05:55) || cagame.ru || Всего: 481

24th April 2024 (06:26) || niilador.ru || Всего: 14

24th April 2024 (06:42) || niilador.ru || Всего: 14

24th April 2024 (06:43) || cagame.ru || Всего: 481

24th April 2024 (12:52) || grandlesmarket.ru || Всего: 1041

24th April 2024 (13:08) || dkon.app || Всего: 268832

24th April 2024 (13:10) || dkon.app || Всего: 268832

25th April 2024 (10:22) || studiofasad.com || Всего: 11

25th April 2024 (12:11) || tophim.ru || Всего: 674

25th April 2024 (12:12) || tophim.ru || Всего: 674

25th April 2024 (12:38) || picasso-diagnostic.ru || Всего: 589

25th April 2024 (14:28) || tatenergy.com || Всего: 494

25th April 2024 (15:29) || shin-line.ru || Всего: 987

25th April 2024 (16:23) || rail-trust.ru || Всего: 1

25th April 2024 (16:24) || rail-trust.ru || Всего: 1

25th April 2024 (22:35) || www.cross-food.ru || Всего: 44