Багато SEO-фахівці практично щодня проводять технічні аудити сайтів використовуючи той чи інший софт для краулінга. У 90% випадків це всім відомі Screaming Frog SEO Spider або Netpeak Spider. Обидві програми є платними, а їх вартість починається від £ 149 і $ 182 в рік відповідно (500 безкоштовних сторінок, доступних в Screaming Frog до уваги не беремо, так як це не серйозно для більш-менш великих проектів).
Звичайно, крім Screaming Frog і Netpeak Spider існує безліч інших платних і безкоштовних аналогічних програм для краулінга сайтів, однак, більшість з них або має слабший функціонал, або їх підтримка і розвиток припинені з невідомих нам причин.
І якщо серед платних краулерів особливих питань "що використовувати" особливо не виникає (жаба, нетпік, ну або вебсайтаудітор на крайній випадок), то безкоштовні аналоги відомі далеко не всім.
Приклади альтернативних безкоштовних SEO-краулерів:
- Xenu's Link Sleuth - прабатько веб-краулерів, не оновлювався з 2010 року. Було б дивно, якби їм зараз ще хтось користувався.
- WildShark - дуже простий і безкоштовний парсер сайтів від однойменного рекламного агентства. Хоча WildShark SEO Spider має більше функцій, ніж Xenu's Link Sleuth, проте він все ж функціонально біднуватий. Налаштування практично відсутні. Підійде для швидкої оцінки технічного стану сайту, але для серйозних аудитів не підходить.
- Beam Us Up - безкоштовний сканер сайтів для ПК, який підтримує платформи Windows, Linux і MacOS, має досить інформативні звіти і можливість вивантаження в Excel битих посилань, редиректів і т.п. помилок на сайті. З мінусів: парсит тільки HTML, проект наче не підтримується і не розвивається.
- Webbee - це безкоштовний сканер сайтів або списку URL. Програма має широкий набір аналізованих параметрів, відображає отриману статистику в графічному вигляді, є інтеграція з Google Analytics. Мінуси: візуалізація даних на графіках виглядає моторошно, аналізованих параметрів могло б бути і більше, немає можливості фільтрації даних за довільними полями. Останній реліз був випущений в 2015 році.
- LinkChecker - програма призначена для перевірки битих посилань в HTML-коді і файлах CSS, звідси її обмеженість в застосуванні. Працює повільно, давно не оновлювалася. Не варто витрачати на неї час.
- IIS SEO Toolkit - безкоштовний SEO-краулер самої Microsoft! Має достатній набір функцій для програм подібного роду, швидкість сканування сайтів також на рівні. Однак працює тільки на Windows 7-8. 10-ка не підтримується. По всій видимості подальша підтримка програми припинена.
- SiteAnalyzer - по набору функцій практично не поступається платним аналогам, тобто на 80% програма повторює основний функціонал Screaming Frog і Netpeak Spider. А деяких функцій, таких, як Візуалізація посилальних зв'язків на графі, немає навіть у більшості платних аналогів (а ті у кого є, можна перерахувати на пальцях однієї руки). При цьому вам не потрібно витрачатися на придбання ліцензій. Всі основні інструменти для аудиту сайту у вас під рукою абсолютно безкоштовно!
