Na tej stronie www tworzę od dość dawna blog - z często przemijającym zapałem - to sprawia że w teście majestic.com moja strona internetowa ma dość dobre parametry nawet w porównaniu z innymi witrynami firm tworzących strony www Lublin. Niedawno zanotowałem jednak dość znaczy spadek na kilka fraz na które byłem dość wysoko. Wynikało to zapewne z mojego lenistwa - na ponad miesiąc zaniechałem aktualizacji bloga, a w tej tej branży, gdzie prawie każdy się pozycjonuje i optymalizuje stronę to zwyczajne niedbalstwo.
Ponownie zacząłem aktualizować bloga, co za jakiś czas powinno sprawić że moja strona internetowa ponownie zacznie gościć na pierwszej stronie w wynikach google - mam nadzieję. Zacząłem jednak szukać innych przyczyn tego stanu.
Okazało się że blokowane są niektóre zasoby mojej strony internetowej dla robotów google przez plik robots.txt.
Zablokowane zasoby możemy sprawdzić w Search Console >> Index Google >> Zablokowane zasoby
Jeśli plik robot.txt blokuje odczytywanie niektórych zasobów strony może to wpłynąć na pozycję strony w wynikach google.
Widocznym działaniem pliku robots w Joomla 3.x jest - Test zgodności z urządzeniami mobilnymi
Google Search >>> Webmasters >>>Mobile Friendly Websites
https://www.google.com/webmasters/tools/mobile-friendly/
W pierwszym teście który przeprowadziłem okazało się że blokowanych jest 21 zasobów do mojej strony www Lublin. Strona oczywiście na najnowszej joomla, zaktualizowane Gantry 5 i wszystkie komponenty a także szablon. Okazuję się plik robots.txt został od Joomla 3.3 zmodyfikowany żeby poprawić możliwość indeksowania zasobów strony przez roboty google - poprawia to także wynik testu Mobile Friendly Google. Plik ten nie jest jednak modyfikowany automatycznie w czasie aktualizowania Joomla do najnowszej wersji - tych zmian musimy dokonać sami.
W nowej wersji pliku robots.txt usunięto blokowanie robotów indeksujących dla
/media
/templates
/images
W tych katalogach znajdują się pliki potrzebne m.in do sprawdzenie strony internetowej w teście Mobile Friendly Google. Ale także pliki graficzne które przy prawidłowym ich opisaniu i zindeksowaniu potem będą pracować na pozycje naszej strony www Puławy w Google.
Po zmianie pliku robots.txt w mojej Joomla okazało się że blokowanych jest dostęp do 2 zasobów (wcześniej 21) do których google chciał by się dostać. Ciekawe jak to wpłynie na efekty pozycjonowania.
Plik robots.txt możemy także przetestować pod adresem https://www.google.com/webmasters/tools/robots-testing-tool - oczywiście jeśli mamy założone konto w Search Console