OBEC POCTE
NEVSEREMOS'!

Оцінка користувачів: 5 / 5

Активна зіркаАктивна зіркаАктивна зіркаАктивна зіркаАктивна зірка
 

save spiderВстановив двомовну джумлу з використанням вбудованої системи багатомовності. Дивлюсь - вантажить процесор. Глядь у логи - купу звернень від ботів до неіснуючого в мене компонента K2

141.8.132.62 - - [12/Feb/2016:16:22:52 +0200] "GET /component/k2/itemlist/user/7243?lang=en HTTP/1.1" 404 25270 "-" "Mozilla/5.0 (compatible; YandexBot/3.0; +http://yandex.com/bots)"
141.8.132.62 - - [12/Feb/2016:16:22:54 +0200] "GET /en/component/k2/itemlist/user/918 HTTP/1.1" 404 25270 "-" "Mozilla/5.0 (compatible; YandexBot/3.0; +http://yandex.com/bots)"
178.154.189.28 - - [12/Feb/2016:16:22:56 +0200] "GET /component/k2/itemlist/user/9753?lang=ru HTTP/1.1" 404 25911 "-" "Mozilla/5.0 (compatible; YandexBot/3.0; +http://yandex.com/bots)"
141.8.132.62 - - [12/Feb/2016:16:22:58 +0200] "GET /en/component/k2/itemlist/user/67 HTTP/1.1" 404 25270 "-" "Mozilla/5.0 (compatible; YandexBot/3.0; +http://yandex.com/bots)"
141.8.132.62 - - [12/Feb/2016:16:23:01 +0200] "GET /ru/component/k2/itemlist/user/7363 HTTP/1.1" 404 25911 "-" "Mozilla/5.0 (compatible; YandexBot/3.0; +http://yandex.com/bots)"
141.8.132.62 - - [12/Feb/2016:16:23:02 +0200] "GET /ru/component/k2/itemlist/user/13355 HTTP/1.1" 404 25911 "-" "Mozilla/5.0 (compatible; YandexBot/3.0; +http://yandex.com/bots)"
178.154.189.28 - - [12/Feb/2016:16:23:04 +0200] "GET /en/component/k2/itemlist/user/3032 HTTP/1.1" 404 25270 "-" "Mozilla/5.0 (compatible; YandexBot/3.0; +http://yandex.com/bots)"
141.8.132.62 - - [12/Feb/2016:16:23:07 +0200] "GET /ru/component/k2/itemlist/user/437\\\\\\\\\\\\\\' HTTP/1.1" 404 25911 "-" "Mozilla/5.0 (compatible; YandexBot/3.0; +http://yandex.com/bots)"

Виявилось, що рідний джумловий robots.txt не обрізає цих ботів через мовні суфікси, що зв’явились у посиланнях. То ж полінувався використати маски, в ручну додав блокування для кацапської і буржуїнської мов у robots.txt. Навантаження на процесор впало, в логах боти зникли. Совпадєніє? Нє думаю.

# If the Joomla site is installed within a folder such as at
# e.g. www.example.com/joomla/ the robots.txt file MUST be
# moved to the site root at e.g. www.example.com/robots.txt
# AND the joomla folder name MUST be prefixed to the disallowed
# path, e.g. the Disallow rule for the /administrator/ folder
# MUST be changed to read Disallow: /joomla/administrator/
#
# For more information about the robots.txt standard, see:
# http://www.robotstxt.org/orig.html
#
# For syntax checking, see:
# http://tool.motoricerca.info/robots-checker.phtml

User-agent: *
Disallow: /administrator/
Disallow: /bin/
Disallow: /cache/
Disallow: /cli/
Disallow: /components/
Disallow: /includes/
Disallow: /installation/
Disallow: /language/
Disallow: /layouts/
Disallow: /libraries/
Disallow: /logs/
Disallow: /modules/
Disallow: /plugins/
Disallow: /tmp/

Disallow: /ru/administrator/
Disallow: /ru/bin/
Disallow: /ru/cache/
Disallow: /ru/cli/
Disallow: /ru/components/
Disallow: /ru/includes/
Disallow: /ru/installation/
Disallow: /ru/language/
Disallow: /ru/layouts/
Disallow: /ru/libraries/
Disallow: /ru/logs/
Disallow: /ru/modules/
Disallow: /ru/plugins/
Disallow: /ru/tmp/

Disallow: /en/administrator/
Disallow: /en/bin/
Disallow: /en/cache/
Disallow: /en/cli/
Disallow: /en/components/
Disallow: /en/includes/
Disallow: /en/installation/
Disallow: /en/language/
Disallow: /en/layouts/
Disallow: /en/libraries/
Disallow: /en/logs/
Disallow: /en/modules/
Disallow: /en/plugins/
Disallow: /en/tmp/


Зареєструйтесь, щоби додавати коментарі

Якщо ви помітили помилку, то виділіть фрагмент тексту та натисніть Ctrl+Enter
FaLang translation system by Faboba
ОУН-УПА: легенда спротиву Українська Дивізія «Галичина» Зиновій Книш: спогади й матеріали до діяння УВО і ОУН Реаніматор електронних текстів Забуттю не підлягає 1917-1991
Orphus System

Коментарі

  • Форматування PHP коду у VS Code відповідно до Joomla Coding Standards, тобто про phpcs та php-cs-fixer

    oppo oppo 16.03.2018 09:54
    спасибі, грамотно написано

    Детальніше...

     
  • Урок на майбутнє. Зброя і революція.

    Chillipepper Chillipepper 20.12.2016 22:59
    "... малі держави не можуть ефективно покладатися виключно на стримування в якості основної стратегії ...

    Детальніше...

     
  • AutoReadMore - автоматичне додавання кнопки Детальніше для статей Joomla, інших компонентів і модулі

    gruz gruz 13.07.2016 18:38
    Виправив в останній версі 4.5.3

    Детальніше...

     
  • AutoReadMore - автоматичне додавання кнопки Детальніше для статей Joomla, інших компонентів і модулі

    гром гром 13.07.2016 10:01
    Привіт! Відмінний плагін, не можу застосувати його до категорій. Або скрізь працює або ніде! У ...

    Детальніше...

     
  • VirtueMart 2.x Categories accordion menu

    gruz gruz 28.12.2015 12:54
    http://static.xscreenshot.com/small/2016/01/06/02/screen_12a86996b1b92dde3e5c4ca5b872b516 ...

    Детальніше...