(Image: https://cdn.freerunce.ru/iblock/c4b/c4b8a5790804d3eabb3a3f62a0580873/434833_1535386628.jpg)Если вы получаете много идентичных запросов, но они приходят с разных IP-адресов, их все можно заблокировать. Можно пойти дальше: вы можете выделить похожие запросы, даже если они поступают с разных IP-адресов, что указывает на распределенный парсинг (парсер, использующий ботнет или сеть прокси-серверов). Они используют обширные сети прокси-серверов и постоянно меняющиеся IP-адреса, чтобы обойти ограничения и блокировки, поэтому защититься от них особенно проблематично. Помните, что, блокируя доступ с прокси-серверов и VPN, вы будете негативно влиять на реальных пользователей. Таким образом, они очень полезны, если у вас есть подозрения в парсинге, и вы хотите его остановить, не блокируя при этом доступ реальным пользователям. Регулярно проверяйте логи и, в случае подозрительной активности, свидетельствующей об автоматическом доступе (парсинге, цели продвижения сайта в поисковых системах например), множестве запросов с одного и того же IP-адреса, блокируйте или ограничивайте доступ. 12345. Этот адрес (и подобные ему адреса) позволит парсерам просто перебирать все articleIds и, таким образом, запрашивать все статьи. Например, если вы получаете много запросов с одного IP-адреса, продвижение сайта по поисковым запросам все используют один и тот же User-Agent, размер экрана (определяется с помощью JavaScript), и пользователь (в данном случае парсер) всегда нажимает на кнопку одинаково и с регулярными интервалами, то очевидно, что это парсер, и вы можете временно заблокировать подобные запросы (например, блокировать все запросы с этим пользовательским агентом и размером экрана, продвижение сайта по поисковым запросам приходящим с этого конкретного IP-адреса), и, таким образом, вы не будете доставлять неудобства реальным пользователям, которые находятся на этом IP-адресе, как бывает при общем подключении к интернету

Разрабатываемый скрипт должен иметь возможность настройки. Минус этого способа не только в том, что не весь контент будт индексироваться поисковиками, но и в том, что исключается возможность пользователю скопировать данные в буфер обмена. Кроме того, использование подобного скрипта обеспечит прекрасную защищенность абсолютно всех страниц создание сайтов поисковое продвижение сайта от различных видов хаотичных интенсивных запросов, что в свою очередь даст возможность снизить нагрузку на оборудование веб-сервера. Мной был реализован один из методов по защите продвижение сайта по поисковым запросам от сканирования и хаотичных интенсивных запросов, который заключается в подсчете количества запросов в определенный промежуток времени и установке временной задержки при превышении установленного порога. При этом создается большое количество запросов в короткий промежуток времени. Хаотичные интенсивные запросы - это случайные или злонамеренные многочисленные запросы в короткий промежуток времени на страницы сайта со стороны пользователей или роботов. Хаотичные интенсивные запросы сильно нагружают сервера и транспортные каналы, существенно замедляя работу сайта. В частности этот метод делает неэффективным или даже бесполезным способ взлома пароля путем перебора, потому что затраченное на перебор время будет слишком велико. А сделать неэффективным сканирование ссылок и, одновременно, снизить нагрузку поможет установка временной задержки между частыми запросами исходящими от одного пользователя. Использование такого рода скрипта поможет защитить содержимое сайта от сканирования проводимого при помощи программ-краулеров и, одновременно, поможет существенно замедлить проведение сканирования сайта «вручную»