Semalt는 왜 봇과 웹 사이트 크롤러를 차단해야하는지 설명합니다

귀하의 웹 사이트에 대한 많은 견해는 비인간적이며 비정품적인 출처에 의한 것이며, 평생 동안 웹 사이트가 성장하는 것을보고 싶다면이를 제거해야하기 때문에 문제가되지 않습니다. 봇 트래픽이 양호하고 신뢰할 수 있다고 생각되면 Google에서 애드 센스 계정을 사용 중지 할 수 있으므로 큰 실수를 저지르고 있습니다. 대부분의 경우 봇은 Google 애널리틱스에서 인적 트래픽으로 표시되지만 몇 달 전에는 그렇지 않았습니다. 요즘 소규모 웹 사이트에서 생성 된 트래픽의 70 % 이상이 봇과 가짜 소스에서 발생합니다. Semalt 전문가 인 Max Bell은 봇이 항상 다양한 방법으로 귀하의 사이트를 방문하려고 시도하므로이를 제거하지 못할 수도 있다고 경고합니다.

좋은 봇

귀하의 사이트를 방문하는 많은 수의 봇은 가짜이며 쓸모가 없습니다. 소량 만 들어 오면 웹 페이지에 유용합니다. 예를 들어, 좋은 봇 중 일부는 Google 자체에서 온라인으로 새로운 콘텐츠를 발견하는 데 사용됩니다. 거의 모든 검색 엔진 은 좋은 봇을 사용하여 기사의 품질을 식별합니다. 그들이 품질을 결정하는 방식이 바뀌어 이제는 대규모 떼 소프트웨어 서비스를 사용합니다. 떼는 링크를 따라 한 사이트에서 다른 사이트로 이동하며 새롭고 변경된 컨텐츠를 색인화합니다. Google 봇은 동작을 제어 할 수있는 규칙이 심화되어 복잡합니다. 예를 들어, 링크의 NoFollow 명령을 사용하면 Google 봇에서 효과가 떨어지고 보이지 않게됩니다.

나쁜 봇

나쁜 봇은 사이트를 망치고 아무런 이익도 줄 수없는 봇입니다. 의도적으로 검색되어 자동으로 색인이 생성됩니다. 귀하의 콘텐츠는 품질과 진품을 무시하고 인간과 봇 모두에게 표시됩니다. 불량 봇은 로봇 지시문을 무시하고 웹 페이지의 품질을 유지하기 위해 IP 블록을 사용하지 않습니다. 이러한 봇의 가장 큰 문제 중 하나는 콘텐츠를 색인화하기가 어렵고 공개적으로 숨겨져 있지만 파일에 액세스하여 해킹 한 사용자가 시스템을 손상시킬 수있는 해커에게는 공개 상태로 남아 있다는 것입니다. 스팸 봇도있어 사이트의 전반적인 성능을 손상시킬 수 있습니다. 미리 정의 된 메시지로 사이트를 채우면 제휴 마케팅 담당자가 기분이 나빠집니다.

봇을 차단해야합니까?

좋은 봇에서 지속적으로 조회를받는 경우 차단하지 않아도됩니다. 그러나 불량 봇에서 조회를받는 경우 차단을 고려할 수 있습니다. 검색 엔진 결과에서 사이트를 제거 할 수있는 Googlebot을 차단해야합니다. 반면에 스팸봇은 반드시 차단해야합니다. DDOSing으로부터 사이트를 보호하려는 경우 봇 및 스패머의 IP 주소를 차단해야합니다. 나쁜 봇은 robot.txt 파일을 신경 쓰지 않을 것입니다.이 파일의 보호는 사이트의 성장과 전반적인 성능에 필수적이므로 매우 불행합니다.

mass gmail