Kuidas blokeerida otsingurobotid .htaccess failis?
Kui veebilehele tuleb liiga palju külastusi samasuguse kasutajaandmetega (User Agent) erinevatelt IP-aadressidelt, siis saab neid külastusi piirata, blokeerides need kasutajaandmed. Selleks tee oma .htaccess-failis järgmised muudatused:
kus tuleks 'UserAgentName' asendada otsiroboti tegeliku nimega. Näiteks kui soovid blokeerida robotit nimega 'Textbot', lisa see järgmiselt:
Soovitatav on lisada kood .htaccess-faili algusesse.
Kui soovid blokeerida rohkem kui ühte otsingurobotit (nt nimega SCspider, Textbot ja s2bot), tee seda allpool olevate .htacces reeglitega: