Cloaking ist ein Verfahren, das dem Crawler einer Suchmaschine eine andere Seite liefert als einem normalen Nutzer. Damit kann man einer Suchmaschine den gut optimierten HTML-Code ohne Spielereien wie Flash oder JavaScript zeigen, während man einem Menschen die schön gestaltete Seite mit allen modernen Gimmicks anbietet. Wenn ein Client, egal ob ein Browser (Internet Explorer, Mozilla, Opera, Lynx) oder ein Crawler einer Suchmaschine, eine Seite im Web anfordert, sendet er einen Request (Anfrage im Protokoll HTTP) an den Webserver. In dieser Anfrage steht die Angabe "User-Agent", mit der sich der Client zu erkennen gibt. Der Webserver kann diesen User-Agent abfragen und entsprechend entscheiden, ob die Anfrage von einer Suchmaschine oder einem gewöhnlichen Browser kommt. Allerdings kann der User-Agent leicht manipuliert werden. Es ist deshalb nötig, neben dieser Angabe auch noch die IP- Adresse des anfragenden Rechners (Client) mit einer Datenbank abzugleichen, um Suchmaschinen-Robots relativ zuverlässig erkennen zu können.