Ordbogsopslag

Uofficiel protokol², der har til formål at forhindre webcrawlere i at indsamle oplysninger fra (dele af) hjemmesider, databaser og andre websider. Hensigten er at undgå, at (offentligt tilgængelige) oplysninger vises som søgeresultater uden kontekst og derfor let kan blive misvisende. Men samtidig bliver disse oplysninger en del af det dybe web.