Contentprovider, die einer Suchmaschine oder einem Contentmittler das Crawlen und Indizieren ihres Contents erlauben, sollten bei der Zusammenarbeit mit der Suchmaschine die in diesem Kapitel beschriebenen Punkte beachten. Diese Contentprovider versorgen Benutzer der Suchmaschine mit für sie relevanter Information.