Zoekmachines strijden om volledigheid

AMSTERDAM – Zoekmachines op internet maken zich op voor de strijd om als eerste het complete World Wide Web te indexeren. Nieuwkomer Alltheweb heeft deze week de eerste stap gezet. Het Noorse bedrijf stelt een kwart van het internet te indexeren en binnen een jaar volledig te zijn.

Recent onderzoek, waarvan de resultaten werden gepubliceerd in het wetenschapsblad Nature, wees uit dat zoekmachines gemiddeld slechts 16 procent van de circa 800 miljoen internetpagina's bestrijken. Dat percentage is zelfs afgenomen, omdat het aantal internetpagina's snel toeneemt en het veel tijd en geld kost om het uitdijende net bij te benen met nieuwe en snellere computers.

Diverse zoekmachines laten weten voor het einde van het jaar alle webpagina's te hebben opgenomen in de index. Excite zegt zelfs half augustus al zo ver te zijn.

Ook zoekmachine Lycos wil haar zoekresultaten verbeteren. Topman R. Sege relativeert overigens wel het belang van het zo alomvattend mogelijk willen zijn. Volgens hem is het belangrijker hoe de zoekresultaten gerangschikt worden. „Wanneer een trefwoord duizenden resultaten oplevert, dan heb je daar weinig aan. In de meeste gevallen zijn de tien beste sites goed genoeg.”

Aan het zo volledig mogelijk zijn, is echter een belangrijk voordeel verbonden. Koploper in het Nature–onderzoek is Northern Light, dat het aantal hits op zijn internetpagina fors zag groeien nadat de uitkomsten van het onderzoek bekend werden. Aangezien de inkomsten van de zoekmachines voor een groot deel van advertenties komen, gaat het hier niet alleen om een erekwestie.