Bingbot, zoekrobot van Microsoft

13 maart 2017

Nog altijd zijn er heel veel internetgebruikers die menen dat Google de enige zoekdienst op internet is. In werkelijkheid zijn er tientallen, zo niet honderden. En Google is de minst betrouwbare. Microsoft probeert met haar eigen zoekdienst Bing een alternatief voor Google te bieden. Als u echter privacy en objectiviteit belangrijk vindt, dan kunt u beter voor Ixquick of Duck Duck Go kiezen. Maar dat terzijde.
Zoekdiensten maken gebruik van zoekrobots om het internet af te struinen naar webzijdes die men geschikt acht om te indexeren en in zoekresultaten te presenteren. Betrouwbare zoekrobots (vaak afgekort tot bots) kunnen min of meer door de webzijde-eigenaar ‘gedresseerd’ worden, maar er zijn er ook die zich nergens iets van aantrekken. Bingbot wil graag tot de betrouwbare gerekend worden en luistert naar aanwijzingen, maar heeft ook weer vervelende eigenschappen die niet te beďnvloeden zijn.

Een van die vervelende eigenschappen is dat Bingbot (en ook Googlebot) naar pagina's blijft zoeken die al 5-10 jaar geleden verwijderd zijn, en die ook nog altijd in zoekresultaten opduiken. Als een zoekrobot keer op keer een pagina niet meer kan vinden, dan kan men er toch vanuit gaan dat die pagina verwijderd is. Of is dat te moeilijk gedacht voor een zoekrobot?
In november 2016 hebben wij een nieuwe domeinnaam in gebruik genomen. Die nieuwe webzijde hebben we o.a. aangemeld bij Bing. Maar wat blijkt nu? Google en vooral Bing blijven hardnekkig zoeken naar mappen en bestanden die nóóit hebben bestaan! Dag in dag uit, tientallen keren komt de robot langs om te concluderen dat de gezochte bestanden niet aanwezig zijn, om vervolgens niet verder te gaan met indexeren van de wél aanwezige bestanden. Onbegrijpelijk.

Schrijfster Maria Nikishyna vraagt zich in een artikel over MSNbot, de oude naam van Bingbot, zelfs af: “MSNbot: stupid or just plain evil”.