Ruben Timmerman stelt de vraag op zijn weblog waarom Kieskeruig niet meer te vinden is in Google. Via een comment bij Marketingfacts viel mijn oog op een schijnbare Google penalty voor Kieskeurig.nl. De site is niet meer in de index te vinden. Marco geeft aan dat zijn tipper denkt dat het om een verkeerd gebruik van de robots.txt gaat.
Op de site is in ieder geval niks (meer?) te vinden dat als illegaal aangemerkt kan worden. Verder zou ik denken dat het verkeerd gebruik van robots.txt nog wel een resultaat moet opleveren, namelijk die uit de Google Directory. De huidige robots.txt van Kieskeurig ziet er in ieder geval keurig uit.
Kieskeurig.nl is ook niet meer te vinden in de prijsvergelijkingen categorie bij de Google Directory. Die directory wordt gekopieerd van DMOZ, en daar is Kieskeurig nog wel te vinden. Ook bij andere mirrors van DMOZ is Kieskeurig wel te vinden, zie dezelfde prijsvergelijkingen categorieen bij Excite en DMOZsearch.
Bij BMW.de is dit wel het geval, dus lijkt het me toch dat Kieskeurig een penalty heeft gehad. BMW.de is immers op dezelfde manier onvindbaar in de categorie waar ze normaal wel instaan. Bovendien stond BMW er in 2004 in ieder geval nog wel in. Toch vreemd dat de site ook uit de Google Directory is verdwenen. Is het niet gewoon een penalty voor dupe content dan? En/of is de verdwijntruc toevallig?
Normaal hoeft het zeker geen 6 maanden te duren als je een verkeerde robots.txt hebt neergezet. Een kwestie van nieuwe links aanmaken en een goede robots.txt, misschien opnieuw aanmelden. Het is nog steeds verwarrend, het ruikt naar een (onterechte) penalty, of die verwijdering uit de Google Directory moet ook volgen uit die robots.txt.
