Crawling bei Arztwebsites, wie Google medizinische Inhalte findet

Eine neue Behandlungsseite ist fertig. Der Text wurde sorgfältig erstellt, die medizinischen Informationen geprüft, Bilder optimiert und die interne Verlinkung eingerichtet.

Doch woher weiß Google eigentlich, dass diese Seite existiert?

Bevor eine Seite über die Google-Suche gefunden werden kann, muss Google sie zunächst entdecken und verarbeiten können. Ein wichtiger Teil dieses Prozesses ist das Crawling.

Gerade bei größeren Arztwebsites mit Behandlungsseiten, Erkrankungen, Ärzten, Standorten und Ratgeberartikeln lohnt es sich deshalb zu verstehen, wie Suchmaschinen eine Website technisch erschließen.

Denn eine gute Seite hilft wenig, wenn wichtige Bereiche für Suchmaschinen nur schwer erreichbar sind.

Was bedeutet Crawling?

Google verwendet automatisierte Programme, sogenannte Crawler. Der bekannteste davon ist der Googlebot.

Diese Programme rufen Webseiten auf, folgen Links und entdecken dadurch weitere URLs.

Vereinfacht kann man sich das wie einen Besucher vorstellen, der eine Website nicht über die Navigation erkundet, sondern systematisch den vorhandenen Verbindungen zwischen den einzelnen Seiten folgt.

Google findet beispielsweise die Startseite einer Arztpraxis.

Von dort führt ein Link zu:

Behandlungen

Auf dieser Übersichtsseite befinden sich wiederum Links zu einzelnen medizinischen Leistungen.

Der Crawler kann diesen Links folgen und dadurch weitere URLs kennenlernen.

Genau deshalb ist eine logisch aufgebaute Website nicht nur für Patienten hilfreich. Sie erleichtert auch Suchmaschinen das Verständnis der vorhandenen Seiten.

Crawling und Indexierung sind nicht dasselbe

Die Begriffe Crawling und Indexierung werden häufig gleichgesetzt.

Dabei beschreiben sie unterschiedliche Vorgänge.

Beim Crawling ruft Google eine URL ab und verarbeitet deren Inhalte und Verbindungen.

Bei der Indexierung geht es anschließend darum, ob und wie eine Seite in Googles Index aufgenommen wird.

Eine gecrawlte Seite muss deshalb nicht automatisch indexiert werden.

Und selbst eine technisch indexierbare Seite besitzt keinen Anspruch darauf, in den Suchergebnissen angezeigt zu werden.

Das ist für SEO wichtig.

Wenn eine Behandlungsseite nicht bei Google erscheint, lautet die richtige Frage deshalb nicht sofort:

„Warum rankt meine Seite nicht?“

Zunächst sollte geklärt werden:

Kann Google die URL finden? Darf Google sie crawlen? Kann sie indexiert werden? Wurde sie indexiert? Und erst danach stellt sich die Frage, wie relevant sie für eine bestimmte Suchanfrage ist.

Wie findet Google neue Seiten einer Arztpraxis?

Links spielen beim Crawling eine zentrale Rolle.

Angenommen, eine Augenarztpraxis veröffentlicht eine neue Seite über eine bestimmte Untersuchung.

Die URL existiert technisch, wird aber nirgendwo innerhalb der Website verlinkt.

Ein Patient findet sie kaum.

Auch für Suchmaschinen ist die Entdeckung unnötig erschwert.

Deshalb sollte eine wichtige medizinische Seite sinnvoll in die Struktur der Website eingebunden werden.

Eine Behandlungsseite kann beispielsweise von einer Leistungsübersicht verlinkt werden. Ein Ratgeber über eine Erkrankung kann auf die passende Untersuchung verweisen, sofern dieser Zusammenhang fachlich sinnvoll ist.

So entsteht eine nachvollziehbare Verbindung zwischen den Inhalten.

Interne Verlinkung unterstützt das Crawling

Interne Links erfüllen auf einer Arztwebsite mehrere Aufgaben.

Sie helfen Patienten dabei, weiterführende Informationen zu finden. Gleichzeitig zeigen sie Suchmaschinen, welche Seiten miteinander zusammenhängen.

Nehmen wir als Beispiel einen Artikel über den Grauen Star.

Von dort könnte ein sinnvoller interner Link zu einer Seite über die entsprechende Diagnostik oder Behandlung führen.

Eine Seite über die Behandlung könnte wiederum zum behandelnden Facharzt oder zum Standort führen.

Entscheidend ist, dass solche Links einen tatsächlichen Zusammenhang besitzen.

Interne Verlinkung sollte nicht bedeuten, möglichst viele Keywords mit möglichst vielen anderen Seiten zu verknüpfen.

Der Link sollte für den Menschen sinnvoll sein, der ihn anklicken könnte.

Klicktiefe: Wie weit sind wichtige Seiten entfernt?

Eine wichtige Behandlungsseite sollte nicht irgendwo in den Tiefen einer Website versteckt sein.

Wenn ein Besucher erst fünf oder sechs wenig nachvollziehbare Navigationsebenen durchlaufen muss, um eine zentrale Leistung zu finden, spricht das häufig auch gegen eine gute Informationsarchitektur.

Deshalb lohnt sich die Frage:

Wie einfach kann ein Patient eine wichtige Seite erreichen?

Die Antwort ist häufig gleichzeitig für das Crawling interessant.

Zentrale Behandlungen, Ärzte und Standorte sollten logisch in die Website eingebunden sein und nicht ausschließlich über die interne Suchfunktion erreichbar werden.

Dabei gibt es keine magische Zahl von Klicks, die für jede Arztwebsite gelten muss.

Entscheidend ist eine nachvollziehbare Hierarchie.

Die XML-Sitemap als zusätzliche Orientierung

Eine XML-Sitemap stellt Suchmaschinen eine Liste relevanter URLs zur Verfügung.

Bei einer Arztwebsite können darin beispielsweise Behandlungsseiten, Arztprofile, Standortseiten und Ratgeberartikel enthalten sein.

Eine Sitemap ersetzt allerdings keine vernünftige interne Verlinkung.

Eine Seite sollte nicht ausschließlich deshalb auffindbar sein, weil ihre URL irgendwo in einer XML-Datei steht.

Sinnvoller ist die Kombination:

gute Website-Struktur + interne Links + saubere XML-Sitemap

Besonders nach der Veröffentlichung neuer Inhalte oder bei umfangreicheren Änderungen kann eine aktuelle Sitemap Google dabei unterstützen, relevante URLs zu entdecken.

Was gehört in die XML-Sitemap?

Nicht jede technisch erzeugte URL muss automatisch in eine Sitemap.

Dort sollten vor allem die URLs stehen, die tatsächlich für die Google-Suche vorgesehen sind.

Bei einer medizinischen Website können beispielsweise Seiten über angebotene Behandlungen relevant sein.

Interne Suchergebnisse, technische Testseiten oder andere URLs ohne eigenständigen Nutzen für Suchende gehören dagegen normalerweise nicht zu den Seiten, die man Google bewusst als wichtige Inhalte präsentieren möchte.

Auch hier gilt:

Mehr URLs bedeuten nicht automatisch mehr SEO.

Eine übersichtliche Website mit hochwertigen und klar zugeordneten Seiten ist häufig sinnvoller als eine unkontrolliert wachsende Anzahl technisch erzeugter URLs.

Was macht die robots.txt?

Die Datei robots.txt befindet sich normalerweise im Stammverzeichnis einer Website und kann Regeln für Crawler enthalten.

Damit lässt sich festlegen, welche Bereiche bestimmte Crawler aufrufen dürfen und welche nicht.

Hier ist allerdings ein wichtiger Unterschied zu beachten:

Eine Sperre über robots.txt ist nicht dasselbe wie ein Ausschluss aus dem Google-Index.

Die Datei steuert in erster Linie das Crawling.

Wer verhindern möchte, dass eine bestimmte Seite in der Google-Suche erscheint, sollte deshalb nicht automatisch davon ausgehen, dass ein Disallow in der robots.txt dafür die richtige Lösung ist.

Gerade bei technischen Änderungen sollte sehr genau geprüft werden, welche Wirkung eine Regel tatsächlich hat.

Ein kleiner robots.txt-Fehler kann große Folgen haben

Bei einem Relaunch wird beispielsweise eine Entwicklungsumgebung vor Suchmaschinen geschützt.

Das ist zunächst sinnvoll.

Problematisch wird es, wenn entsprechende Sperren versehentlich auf die veröffentlichte Website übernommen werden.

Plötzlich darf Google wichtige Bereiche nicht mehr crawlen.

Ähnliches kann passieren, wenn ganze Verzeichnisse ausgeschlossen werden, obwohl darin wichtige Inhalte oder Ressourcen liegen.

Nach einem Relaunch einer Arztwebsite gehört die Kontrolle der robots.txt deshalb für mich zu den technischen Pflichtprüfungen.

robots.txt und noindex nicht verwechseln

Ein weiterer häufiger Fehler besteht darin, robots.txt und noindex als austauschbare Werkzeuge zu betrachten.

Das sind sie nicht.

Die robots.txt kann den Abruf einer URL durch einen Crawler verhindern.

Eine noindex-Anweisung teilt einer Suchmaschine dagegen mit, dass die betreffende Seite nicht indexiert werden soll.

Damit Google eine entsprechende Anweisung auf einer Seite erkennen kann, muss der Crawler grundsätzlich Zugriff auf diese Information erhalten können.

Eine Kombination aus falschen Sperren kann deshalb genau das Gegenteil dessen bewirken, was eigentlich geplant war.

Canonical und Crawling

Auch Canonical Tags spielen bei größeren Websites eine Rolle.

Wenn mehrere URLs sehr ähnliche oder identische Inhalte bereitstellen, können Canonical-Signale Google dabei helfen zu verstehen, welche URL als bevorzugte Version betrachtet werden soll.

Das ist allerdings keine Einladung, beliebig viele doppelte Seiten zu erzeugen.

Gerade bei Arztwebsites sollte beispielsweise nicht für jede kleine Keyword-Variation eine nahezu identische Behandlungsseite angelegt werden.

Eine saubere Informationsarchitektur ist besser als ein nachträglicher Versuch, unnötige URL-Duplikate technisch wieder einzufangen.

Weiterleitungen richtig einsetzen

URLs verändern sich.

Eine Praxis strukturiert ihre Website neu und aus

/leistungen/laserbehandlung-alt/

wird beispielsweise

/behandlungen/laserbehandlung/.

Wenn die alte URL bereits bekannt war, sollte sie nicht einfach verschwinden.

Bei einer dauerhaften Änderung ist eine passende permanente Weiterleitung auf die neue Zielseite normalerweise sinnvoll.

Dadurch finden sowohl Besucher als auch Suchmaschinen die neue Adresse.

Problematisch werden dagegen lange Weiterleitungsketten.

Wenn URL A zunächst auf B, anschließend auf C und schließlich auf D weiterleitet, entsteht unnötige Komplexität.

Saubere direkte Weiterleitungen sind vorzuziehen.

404-Fehler sind nicht automatisch eine Katastrophe

Eine 404-Antwort bedeutet, dass die angeforderte Ressource nicht gefunden wurde.

Das ist nicht grundsätzlich ein SEO-Problem.

Wenn eine Seite tatsächlich nicht mehr existiert und es keinen sinnvollen Ersatz gibt, kann ein korrekter 404-Status vollkommen angemessen sein.

Problematisch wird es beispielsweise, wenn wichtige Behandlungsseiten versehentlich einen Fehler ausgeben oder zahlreiche interne Links auf nicht mehr vorhandene URLs zeigen.

Deshalb sollte eine medizinische Website regelmäßig auf fehlerhafte interne Verlinkungen überprüft werden.

Was ist ein Crawl Budget?

Beim Thema Crawling fällt schnell der Begriff Crawl Budget.

Gemeint ist vereinfacht, wie viele URLs einer Website Google innerhalb bestimmter Rahmenbedingungen crawlen kann beziehungsweise möchte.

Bei einer normalen Praxiswebsite mit überschaubarer URL-Anzahl ist es meist nicht sinnvoll, aus Crawl Budget ein riesiges SEO-Projekt zu machen.

Interessanter wird das Thema bei sehr großen Websites mit vielen Tausend oder deutlich mehr URLs, zahlreichen Parametern, Filterkombinationen oder technisch erzeugten Varianten.

Für eine gewöhnliche Arztpraxis ist meistens etwas anderes wichtiger:

Sind die wirklich relevanten Seiten sauber erreichbar und technisch eindeutig?

Unnötige URLs können das Crawling erschweren

Auch kleinere Websites können technisch überraschend viele URLs erzeugen.

WordPress, Filter, Suchfunktionen, Parameter oder andere Systeme können Varianten einer Seite bereitstellen.

Beispielsweise entstehen URLs durch:

Sortierungen, Suchergebnisse, Parameter, Archive oder technische Funktionen.

Nicht jede davon ist für Google relevant.

Deshalb sollte man sich nicht nur fragen, welche Inhalte fehlen.

Ebenso wichtig ist:

Welche URLs erzeugt meine Website überhaupt?

Ein technischer Crawl mit einem SEO-Crawler kann dabei sehr aufschlussreich sein.

Man entdeckt häufig Bereiche, von deren Existenz der Websitebetreiber überhaupt nichts wusste.

JavaScript kann das Crawling komplizierter machen

Moderne Websites verwenden JavaScript für Navigation, Inhalte und interaktive Funktionen.

Google kann JavaScript verarbeiten, dennoch sollte eine zentrale Navigation nicht unnötig kompliziert umgesetzt werden.

Besonders wichtige interne Links sollten technisch als echte, crawlbare Links vorhanden sein.

Ein Patient sollte eine Behandlungsseite problemlos erreichen können.

Dasselbe sollte grundsätzlich auch für einen Suchmaschinen-Crawler gelten.

Je komplizierter eine Website wichtige Inhalte erst nach Interaktionen erzeugt, desto wichtiger wird eine technische Prüfung.

WordPress und Crawling

Viele Arztwebsites laufen mit WordPress.

Das CMS bietet grundsätzlich eine gute Basis, kann aber je nach Konfiguration zahlreiche zusätzliche URL-Typen erzeugen.

Dazu können beispielsweise Autorenarchive, Tag-Seiten, Kategoriearchive, Medienseiten oder interne Suchergebnisse gehören.

Ob diese Bereiche sinnvoll sind, hängt von der jeweiligen Website ab.

Sie pauschal zu löschen oder zu sperren wäre ebenso falsch wie sie grundsätzlich alle indexieren zu lassen.

Die entscheidende Frage lautet:

Hat diese URL einen eigenständigen Nutzen für einen Suchenden?

Wenn nicht, sollte geprüft werden, welche technische Behandlung für diesen Seitentyp sinnvoll ist.

Google Search Console für Crawling-Probleme nutzen

Die Google Search Console ist eine der wichtigsten Anlaufstellen, wenn eine Seite nicht wie erwartet bei Google erscheint.

Besonders hilfreich ist die URL-Prüfung.

Damit lässt sich beispielsweise untersuchen, ob Google eine bestimmte URL kennt und welche Informationen zur Indexierung vorliegen.

Auch Berichte zu indexierten und nicht indexierten Seiten können Hinweise auf technische Probleme geben.

Dabei sollte man nicht versuchen, jede Meldung zwangsläufig auf null zu reduzieren.

Nicht jede URL einer Website soll indexiert werden.

Entscheidend ist vielmehr, ob die wichtigen URLs fehlen.

Logfiles zeigen tatsächliche Crawler-Zugriffe

Wer tiefer in das technische SEO einsteigen möchte, kann Server-Logfiles analysieren.

Während ein gewöhnlicher Website-Crawler simuliert, wie eine Website erreichbar ist, können Logfiles zeigen, welche URLs tatsächlich vom Server angefordert wurden.

Bei großen medizinischen Portalen kann das sehr interessant sein.

Man kann beispielsweise untersuchen, welche Bereiche häufig gecrawlt werden und ob unnötige URL-Varianten viele Abrufe verursachen.

Für eine kleine Praxiswebsite ist eine umfangreiche Logfile-Analyse jedoch nicht automatisch notwendig.

Der Aufwand sollte zum tatsächlichen Problem passen.

Neue Behandlungsseite veröffentlicht: Was jetzt?

Angenommen, eine Praxis veröffentlicht eine neue Seite zu einer Behandlung.

Dann würde ich nicht einfach darauf warten, dass Google sie irgendwann zufällig entdeckt.

Ich würde zunächst prüfen:

Ist die Seite intern sinnvoll verlinkt?

Ist sie in der XML-Sitemap enthalten?

Ist sie für Suchmaschinen zugänglich?

Existiert versehentlich ein noindex?

Zeigt der Canonical auf die richtige URL?

Liefert die Seite den richtigen HTTP-Status?

Anschließend kann die URL auch über die Google Search Console geprüft werden.

Damit sind die technischen Voraussetzungen geschaffen.

Das bedeutet allerdings noch nicht, dass Google die Seite sofort indexiert oder für relevante Suchbegriffe weit oben positioniert.

Crawling nach einem Website-Relaunch

Besonders wichtig wird Crawling bei einem Relaunch einer Arztwebsite.

URLs werden verändert, Navigationen neu aufgebaut und Inhalte zusammengelegt.

In dieser Phase können technische Fehler schnell Auswirkungen auf viele Seiten haben.

Deshalb sollten alte und neue URLs systematisch miteinander verglichen werden.

Wichtige alte Seiten benötigen passende neue Ziele.

Interne Links müssen aktualisiert werden.

Sitemaps müssen die neuen URLs enthalten.

robots.txt, Canonicals, Statuscodes und Indexierungsanweisungen müssen überprüft werden.

Google weist selbst darauf hin, dass größere Websiteänderungen Schwankungen verursachen können, während die neuen URLs erneut gecrawlt und verarbeitet werden.

Ein Relaunch sollte deshalb nicht nur als Designprojekt betrachtet werden.

Er ist auch ein SEO-Projekt.

Häufige Crawling-Fehler bei Arztwebsites

In der Praxis würde ich besonders auf folgende Punkte achten:

• wichtige Behandlungsseiten sind intern kaum verlinkt
• alte Links führen auf 404-Seiten
• robots.txt blockiert versehentlich relevante Bereiche
• noindex wurde nach einer Entwicklungsphase nicht entfernt
• Canonical Tags zeigen auf falsche URLs
• Weiterleitungsketten entstehen nach mehreren Relaunches
• XML-Sitemaps enthalten veraltete oder ungeeignete URLs
• wichtige Seiten sind ausschließlich über eine Suchfunktion erreichbar
• WordPress erzeugt zahlreiche unnötige URL-Varianten
• interne Links zeigen weiterhin auf alte URLs
• mobile oder JavaScript-basierte Navigation erschwert den Zugriff

Nicht jeder dieser Fehler führt automatisch zu einem Rankingverlust.

Zusammen können sie Google jedoch unnötig erschweren, die Struktur einer Website sauber zu erfassen.

Crawling ist kein Ersatz für gute Inhalte

Eine technisch perfekt crawlbare Website besitzt dadurch noch keine guten Rankings.

Google kann eine Seite problemlos finden, abrufen und indexieren und trotzdem feststellen, dass andere Inhalte für eine Suchanfrage hilfreicher oder relevanter sind.

Deshalb sollte technisches SEO niemals isoliert betrachtet werden.

Eine gute medizinische Website benötigt beides:

Inhalte, die Patienten tatsächlich weiterhelfen, und eine technische Struktur, durch die Suchmaschinen diese Inhalte zuverlässig erreichen und verstehen können.

Crawling schafft dafür eine wichtige Grundlage.

Fazit: Google sollte wichtige Inhalte ohne Umwege finden können

Crawling klingt zunächst nach einem sehr technischen SEO-Thema.

Für eine Arztpraxis lässt es sich aber auf eine einfache Frage reduzieren:

Kann Google die wichtigen Seiten meiner Website zuverlässig finden und aufrufen?

Eine klare Website-Struktur, sinnvolle interne Links, eine saubere XML-Sitemap, korrekte Weiterleitungen und eine bewusst konfigurierte robots.txt helfen dabei.

Dabei sollte nicht jede technisch erzeugte URL möglichst häufig gecrawlt werden.

Wichtiger ist, dass Google die Seiten erreicht, die für Patienten tatsächlich relevant sind.

Eine gute Crawling-Struktur folgt deshalb häufig derselben Logik wie eine gute Praxiswebsite:

Wichtige Inhalte sind leicht erreichbar. Unnötige Umwege werden vermieden. Und jede relevante Seite besitzt einen nachvollziehbaren Platz innerhalb der Website.