Duplicate Content: So finden und vermeiden Sie doppelte Inhalte

Einer der wich­tigs­ten Grund­sät­ze bei der Such­ma­schi­nen­op­ti­mie­rung lautet: Ein­zig­ar­ti­ge Inhalte, so­ge­nann­ter Unique Content, sorgen für ein gutes Ranking bei Such­ma­schi­nen sowie eine positive Nut­zer­er­fah­rung und sind Grundlage für eine er­folg­rei­che Content-Strategie.

Das Gegenteil von ein­zig­ar­ti­gen Inhalten ist so­ge­nann­ter Duplicate Content. Dieser Begriff be­zeich­net Text­bau­stei­ne oder ganze Webseiten, die unter mehreren URLs zu finden sind. Diese Content-Art zu vermeiden ist von ebenso großer Bedeutung für die Such­ma­schi­nen­op­ti­mie­rung wie das Erstellen von Unique Content. Doppelte Inhalte wirken sich negativ auf das Ranking und die Usability aus.

Der Begriff Duplicate Content bedeutet übersetzt „doppelte Inhalte“ und be­zeich­net ganze Seiten oder Text­pas­sa­gen, die unter mehr als einer URL zu finden sind.

Dabei un­ter­schei­det man zwei Arten:

• Interner Duplicate Content be­zeich­net Inhalte, die auf einer Domain mehrfach vorkommen.
• Externer Duplicate Content hingegen ist do­main­über­grei­fend zu finden.

Beide Begriffe betreffen ohne Anpassung über­nom­me­ne Seiten und wie­der­keh­ren­de Text­bau­stei­ne. Wenn Inhalte nicht zu 100 Prozent über­ein­stim­men, aber nahezu identisch sind, spricht man von Near Duplicate Content.

Die meisten Website-Betreiber sind sich über die negativen Aus­wir­kun­gen von Duplicate Content bewusst und vermeiden daher, Inhalte doppelt zu nutzen. Dennoch lässt sich bei den meisten Webseiten interner Duplicate Content finden. Sich wie­der­ho­len­de Inhalte innerhalb einer Domain haben häufig tech­ni­sche Ursachen. Mehr dazu finden Sie im Abschnitt „Tech­ni­sche Ursachen für Duplicate Content“.

In vielen Fällen ist tat­säch­lich mehrfach der gleiche Inhalt auf mehreren Un­ter­sei­ten einer Domain zu finden. Mit diesem Problem kämpfen vor allem On­line­shops. Ist ein Produkt mehreren Ka­te­go­rien zu­ge­ord­net oder in ver­schie­de­nen Va­ria­tio­nen verfügbar, ist die gleich­blei­ben­de Pro­dukt­be­schrei­bung unter mehr als einer URL er­reich­bar und wird somit als Duplicate Content gewertet. Häufig un­ter­schätzt sind auch PDFs, die Pro­dukt­in­for­ma­tio­nen enthalten. Stimmen die Inhalte mit den Produkt-Landing­pa­ges überein, werden diese als Duplicate Content gewertet. Auf anderen Websites ist auch die Fir­men­phi­lo­so­phie ein gängiges Beispiel für Inhalte, die auf mehreren Un­ter­sei­ten er­schei­nen.

Auch von externem Duplicate Content sind häufig On­line­shops betroffen. Wenn Sie Ihr Pro­dukt­sor­ti­ment von einem Groß­han­del beziehen, nutzen mög­li­cher­wei­se auch andere Händler die da­zu­ge­hö­ri­gen Pro­dukt­be­schrei­bun­gen auf ihren Webseiten. In diesem Fall wirken sich iden­ti­sche Inhalte nicht nur auf das Ranking bei Such­ma­schi­nen negativ aus, sondern auch auf die Kauf­ent­schei­dung po­ten­zi­el­ler Kunden. Un­ter­schei­det sich die Pro­dukt­prä­sen­ta­ti­on zwischen ver­schie­de­nen Händlern nicht, ent­schei­det im Zwei­fels­fall der Preis­un­ter­schied über den Kauf. Daher ist es in jedem Fall ratsam, ein­zig­ar­ti­ge Pro­dukt­be­schrei­bun­gen zu nutzen und re­gel­mä­ßig zu prüfen, ob andere Händler diese über­neh­men.

Externer Duplicate Content entsteht auch dann, wenn Sie fremde Inhalte im Rahmen einer Ko­ope­ra­ti­on und mit dem Ein­ver­ständ­nis des Urhebers über­neh­men. Auch wenn ver­schie­de­ne Länder- und Sprach­ver­sio­nen Ihrer Website unter ab­wei­chen­den Domain-Namen er­reich­bar sind, ist die Gefahr von externem Duplicate Content groß.

Such­ma­schi­nen wie Google bewerten mit einem Al­go­rith­mus alle po­ten­zi­ell re­le­van­ten Webseiten und legen anhand be­stimm­ter Kriterien fest, in welcher Rei­hen­fol­ge die Such­ergeb­nis­se auf­ge­führt sind. Ziel dieser Aus­wer­tung ist es, dem Nutzer die re­le­van­tes­ten Inhalte möglichst weit oben im Ranking zu prä­sen­tie­ren.

Für die Aus­wer­tung der Such­ma­schi­nen ist es pro­ble­ma­tisch, wenn auf mehreren Web­adres­sen dieselben Inhalte vorkommen. Dies erschwert die Zuordnung von Trust, Relevanz und Authority und daraus re­sul­tie­rend auch die Er­stel­lung eines Rankings. Such­ma­schi­nen vermeiden deshalb grund­sätz­lich, dieselben Inhalte mehrfach zu in­de­xie­ren und in den Such­ergeb­nis­sen an­zu­zei­gen, da diese keinen Mehrwert für Nutzer bieten. Daraus folgt, dass das Ranking von Seiten sinkt, die Duplicate Content enthalten.

Wegen der negativen Aus­wir­kun­gen von Duplicate Content sind so­ge­nann­te Scraper bzw. das Web Scraping ge­fürch­tet. Dabei handelt es sich um Software, die Webseiten 1:1 kopiert. Eine Such­ma­schi­ne wie Google erkennt Scraper Sites in­zwi­schen al­ler­dings anhand ver­schie­de­ner Parameter und un­ter­schei­det diese von „echten“ Websites.

Bei rund 25 bis 35 Prozent des Inhalts aller Webseiten handelt es sich um Duplicate Content. Doppelte Inhalte sind nicht in jeder Form als etwas Negatives anzusehen. Dieses Video erklärt, wie Google mit doppelten Inhalten umgeht und was es auf jeden Fall zu vermeiden gilt:

Es ist in jedem Fall ratsam, die eigene Website re­gel­mä­ßig auf Duplicate Content zu prüfen. Dieser entsteht in vielen Fällen ohne das Wissen des Website-Be­trei­bers, bei­spiels­wei­se durch die Neu­erstel­lung von Seiten oder wenn interne Ver­lin­kun­gen in­kon­sis­tent sind. Im Folgenden zeigen wir Ihnen die gän­gigs­ten Methoden, mit denen Sie Duplicate Content aufspüren können.

Wenn Ihre Website aus einer be­grenz­ten Anzahl an Un­ter­sei­ten besteht, bietet es sich an, diese manuell zu prüfen. Achten Sie dabei vor allem auf Text­ab­schnit­te, die Sie mehrfach auf Ihrem Web­auf­tritt verwenden. Dies sind ty­pi­scher­wei­se die Un­ter­neh­mens­vor­stel­lung oder Call-to-Actions, die Sie auf mehreren Un­ter­sei­ten nutzen.

Sie haben die Vermutung, dass ein be­stimm­ter Text­bau­stein mehrfach vorkommt? In diesem Fall hilft eine Google-Suche weiter. Geben Sie den Text­ab­schnitt in An­füh­rungs­zei­chen in das Suchfeld ein und prüfen Sie, ob ver­schie­de­ne URLs Ihrer Website in den Such­ergeb­nis­sen angeführt sind.

Manuelle Methoden sind bei einer großen Anzahl an Un­ter­sei­ten oder im eCommerce-Bereich häufig nur mit er­heb­li­chem Zeit­auf­wand umsetzbar. Da viele Website-Betreiber vor diesem Problem stehen, gibt es ent­spre­chen­de Tools, die eine au­to­ma­ti­sier­te Suche nach Duplicate Content anbieten.

Die Google Search Console ist ein kos­ten­lo­ses und hilf­rei­ches Ana­ly­se­tool, das Sie bei der Such­ma­schi­nen­op­ti­mie­rung wie auch bei der Suche nach internem Duplicate Content un­ter­stützt. Re­cher­chie­ren Sie zunächst die stärksten Keywords, unter denen Ihre Website gefunden und auf­ge­ru­fen wird. An­schlie­ßend filtern Sie nach exakten Anfragen. Listet das Tool viele Un­ter­sei­ten auf, ist es ratsam, diese auf doppelte Inhalte zu prüfen. Im Report „In­dex­ab­de­ckung“ finden Sie unter „Aus­ge­schlos­se­ne Seiten“ auch jene Un­ter­sei­ten, die als Duplikat iden­ti­fi­ziert und in­fol­ge­des­sen aus­ge­schlos­sen wurden.

Um auch externen Duplicate Content zu finden, benötigen Sie ein Ana­ly­se­tool wie Copyscape oder Siteliner. Bei diesen Tools geben Sie eine konkrete URL ein und erhalten als Ergebnis alle internen und externen Seiten angeführt, deren Inhalte mit Ihrer URL über­ein­stim­men.

Sie wissen nun, wie Sie be­stehen­den Duplicate Content finden. Es ist grund­sätz­lich ratsam, diesen präventiv zu vermeiden. Die folgenden Tipps helfen Ihnen dabei:

• Erstellen Sie the­ma­tisch eindeutig zu­ge­ord­ne­te Un­ter­sei­ten und verwenden Sie auf jeder Seite ein anderes Main-Keyword. Am besten behalten Sie den Überblick, wenn Sie zuvor eine Keyword-Strategie er­ar­bei­ten.
   
• Vermeiden Sie es, all­ge­mein­gül­ti­ge Absätze auf mehreren Un­ter­sei­ten zu plat­zie­ren.
   
• Kopieren Sie keine vor­ge­fer­tig­ten Text­bau­stei­ne (außer es handelt sich um ge­kenn­zeich­ne­te Zitate und/oder recht­li­che Texte).
   
• Achten Sie bei internen Links auf Kon­sis­tenz und vermeiden Sie ver­schie­de­ne Angaben für ein und dieselbe URL. Diese entstehen ty­pi­scher­wei­se durch den Zusatz index.htm bei der Start­sei­ten-URL oder durch Varianten mit und ohne Trailing-Slash (/).
   
• Nutzen Sie bei mehreren Sprach- und Län­der­ver­sio­nen Top-Level-Domains wie 'https://www.example.com' anstatt Un­ter­ver­zeich­nis­se wie 'https://www.example.org/en'.

Generell keinen Einfluss auf die Ent­ste­hung von externem Duplicate Content haben Sie, wenn andere Webmaster Ihre Inhalte kopieren. Daher ist es nach der Er­stel­lung einer neuen Seite ratsam, das Crawling manuell an­zu­sto­ßen. Ist Ihre Webseite mit dem je­wei­li­gen Inhalt als erste Seite indexiert, wird sie sehr wahr­schein­lich als Original ein­ge­stuft.

Tech­ni­sche Ursachen führen häufig dazu, dass interner Duplicate Content ohne das Wissen der Website-Betreiber entsteht. Daher ist es ratsam, Ihre On­line­prä­senz auf die folgenden Punkte hin zu über­prü­fen:

Wenn Sie als Webmaster auf das ver­schlüs­sel­te HTTPS (Hypertext Transfer Protocol Secure) umstellen, ist es wichtig, eine Wei­ter­lei­tung von der alten Web­adres­se ein­zu­rich­ten. Bleibt Ihre Website zu­sätz­lich unter http:// er­reich­bar, entsteht ein 100 Prozent de­ckungs­glei­cher Duplicate Content!

Prüfen Sie außerdem, ob Ihre Website unter ver­schie­de­nen Schreib­wei­sen er­reich­bar ist. Typische Beispiele sind:

• Ihre Start­sei­te ist mit index.php sowie mit und ohne Trailing-Slash er­reich­bar.
• Ihre Website ist mit und ohne www in der URL er­reich­bar.
• Eine URL ist über Groß- und Klein­schrei­bung er­reich­bar.

Wenn Sie zwei oder mehr URLs finden, die zur selben Un­ter­sei­te führen, richten Sie bei allen Varianten eine 301-Wei­ter­lei­tung auf die Haupt­sei­te ein.

• Wenn un­ter­schied­li­che Sprach- oder Län­der­ver­sio­nen Ihrer Website exis­tie­ren, zeichnen Sie diese mit dem hreflang-Attribut aus, um Duplicate Content zu vermeiden.
   
• Prüfen Sie Ihre URL-Parameter. Durch diese entsteht häufig eine große Anzahl an ein­zig­ar­ti­gen URLs, die zum selben Inhalt führen. Dies ist vor allem bei Fil­ter­funk­tio­nen in On­line­shop eine häufige Ursache für Duplicate Content.
   
• Achten Sie auf Session-IDs, die als Parameter Teil der URL sind. Dies hat mög­li­cher­wei­se zur Folge, dass Crawler bei jedem Aufruf einer Un­ter­sei­te eine neue ID erhalten und damit eine neue URL erreichen.
   
• Schließen Sie dru­cker­freund­li­che Versionen von Webseiten von der In­de­xie­rung aus.

Ma­ni­pu­la­ti­ves und vor­sätz­li­ches Kopieren fremder Inhalte ist aus ur­he­ber­recht­li­chen Gründen und auch laut Google-Richt­li­ni­en untersagt. Grund­sätz­lich ist das Vorkommen von Duplicate Content im Internet jedoch etwas Na­tür­li­ches, das nicht direkt ab­ge­straft wird. Dennoch ist es ratsam, doppelte Inhalte wann immer möglich zu vermeiden.

Wenn Ihre Website zwei oder mehr Un­ter­sei­ten mit ähnlichem oder iden­ti­schem Content enthält, führen Sie die Inhalte auf einer Seite zusammen oder bauen Sie die je­wei­li­gen Un­ter­sei­ten mit ein­zig­ar­ti­gen Inhalten und in­di­vi­du­el­len Keywords aus, um so den SEO-Content zu op­ti­mie­ren. Welche Option die bessere Wahl ist, hängt von der Relevanz der beiden Seiten ab und ob die Mög­lich­keit besteht, un­ter­schied­li­che Keywords zu stärken.

Verwenden Sie wichtige Keywords in den Über­schrif­ten, der Meta-De­scrip­ti­on und dem Meta-Title. Dadurch vermeiden Sie die Ein­stu­fung als Duplicate Content und ver­bes­sern zudem Ihr Ranking bei den Such­ma­schi­nen. Um be­stehen­de Texte ab­zu­wan­deln und von­ein­an­der zu dif­fe­ren­zie­ren, nutzen Sie Bullet-Points, Listen und Tabellen oder in­te­grie­ren Sie Medien wie Bilder und Videos.

Falls Sie bereits exis­tie­ren­den Content, bei­spiels­wei­se einen Blog­ar­ti­kel oder eine Pres­se­mit­tei­lung, auf anderen Seiten teilen wollen, nutzen Sie das Canonical-Tag rel="canonical" im Head-Bereich. Damit de­kla­rie­ren Sie die aus­ge­wähl­te URL als Standard-Ressource bzw. Original-URL. Das Tag ist für User un­sicht­bar und macht dennoch für Such­ma­schi­nen deutlich, in welcher Ver­bin­dung die Seiten zu­ein­an­der­ste­hen.