> ## Documentation Index
> Fetch the complete documentation index at: https://docs.cosmo.humanizing.com/llms.txt
> Use this file to discover all available pages before exploring further.

# Web-Quellen

> Importieren Sie Inhalte von Ihrer Website mithilfe von URLs, Sitemaps oder automatischem Crawling

## Überblick

Web-Quellen ermöglichen es Ihnen, Inhalte direkt von Ihrer Website in die Wissensbasis Ihres Agenten zu importieren. Dies ist die gängigste Methode, um Ihren Agenten mit bestehenden Website-Inhalten wie Produktseiten, Dokumentationen, Blogbeiträgen und Dienstleistungsbeschreibungen zu trainieren.

<Tip>
  Beginnen Sie zuerst mit Ihren wichtigsten Seiten. Qualität ist wichtiger als Quantität - eine fokussierte Wissensbasis mit relevanten Inhalten funktioniert besser als eine, die mit irrelevanten Seiten gefüllt ist.
</Tip>

## Erkennungsmethoden

Die Plattform bietet vier Methoden zur Erkennung und zum Import von Web-Inhalten:

<CardGroup cols={2}>
  <Card title="Schnell-Scan" icon="zap">
    Schnelle Domain-Zuordnung, die zügig Seiten auf Ihrer Website erkennt.
  </Card>

  <Card title="Tiefen-Scan" icon="layers">
    Gründliches Crawling mit erweiterten Optionen für präzise Kontrolle über importierte Inhalte.
  </Card>

  <Card title="Sitemap-Import" icon="file-lines">
    Importieren Sie URLs direkt aus der sitemap.xml-Datei Ihrer Website.
  </Card>

  <Card title="Manuelle Eingabe" icon="clipboard">
    Fügen Sie bestimmte URLs ein, wenn Sie genau wissen, welche Seiten importiert werden sollen.
  </Card>
</CardGroup>

***

## Schnell-Scan

Der Schnell-Scan ist der schnellste Weg, Seiten auf Ihrer Website zu entdecken. Er verwendet intelligente Domain-Zuordnung, um Seiten zu finden, ohne jede einzelne vollständig zu crawlen.

### Verwendung

1. Wählen Sie **Schnell-Scan** als Erkennungsmethode
2. Geben Sie Ihre Website-URL ein (z.B. `https://example.com`)
3. Klicken Sie auf **Domain scannen**
4. Überprüfen Sie die entdeckten URLs in der Ausstehend-Liste
5. Speichern Sie die gewünschten Seiten in der Wissensbasis Ihres Agenten

### Erweiterte Optionen

<Accordion title="URL-Limit">
  Standardmäßig erkennt der Schnell-Scan unbegrenzt viele Seiten. Sie können ein Limit festlegen, um die Anzahl der entdeckten URLs zu begrenzen:

  * **Unbegrenzt**: Alle verfügbaren Seiten entdecken
  * **Benutzerdefiniertes Limit**: Eine bestimmte Anzahl festlegen (z.B. 100 Seiten)

  Dies ist nützlich, wenn Sie eine große Website haben, aber nur eine Teilmenge der Seiten benötigen.
</Accordion>

***

## Tiefen-Scan

Der Tiefen-Scan bietet gründliches Crawling mit feinkörniger Kontrolle über den Crawling-Prozess. Verwenden Sie ihn, wenn Sie präzise Kontrolle darüber benötigen, welche Seiten entdeckt werden.

### Verwendung

1. Wählen Sie **Tiefen-Scan** als Erkennungsmethode
2. Geben Sie Ihre Start-URL ein (z.B. `https://example.com/docs`)
3. Konfigurieren Sie erweiterte Optionen (optional)
4. Klicken Sie auf **Domain scannen**
5. Überwachen Sie den Crawl-Fortschritt in Echtzeit
6. Überprüfen und speichern Sie die entdeckten URLs

### Erweiterte Optionen

Der Tiefen-Scan bietet mehrere Konfigurationsoptionen:

<AccordionGroup>
  <Accordion icon="arrow-down" title="Maximale Tiefe">
    Steuert, wie viele Ebenen tief der Crawler Links folgen wird.

    | Tiefe | Verhalten                                    |
    | ----- | -------------------------------------------- |
    | 0     | Nur die Start-URL                            |
    | 1     | Start-URL + davon verlinkte Seiten           |
    | 2     | Start-URL + 2 Ebenen verlinkter Seiten       |
    | 3+    | Folgt Links weiter bis zur angegebenen Tiefe |

    **Standard**: 2 Ebenen

    <Note>Höhere Tiefenwerte ergeben mehr Seiten, aber längere Crawl-Zeiten.</Note>
  </Accordion>

  <Accordion icon="clock" title="Wartezeit">
    Zeit in Millisekunden, die zwischen Anfragen gewartet wird. Dies hilft, Ihren Server nicht zu überlasten und verhindert Ratenbegrenzung.

    **Standard**: 200ms

    Erhöhen Sie diesen Wert, wenn Ihr Server Ratenbegrenzung hat oder wenn Zeitüberschreitungsfehler auftreten.
  </Accordion>

  <Accordion icon="hashtag" title="URL-Limit">
    Maximale Anzahl der URLs, die während des Crawls entdeckt werden sollen.

    * **Unbegrenzt**: Keine Begrenzung der entdeckten URLs
    * **Benutzerdefiniertes Limit**: Stoppt nach Entdeckung der angegebenen Seitenanzahl

    **Standard**: 100 URLs
  </Accordion>

  <Accordion icon="globe" title="Domain-Einschränkung">
    Steuert, ob der Crawler auf Ihrer Domain bleibt oder externen Links folgt.

    | Option                 | Verhalten                                                |
    | ---------------------- | -------------------------------------------------------- |
    | **Nur gleiche Domain** | Crawlt nur Seiten auf derselben Domain wie die Start-URL |
    | **Alle Domains**       | Folgt auch Links zu externen Websites                    |

    **Standard**: Nur gleiche Domain

    <Warning>Die Aktivierung von "Alle Domains" kann die Crawl-Zeit erheblich verlängern und irrelevante Inhalte einschließen.</Warning>
  </Accordion>

  <Accordion icon="folder" title="Unterpfad-Einschränkung">
    Begrenzen Sie das Crawling auf bestimmte Pfade Ihrer Website. Geben Sie kommagetrennte Pfade ein, um den Crawler einzuschränken.

    **Beispiel**: `/docs, /blog, /products`

    Dies würde nur URLs crawlen, die `/docs`, `/blog` oder `/products` in ihrem Pfad enthalten.
  </Accordion>

  <Accordion icon="filter" title="Filteroptionen">
    Zusätzliche Filter zum Ausschließen unerwünschter URLs:

    | Filter                        | Was ausgeschlossen wird                   |
    | ----------------------------- | ----------------------------------------- |
    | **Social Media überspringen** | Links zu Facebook, Twitter, LinkedIn usw. |
    | **Datei-URLs überspringen**   | Links zu PDFs, Bildern, Downloads usw.    |
    | **Anker-Links überspringen**  | URLs mit `#`-Fragmenten                   |

    Alle Filter sind standardmäßig aktiviert.
  </Accordion>
</AccordionGroup>

### Crawl abbrechen

Während eines Tiefen-Scans können Sie jederzeit auf **Abbrechen** klicken, um den Crawl zu stoppen. Alle bis zu diesem Zeitpunkt entdeckten URLs stehen weiterhin in Ihrer Ausstehend-Liste zur Verfügung.

***

## Sitemap-Import

Wenn Ihre Website eine sitemap.xml-Datei hat, können Sie alle URLs direkt daraus importieren. Dies ist oft die zuverlässigste Methode für gut gepflegte Websites.

### Verwendung

1. Wählen Sie **Sitemap** als Erkennungsmethode
2. Geben Sie Ihre Sitemap-URL ein (z.B. `https://example.com/sitemap.xml`)
3. Klicken Sie auf **Sitemap importieren**
4. Überprüfen Sie die geparsten URLs
5. Speichern Sie die gewünschten Seiten

### Ihre Sitemap finden

Häufige Sitemap-Speicherorte:

* `https://ihreseite.com/sitemap.xml`
* `https://ihreseite.com/sitemap_index.xml`
* `https://ihreseite.com/sitemap/sitemap.xml`

<Tip>
  Überprüfen Sie die `robots.txt`-Datei Ihrer Website - sie enthält oft einen Link zu Ihrer Sitemap:

  ```
  Sitemap: https://ihreseite.com/sitemap.xml
  ```
</Tip>

### Verschachtelte Sitemaps

Die Plattform verarbeitet automatisch **Sitemap-Index-Dateien** - Sitemaps, die auf andere Sitemaps verweisen. Wenn Sie einen Sitemap-Index importieren, wird:

1. Erkannt, dass es sich um eine Index-Datei handelt
2. Jede verschachtelte Sitemap automatisch abgerufen
3. Alle URLs in einer einzigen Liste zusammengefasst
4. Bis zu 3 Verschachtelungsebenen unterstützt

<Note>
  Wenn Ihre Sitemap mehr als 3 Verschachtelungsebenen hat, können einige tiefere Sitemaps übersprungen werden. Dieses Limit hilft, übermäßig lange Importzeiten zu vermeiden.
</Note>

***

## Manuelle URL-Eingabe

Wenn Sie genau wissen, welche Seiten Sie importieren möchten, ist die manuelle Eingabe die schnellste Option.

### Verwendung

1. Wählen Sie **Manuell** als Erkennungsmethode
2. Fügen Sie Ihre URLs in das Textfeld ein (eine pro Zeile)
3. Klicken Sie auf **URLs hinzufügen**
4. Überprüfen und speichern

### Unterstützte Formate

Das manuelle Eingabefeld akzeptiert:

* Einfache URLs (eine pro Zeile)
* URLs mit oder ohne `https://`-Präfix
* Eingefügten HTML-Inhalt (URLs werden automatisch extrahiert)

**Beispiel-Eingabe:**

```
https://example.com/seite-1
https://example.com/seite-2
example.com/seite-3
www.example.com/seite-4
```

### URLs aus HTML extrahieren

Wenn Sie HTML-Inhalte kopieren (z.B. aus einem Webseitenquellcode), extrahiert die Plattform automatisch alle gültigen URLs aus Anker-Tags und Klartext.

<Tip>
  Verwenden Sie die Schaltfläche **Aus Zwischenablage parsen**, um URLs aus kopierten Webinhalten mit Links zu extrahieren.
</Tip>

***

## Ausstehende Quellen verwalten

Nach dem Entdecken von URLs mit einer beliebigen Methode erscheinen diese in der Liste **Ausstehende Quellen**, wo Sie sie vor dem Speichern überprüfen und verwalten können.

### Ausstehende Quellen filtern

| Filter           | Zweck                                                                        |
| ---------------- | ---------------------------------------------------------------------------- |
| **Suche**        | URLs finden, die bestimmten Text enthalten                                   |
| **Ausschließen** | URLs entfernen, die Mustern entsprechen (z.B. `/admin`, `.pdf`)              |
| **Typ**          | Nach Erkennungsmethode filtern (Schnell-Scan, Tiefen-Scan, Sitemap, Manuell) |

### Duplikaterkennung

Die Plattform erkennt automatisch Duplikate:

| Status                       | Bedeutung                                          |
| ---------------------------- | -------------------------------------------------- |
| **NEU**                      | URL nicht in Ihrer Wissensbasis                    |
| **Duplikat (im Agenten)**    | URL existiert bereits in den Quellen Ihres Agenten |
| **Duplikat (in Ausstehend)** | Gleiche URL bereits in Ihrer Ausstehend-Liste      |

Duplikate werden in einem separaten Bereich angezeigt und können mit einem Klick entfernt werden.

### Quellen speichern

Nachdem Sie Ihre ausstehenden URLs überprüft haben:

1. Verwenden Sie Filter, um unerwünschte Seiten auszuschließen
2. Klicken Sie auf **Zum Agenten speichern**, um sie Ihrer Wissensbasis hinzuzufügen
3. Die Quellen werden automatisch verarbeitet

***

## Best Practices

<AccordionGroup>
  <Accordion icon="bullseye" title="Fokussiert beginnen, dann erweitern">
    Beginnen Sie mit Ihren wichtigsten Seiten (Produktseiten, Schlüsseldokumentation, FAQs). Testen Sie Ihren Agenten und fügen Sie dann bei Bedarf weitere Inhalte hinzu.
  </Accordion>

  <Accordion icon="sitemap" title="Sitemaps verwenden, wenn verfügbar">
    Sitemaps werden von Ihrer Website gepflegt und bieten die genaueste Liste der Seiten. Sie sind auch schneller als Crawling.
  </Accordion>

  <Accordion icon="filter" title="Ausschlussfilter großzügig verwenden">
    Schließen Sie Admin-Seiten, Login-Seiten und irrelevante Bereiche aus. Verwenden Sie Muster wie `/admin`, `/login`, `/cart` im Ausschlussfilter.
  </Accordion>

  <Accordion icon="clock" title="Geduld bei großen Websites">
    Tiefen-Scans großer Websites können mehrere Minuten dauern. Die Fortschrittsanzeige zeigt den Echtzeit-Status an.
  </Accordion>

  <Accordion icon="arrows-rotate" title="Bei Inhaltsänderungen erneut importieren">
    Wenn Sie Ihre Website-Inhalte aktualisieren, importieren Sie die betroffenen Seiten erneut, um die Wissensbasis Ihres Agenten aktuell zu halten.
  </Accordion>
</AccordionGroup>

## Häufige Probleme

### Crawl-Zeitüberschreitung

Wenn Ihr Crawl eine Zeitüberschreitung hat:

* Reduzieren Sie die Einstellung **Maximale Tiefe**
* Erhöhen Sie die **Wartezeit** zwischen Anfragen
* Setzen Sie ein niedrigeres **URL-Limit**
* Verwenden Sie **Unterpfad-Einschränkung**, um sich auf bestimmte Bereiche zu konzentrieren

### Sitemap lässt sich nicht laden

Wenn der Sitemap-Import fehlschlägt:

* Überprüfen Sie, ob die Sitemap-URL in Ihrem Browser erreichbar ist
* Prüfen Sie, ob die Sitemap gültiges XML ist
* Stellen Sie sicher, dass Ihr Server keine automatisierten Anfragen blockiert
* Versuchen Sie die direkte Sitemap-URL (nicht die robots.txt-Referenz)

### Fehlende Seiten

Wenn erwartete Seiten nicht entdeckt werden:

* Prüfen Sie, ob die Seiten von Ihrer Start-URL verlinkt sind
* Erhöhen Sie die Einstellung **Maximale Tiefe**
* Überprüfen Sie, ob Seiten nicht durch robots.txt blockiert werden
* Versuchen Sie die **Manuelle Eingabe** für bestimmte Seiten

## Nächste Schritte

<CardGroup cols={2}>
  <Card title="Text-Quellen" icon="file-lines" href="/de/sources/text-sources">
    Fügen Sie benutzerdefinierten Textinhalt hinzu, der nicht auf Ihrer Website steht.
  </Card>

  <Card title="Q&A-Quellen" icon="circle-question" href="/de/sources/qa-sources">
    Erstellen Sie gezielte Frage-Antwort-Paare.
  </Card>

  <Card title="Agenten testen" icon="flask" href="/de/agents/playground">
    Überprüfen Sie Ihre Wissensbasis im Playground.
  </Card>

  <Card title="Quellen-Überblick" icon="database" href="/de/sources/overview">
    Erfahren Sie mehr über alle Quellentypen und Best Practices.
  </Card>
</CardGroup>