🕷 Vema Scraper
{{ status?.activeTask ? '▶ ' + status.activeTask : '● Idle' }}
2FA wartet
Status
{{ status?.activeTask ? 'Aktiv' : 'Bereit' }}
{{ status?.activeTask || 'Kein Task' }}
Letzter Lauf
{{ status?.lastRunStatus === 'success' ? '✓' : status?.lastRunStatus === 'error' ? '✗' : '–' }}
{{ status?.lastRunFinishedAt || 'Noch kein Lauf' }}
PDFs
{{ status?.pdfCount ?? '–' }}
heruntergeladen
HTML-Dateien
{{ status?.htmlCount ?? '–' }}
Versicherer
Ansprechpartner
{{ contactStats.total ?? '–' }}
+{{ contactStats.new }} neu ~{{ contactStats.updated }} geändert –{{ contactStats.deleted }} gelöscht Kontakte

Aktionen

{{ actionMsg.text }}

Lauf-Historie

Noch keine Läufe aufgezeichnet.
TaskStatusStartDauerPDFsFehler
{{ r.task }} {{ r.status }} {{ r.started_at }} {{ r.duration_s }}s {{ r.stats?.pdf?.downloaded ?? r.stats?.downloaded ?? '–' }} {{ r.error_msg ? r.error_msg.substring(0,40) : '–' }}

Live-Logs

Warte auf Log-Einträge…
{{ fmtTime(l.ts) }}{{ l.text }}

{{ pdfs.folders.length }} Ordner · {{ pdfs.total }} PDFs

{{ folderMsg }}
  • 📁
    {{ f.count > 0 ? '📁' : '📂' }} {{ f.name }} {{ f.count }}
← Ordner auswählen oder ＋ für neuen Ordner

📁 {{ selectedFolder }}

{{ aiSummaryMsg.text }}
{{ transferMsg.text }}
Ordner ist leer.
DateinameGrößeAktionen
{{ fmtSize(f.size) }} ⬇

HTML-Versicherer {{ htmlFiles.total }}

{{ htmlSelCount }} ausgewählt
Keine HTML-Dateien vorhanden.
DateinameGrößeAktionen
{{ fmtSize(f.size) }} ⬇
{{ contacts.msg }}
{{ contacts.total }} Kontakt(e)
Zeilen:
{{ contacts.search || contacts.filterVersicherer || contacts.filterStatus ? 'Keine Treffer.' : 'Noch keine Kontakte. Vollständigen Lauf starten oder "Neu extrahieren" klicken.' }}
StatusVersichererNameAbteilung E-MailTelefonAdresseAktionen
{{ {new:'Neu',updated:'Geändert',deleted:'Gelöscht',unchanged:'Unverändert'}[c.status] || c.status }} {{ c.versicherer }} {{ c.name || '–' }} {{ c.abteilung || '–' }} {{ c.email }} – {{ c.telefon || '–' }} {{ c.adresse || '–' }}

{{ contactForm.id ? 'Kontakt bearbeiten' : 'Neuer Kontakt' }}

{{ contactForm.error }}

Änderungen

{{ diffModal.contact?.name }} – {{ diffModal.contact?.versicherer }}

FeldVorherNachher
{{ row.field }} {{ row.old ?? '–' }} {{ row.new ?? '–' }}

Boei Chatbot Training

{{ boeiExports.length }} Datei(en) · {{ boeiSettings.chatbotName ? 'Chatbot: ' + boeiSettings.chatbotName : 'Kein Chatbot konfiguriert' }}

⬇ ZIP Download
{{ forms.boei.msg }}
Noch keine Dateien exportiert. Klicke auf "Exportieren" um die PDF-Inhalte als .txt-Dateien aufzubereiten.
{{ boeiSel.size }} ausgewählt
Dateiname (Kategorie) Größe Aktionen
{{ fmtSize(f.size) }} ⬇

Ansprechpartner-Quell-URLs

VEMA-Seiten mit Ansprechpartner-Links. Alle aktiven werden beim Scraping zusammengeführt.

Keine URLs konfiguriert.
LabelURLAktivAktionen
{{ u.label }} {{ u.url }}

PDF-Quell-URLs

Keine URLs konfiguriert. Füge die erste URL hinzu.
Label URL Aktiv Aktionen
{{ u.label }} {{ u.url }}

VEMA-Zugangsdaten

{{ vemaSettings.source==='none' ? '✗ Nicht konfiguriert' : vemaSettings.source==='env' ? '⚠ aus .env' : '✓ Gespeichert' }}

Login-Zugangsdaten für login.vemaeg.de. Werden beim HTML-Scraping und PDF-Download verwendet.

{{ forms.vema.msg }}

Missive / Webhook-Integration

Wird für den automatischen 2FA-Code-Empfang via Missive benötigt. Leer lassen = Wert aus .env bleibt aktiv.

{{ forms.integrations.msg }}

Automatischer Lauf (Cron)

Legt fest, wie oft der vollständige Lauf automatisch ausgeführt wird. Standard: 0 2 1 * * (1. jeden Monats um 02:00 Uhr).

Beispiele: 0 2 * * 1 (wöchentlich Mo) · 0 2 1 * * (monatlich) · 0 2 * * * (täglich)
{{ forms.cron.msg }}

N8N Webhooks

Webhook-URLs für die automatische Datenübertragung. Leer lassen = kein Webhook.

Automatische Übertragung im CronJob

Kontakte → Google Sheets

Nach Kontakt-Extraktion automatisch an N8N senden

PDFs → Google Drive

Nach PDF-Download Metadaten an N8N senden

KI-Zusammenfassungen → Google Drive

Nach AI-Phase Zusammenfassungen an N8N senden

Boei Chatbot Training → Upload

PDFs exportieren und automatisch zu Boei hochladen

{{ forms.webhooks.msg }}

KI-Einstellungen

Claude API Key
{{ aiSettings.hasApiKey ? '✓ hinterlegt' : 'nicht gesetzt' }}

Wird verschlüsselt gespeichert und nie im Klartext zurückgegeben.

{{ forms.ai.keyMsg }}
Google AI Studio API Key
{{ aiSettings.hasGeminiKey ? '✓ hinterlegt' : 'nicht gesetzt' }}

Kostenlosen API Key unter aistudio.google.com erstellen → „Get API key". Kein GCP-Projekt erforderlich.

{{ forms.ai.keyMsg }}
{{ forms.ai.keyMsg }}
Mistral API Key
{{ aiSettings.hasMistralKey ? '✓ hinterlegt' : 'nicht gesetzt' }}

API Key unter console.mistral.ai erstellen → API Keys. Hinweis: PDF-Zusammenfassungen werden ohne PDF-Inhalt generiert (Mistral unterstützt kein natives PDF-Input).

Ruft aktuelle Modellliste von Mistral ab
{{ forms.ai.keyMsg }}
{{ forms.ai.promptMsg }}
Automatische KI-Zusammenfassung
Bei vollständigem Lauf alle Ordner automatisch zusammenfassen und per Webhook übertragen.
{{ forms.ai.autoMsg }}

AnythingLLM Integration

{{ anythingllmSettings.syncStats.synced }} synced {{ anythingllmSettings.syncStats.total }} gesamt

PDFs aus dem Scraper in einen AnythingLLM-Workspace übertragen und einbetten. Hash-basierte Deduplizierung verhindert doppelte Dokumente.

{{ forms.anythingllm.msg }}
Gefundene Workspaces:
{{ w.name }} ({{ w.slug }})
Automatischer Sync nach vollständigem Lauf
Nach jedem vollständigen Scraping-Lauf alle neuen und geänderten PDFs automatisch synchronisieren.
{{ forms.anythingllm.autoMsg }}

Boei Chatbot Training

PDF-Inhalte als .txt-Dateien exportieren und direkt in einen Boei-Chatbot hochladen. Jeder Ordner wird zu einer Datei (max. 4,5 MB), größere Ordner werden aufgeteilt.

{{ forms.boei.msg }}

Dateiverwaltung und Upload im Boei-Tab.

Benutzername ändern

{{ forms.username.msg }}

Passwort ändern

{{ forms.password.msg }}

Zwei-Faktor-Authentifizierung

{{ cfg?.twoFactorEnabled ? '✓ Aktiviert' : 'Nicht aktiviert' }}

Schütze deinen Account mit einem Authenticator (z.B. Google Authenticator, Authy).

QR Code Mit Authenticator-App scannen
{{ twoFa.setup.secret }}
{{ twoFa.msg }}

2FA ist aktiv. Zur Deaktivierung bitte Passwort eingeben.

{{ twoFa.msg }}

📖 Hilfe & Dokumentation

🏗 Systemarchitektur

Der VEMA-Scraper läuft als Docker-Container auf einem VPS und ist über crawl.zdata-workspace.cloud erreichbar. Er kommuniziert mit N8N (Workflow-Automatisierung) per Webhooks, welches die Daten anschließend in Google Sheets und Google Drive ablegt.

VPS (Docker) → VEMA-Scraper → Webhooks → N8N → Google Sheets / Google Drive

⚙️ Wie läuft ein Scraping-Lauf ab?

Ein Lauf besteht aus drei Phasen die automatisch nacheinander ausgeführt werden:

  1. HTML-Scraping & Kontakt-Extraktion — Puppeteer (Headless Browser) loggt sich ins VEMA-Extranet ein, lädt die Ansprechpartner-Seiten aller Versicherer und die KI extrahiert daraus strukturierte Kontaktdaten.
  2. PDF-Download — Alle konfigurierten Seiten werden nach PDF-Links durchsucht. Formulare (Musterbriefe) werden automatisch ausgefüllt und als PDF gespeichert.
  3. KI-Zusammenfassungen (optional) — Claude AI liest die heruntergeladenen PDFs und erstellt strukturierte Zusammenfassungen.

📊 Dashboard-Tabs

  • Dashboard — Übersicht: Status des letzten Laufs, Statistiken, manueller Start einzelner Phasen.
  • PDFs — Alle heruntergeladenen PDFs nach Ordner gegliedert. Dateiname klicken = Vorschau. Ordner löschen entfernt alle Dateien und das Verzeichnis. KI-Zusammenfassungen manuell anstoßen. Sync zu AnythingLLM per Knopfdruck.
  • HTML — Gespeicherte HTML-Seiten der Versicherer. Dateiname klicken = Vorschau. Download per ⬇-Button.
  • Ansprechpartner — Alle extrahierten Kontakte mit Status (Neu / Aktualisiert / Gelöscht / Unverändert). Suche, Filter, manuelle Bearbeitung und Diff-Ansicht für Änderungen. Transfer an N8N per Knopfdruck. Alle Kontakte löschen möglich.
  • URLs — Quell-URLs für Ansprechpartner-Scraping und PDF-Download. Aktivieren/deaktivieren und verwalten.
  • Boei — PDF-Inhalte als .txt-Dateien exportieren und in einen Boei-Chatbot hochladen. Dateiname klicken = Textvorschau. Multi-Select zum Löschen. Hash-basierte Deduplication verhindert doppelte Uploads.
  • Einstellungen — Zugangsdaten, N8N-Webhooks mit CronJob-Toggles, KI-Provider & Modell, AnythingLLM, Boei, VEMA-Login, Cron-Zeitplan, 2FA.

🔗 Ansprechpartner-Quell-URLs

Der Scraper arbeitet in zwei Phasen: Zuerst öffnet er jede aktive Quell-URL und liest daraus alle Links aus, die das DOM-Muster #produktinfo a[title^="Ansprechpartner"] erfüllen. Anschließend werden alle gefundenen Einzelseiten parallel gescrapet und als HTML gespeichert.

Mehrere aktive Quell-URLs werden zusammengeführt, Duplikate (gleicher Pfad) automatisch übersprungen.

Hinweis: Dieses DOM-Muster ist spezifisch für VEMA-Extranet-Übersichtsseiten. Eine neue Tab-Struktur erfordert Anpassung am Scraper.

☁️ Automatische Übertragungen (CronJob)

Nach jedem vollständigen Lauf werden Daten automatisch übertragen — sofern der jeweilige Toggle in den Einstellungen aktiviert ist:

  • Kontakte → Google Sheets — Alle Kontakte (neu/aktualisiert/gelöscht/unverändert) per Webhook an N8N.
  • PDFs → Google Drive — PDF-Metadaten per Webhook an N8N.
  • KI-Zusammenfassungen → Google Drive — Zusammenfassungen per Webhook an N8N.
  • Boei Chatbot Training — PDFs als .txt exportieren und per Hash-Deduplication nur geänderte Dateien zu Boei hochladen.

🤖 KI-Einstellungen

Vier KI-Provider stehen zur Wahl:

  • Anthropic (Claude) — Haiku 4.5 (empfohlen), Sonnet 4.6, Opus 4.6.
  • Google AI Studio (Gemini) — Flash 2.0 (empfohlen), Flash 2.5, Pro 2.5. Kostenlos im Free Tier.
  • Google Vertex AI — Flash 2.0, Pro 2.5. Erfordert GCP-Projekt & Service-Account.
  • Mistral AI — Modelle werden dynamisch von der API geladen. Hinweis: kein natives PDF-Input.

🕐 Cron-Zeitplan

Der automatische Lauf wird per Cron-Ausdruck gesteuert. Format: Minute Stunde Tag Monat Wochentag

0 3 1 * * → Jeden 1. des Monats um 03:00 Uhr

📋 Lauf-Historie

Noch keine Läufe aufgezeichnet.
TaskStatusStartDauerPDFsFehler
{{ r.task }} {{ r.status }} {{ r.started_at }} {{ r.duration_s }}s {{ r.stats?.pdf?.downloaded ?? r.stats?.downloaded ?? '–' }} {{ r.error_msg ? r.error_msg.substring(0,60) : '–' }}

ℹ Über Vema Scraper

Node.js {{ sysInfo.nodeVersion }} Uptime {{ sysInfo.uptimeHuman }} Server-Zeit {{ sysInfo.time }}
Letzter Lauf {{ sysInfo.lastRunFinishedAt || '–' }} Status {{ sysInfo.lastRunStatus || '–' }} Aktiver Task {{ sysInfo.activeTask || 'Keiner' }}

{{ urlModal.id ? 'URL bearbeiten' : 'Neue URL hinzufügen' }}

{{ urlModal.msg }}

{{ apUrlModal.id ? 'Ansprechpartner-URL bearbeiten' : 'Neue Ansprechpartner-URL' }}

{{ apUrlModal.msg }}

{{ boeiPreview.filename }}

Vorschau (200 KB) {{ fmtSize(boeiPreview.totalSize) }} 
{{ boeiPreview.content }}
{{ t.msg }}

{{ confirmModal.title }}

{{ confirmModal.message }}

📁 Dateien verschieben

{{ pdfSelCount }} Datei(en) verschieben nach:
{{ previewUrl }}
↗

PDF kann im Browser nicht angezeigt werden.

In neuem Tab öffnen