GitHubHelp

dasMulli/ai-containers-data-redaction-sample

Demonstrates on-premises use of Azure AI Containers for document recognition and redaction purposes

★ 0Forks 0Jupyter NotebookGitHub ↗Compare

README

Demo: Dokumentenerkennung und Anonymisierung mit Azure AI

Dieses Projekt demonstriert die Erkennung und Anonymisierung von personenbezogenen Daten (PII) in Dokumenten mittels Azure AI Document Intelligence und Azure AI Language Service, ausgeführt in lokalen Docker-Containern. Die Demo ist in der Jupyter Notebook-Datei pii-demo.ipynb implementiert.

Verzeichnisstruktur und Dateien

  • pii-demo.ipynb: Jupyter Notebook mit dem vollständigen Demo-Workflow (Dokument einlesen, PII erkennen, Text anonymisieren).
  • docker-compose.yaml: Docker Compose Datei zum Starten der benötigten Azure AI Container (Document Intelligence Read & PII Detection) lokal.
  • input.pdf: Beispiel-PDF-Dokument, das für die Demo analysiert wird. Die inkludierte Datei enthält ein PDF mit Rastergrafiken statt vektorisiertem Text um die OCR-Funktion von Azure AI Document Intelligence zu demonstrieren.
  • .env: Umgebungsvariablen für die Endpunkte und API-Keys der Azure Services für Abrechnungszwecke (müssen angepasst werden).

Vorbereitung & Konfiguration

  1. Beispiel-Dokument erstellen

    • Erstelle eine Beispiel-PDF-Datei mit beliebigem deutschen Text und speichere sie als input.pdf im Projektverzeichnis.

  2. API-Keys und Endpunkte eintragen

    • Öffne die Datei .env und trage die gültigen Azure-Endpunkte und API-Keys für Document Intelligence und Language Service ein:
      • DOCUMENT_INTELLIGENCE_BILLING_ENDPOINT
      • DOCUMENT_INTELLIGENCE_API_KEY
      • LANGUAGE_SERVICE_BILLING_ENDPOINT
      • LANGUAGE_SERVICE_API_KEY

  3. Docker installieren

    • Stelle sicher, dass Docker Desktop installiert und gestartet ist.

  4. Container starten

    • Im Projektverzeichnis folgenden Befehl ausführen: 
      docker-compose up -d
    • Dadurch werden zwei Container gestartet:
      • azure-document-intelligence-read (Port 5010)
      • azure-pii-detection (Port 5020)

  5. Notebook ausführen

    • Öffne pii-demo.ipynb in Visual Studio Code oder JupyterLab.
      • Für Visual Studio Code werden die Extensions "Jupyter" und "Polyglot Notebooks" empfohlen um das C#-basierte Notebook verwenden zu können.
    • Führe die Zellen der Reihe nach aus.
    • Das Notebook liest das PDF, extrahiert den Text, erkennt PII-Entitäten und zeigt den anonymisierten Text an.

Hinweise

  • Die Container laufen lokal und senden keine Nutzdaten an Azure, einzig Nutzungsinformationen zu Abrechnugnszwecke werden übertragen ("Billing").
  • Die Demo ist für deutsche Texte (de) konfiguriert, kann aber für andere Sprachen angepasst werden.
  • Bei Problemen prüfe die Container-Logs mit: 
    docker-compose logs

Issues