opencultureconsulting / noah-bielefeld-pub

Harvesting des institutionellen Repositoriums PUB der Universität Bielefeld und Transformation in METS/MODS für das Portal noah.nrw

Harvesting und Transformation der Daten des institutionellen Repositoriums PUB der Universität Bielefeld für das Portal noah.nrw

Dieser Workflow harvestet die Daten des institutionellen Repositoriums pub der Universität Bielefeld im Format MODS und transformiert diese in METS/MODS für das Portal noah.nrw.

Die Daten in diesem Repository werden alle 24 Stunden nachts ab 03:21 Uhr aktualisiert. (pausiert)

Systemvoraussetzungen

• GNU/Linux (getestet mit Fedora 32)
• JAVA 8+ (für OpenRefine)
• PHP 7.3+ und Composer (für VuFindHarvest)
• go-task 3.10.0+
• xmllint (libxml2)

Workflow

Der Workflow wird in Taskfile definiert und kann entweder lokal (task default) oder mit GitHub Actions ausgeführt werden. Er besteht aus zwei Hauptbestandteilen:

1. Der Task harvest lädt die öffentlichen Datensätze über die OAI-PMH-Schnittstelle. Das Ergebnis sind XML-Dateien im Verzeichnis input.

2. Der Task transform transformiert die heruntergeladenen Daten in METS/MODS. Das Ergebnis sind XML-Dateien im Verzeichnis output.

Beide genannten Tasks verwenden einen Cache, um nur neue Daten abzurufen bzw. zu verarbeiten. Über OAI bekanntgemachte Löschungen werden berücksichtigt. Der Task reset führt bei Bedarf ein vollständiges Harvesting inklusive Transformation aus.

Mapping

Die Konfigurationsdateien für das Harvesting und für das Mapping in METS/MODS liegen im Ordner config.

noah-bielefeld-pub's Issues

Umgang mit dateibasierten Zugriffsbeschränkungen klären

Der Linkcheck hat ergeben, dass es Stand 15.3. 49 Dateien gibt, die zugriffsbeschränkt sind. Diese werden im Portal auch so ausgewiesen:
Beispiel 198736 im Portal

Name KollenbergNSTHRDK2009-TIO.pdf
Access Level UniBi Only

Über die OAI-Schnittstelle werden diese dateibasierten Zugriffsbeschränkungen im Format MODS nicht ausgewiesen:
Beispiel 198736 via OAI mods

<relatedItem type="constituent">
  <location>
    <url displayLabel="KollenbergNSTHRDK2009-TIO.pdf">https://pub.uni-bielefeld.de/download/1987356/2277829/KollenbergNSTHRDK2009-TIO.pdf</url>
  </location>
  <physicalDescription><internetMediaType>application/pdf</internetMediaType></physicalDescription>
</relatedItem>

Es muss geklärt werden, wie an diese Information gelangt werden kann, um die Links auf die zugriffsbeschränkten Dateien ausfiltern oder im Portal deklarieren zu können.

Datensätze mit MIME "application/pdf" aber ohne Dateiendung .pdf in URL

Es gibt Stand 15.3.2021 151 Links auf Dateien, bei denen als Internet Media Type "application/pdf" notiert wurde, aber die URL keine Dateiendung .pdf oder .PDF enthält.

Aktuell werden diese Datensätze ausgefiltert.

Lösungsansätze:
a) Korrektur im Quellsystem, würde auch Anzeige im Browser durch Nutzer*innen erleichtern
b) Links zu Dateien mit Typ "application/pdf" trotzdem übernehmen, auch wenn die Dateiendung nicht auf ein PDF hindeutet.