Fehlende Ergebnisliste beim Massenimport

[aetherfaerber]

Wir haben festgestellt, dass Kitodo bei einem Massenimport wiederholt keine Ergebnislisten mitgibt. Solange der Import aller Items erfolgreich ist, ist dies nicht weiter problematisch. Es ist bei uns nun aber schon mehrfach vorgekommen, dass aus diesem Grund Fehler für nicht erstellte Vorgänge unbemerkt blieben.
Zunächst hatten wir die Vermutung, dass dies an der Menge der zu importierenden Datensätze liegt und versucht, die dabei relevante Grenze zu bestimmen. Allerdings haben Tests gezeigt, dass in manchen Fällen für einen Import von über 700 Items eine Ergebnisliste ausgibt, in anderen aber bereits einer von 500 Stück keine Ergebnisliste bekommt. Unser neuer Verdacht wäre, dass es mit der Anzahl der jeweils abzubildenden fehlgeschlagenen Imports zusammenhängt. Denkbar wäre auch, dass das Problem durch eine Überlastung des Browsers durch die Oberfläche verursacht wird. Dennoch sollte dies nicht auftreten und die Ursache abgestellt werden.

Haben andere ähnliche Erfahrungen gemacht, eventuell die Ursache ermittelt oder gar einen Umgang damit gefunden?

PS: Ebenfalls zeigt Kitodo bei größeren Importen keine Fortschrittsleiste für den Import der einzelnen Datensätze an. Dies haben wir bei Imports ab einer Größenordnung von ca. 15.000 Items beobachtet. Eventuell gibt es dafür ähnliche Gründe?

[subhhwendt]

Ich habe nach längerer Zeit auch mal wieder diese Funktion genutzt und kann Eure Beobachtung bestätigen. Wenn ein Item scheitert beim Import, wird dieser ausbleibende Import nicht aufgelistet - und auch die bekannte Erfolgsmeldung für die übrigen Items unterbleibt. Beim Aufspüren des jeweiligen Querulanten beim Import, stieß ich immer auf eine kl. Lücke im Regelsatz - in unserer Bibliothekswelt ein noch nicht konfigurierter roleCode bei der Personen- oder Körperschaftsdatengruppe. Meine These ist, dass beim Abfangen und Auflisten von fehlgeschlagenen Importen diese Regelsatzvalidierung für die Metadaten noch nicht abgefangen wird. Ich habe schon die eine oder andere Fehlerliste nach dem Massenimport gesehen - hier waren Items gelistet, die nicht importiert wurden, weil sie in K3 schon vorhanden waren.

[aetherfaerber]

Oh, vielen Dank für die Rückmeldung! Diesen Fall konnten wir bei uns ausschließen, da alle enthaltenen Daten auch im Regelsatz gemappt sind.
Aktuell geht es auch bei unserer Suche vor allem um Fälle, in denen bereits ein Vorgang mit dem zu erstellenden Titel existiert. So wie ich die Funktion verstehe, sollte aber doch auch in eurem Fall, wenn ein Metadatum nicht zugeordnet werden kann, ein Fehlschlag in der Ergebnisliste aufgelistet werden und das nicht zu tun wäre ein Fehler von Kitodo?

[aetherfaerber]

Wir haben hier noch weiter nachgeforscht und festgestellt, dass es nicht an einer festen Menge der zu importierenden Stücke liegt. Bei uns lag das Problem darin begründet, dass es zu einem Timeout zwischen dem in Apache konfiguriertem Reverse Proxy und dem Tomcat kam. Nachdem wir das Limit für den Timeout stark erhöht haben, scheint das Problem nicht mehr aufzutret.n