Grafische Oberfläche für tesseract OCR - Anforderungen bitte

[netseeker]

Originally Posted by Josch91

Wäre es möglich, wenn man einen Teil des Textes im rechten Abschnitt mit dem erkannten Text markiert, diese markierung auch in der Vorlage anzuzeigen. So wie im Anhang?

Möglich ja aber sehr schwierig. Wie ich schon vorher schrieb, ist Layout-Analyse leider nicht wirklich mein Fachgebiet. Ohne die Layout-Informationen bekomme ich so etwas nicht hin. Ich hoffe, dass sich da vielleicht noch der eine oder andere Entwickler zu Wort meldet...

Edit: Ich habe inzwischen herausgefunden wie ich Tesseract die ursprünglichen Positionen der Zeichen entlocken kann...vielleicht geht also da doch noch was....

Originally Posted by mtravellerh

Mir fällt gerade auf, dass Du im Korrekturfenster ganz konkrete Formatbefehle eingebut hast. Willst Du das dann als html exportieren oder wie?

Naja, ich brauche ja ein neutrales Zwischenformat (Tesseract selbst liefert ja nur Plain-Text) aus dem ich dann - je nachdem was der Benutzer für den Auftrag als Ausgabeformat gewählt hat - in XHTML oder RTF exportiere. Entweder werde ich dazu hocr verwenden (da bekomme ich auch die Layoutinformationen aus der Imageanalyse mit unter), oder gleich XHTML als internes Format nehmen.

Edit: Tessseract 3.0 wird wohl hocr-Ausgabe von Haus aus mitbringen also wären wir damit auf der sicheren Seite...

[netseeker]

Anbei mal ein paar erste Screenshots aus der glühend heißen Softwareschmiede...

Das Positive ist:

• Das Anwendungsgerüst steht
• Die PDF-Verarbeitung funktioniert
• Das OCR funktioniert
• Verschiedene Funktionen zur Verbesserung der Bilder vor dem OCR funktionieren

Das Negative ist:

Es ist noch eine Unmenge Arbeit zu tun und die OCR-Ergebnisse müssen zwingend noch weiter verbessert werden.

Ich werde in den nächsten Tagen die bis dahin fertigestellten Programmquellen auf dem Dev Hub einchecken und hoffe, dass vielleicht der eine oder andere interessierte Developer auf den Zug aufspringt. Wer Interesse hat, bitte via PM bei mir melden. Interessenten

• benötigen gutes bis sehr gutes Java Wissen
• sollten sich in Swing auskennen
• sollten mit IntelliJ oder Eclipse vertraut sein.

.

[Josch91]

Wow, das sieht ja super aus.

Es ist noch eine Unmenge Arbeit zu tun und die OCR-Ergebnisse müssen zwingend noch weiter verbessert werden.

Hast Du denn überhaupt Einfluss auf die OCR-Ergebnisse? Du programmierst doch nur die grafische Oberfläche, oder?

[Marc_liest]

Originally Posted by netseeker

Anbei mal ein paar erste Screenshots aus der glühend heißen Softwareschmiede...

Als hätte er das schon mal gemacht ...

[netseeker]

Originally Posted by Josch91

Wow, das sieht ja super aus.

Danke! Allerdings konzentriere ich mich derzeit im Wesentlichen noch darauf, dass es funktioniert. An der UI können wir dann später noch feilen, wenn wir entsprechende Testrückmeldungen haben.

Originally Posted by Josch91

Hast Du denn überhaupt Einfluss auf die OCR-Ergebnisse? Du programmierst doch nur die grafische Oberfläche, oder?

Begrenzt habe ich Einfluss. Das funktioniert über drei Möglichkeiten:

1. Ordentliche, passende Trainingsdaten für Fraktur verwenden. Die für Tesseract bereits verfügbaren Trainingsdaten für Fraktur könnten noch verbessert werden bzw. werden wir wahrscheinlich unterschiedliche Trainingsdaten für unterschiedliche Fraktur-Schriftfamilien aufbereiten müssen um das Ergebnis so gut wie irgend möglich zu machen.
2. Tesseract nimmt als Eingabe immer Bilder, diese Bilder kann man natürlich bzgl. Auflösung, Kontrast, Linienstärke etc. speziell für ein gutes OCR vorbereiten.
3. Zum Schluß können wir dann noch Nachbearbeitungen des OCR-Ergebnisses vornehmen und einige OCR-Fehler automatisch unter Zuhilfenahme ordentlicher Wörterbücher bereinigen.

[StDo]

Bombastisch!

Ich melde mich gleich mal als Alphatester an. Meine Programmierkenntnisse tendieren gegen null. Ich kann mit verschiedensten Textquellen dienen - aber die meisten leider nicht in Fraktur. Würde das stupide Ausprobieren übernehmen.

Als Vorschlag: die Buttonleiste editierbar machen, dann kann jeder die Zeichen, die er am häufigsten Korrigieren muss, selbst dorthin legen.

Passiert mir beim Scannen, OCR und Korrigieren immer: das Anführungszeichenendzeichen (wie heißt das richtig?) wird immer falsch eingelesen: " “ ” ˝ - Möglichkeiten gibt’s genug...

[netseeker]

Nachdem Textaurare heute sein erstes OCR-Project vollständig erzeugt, wieder geöffnet und korrekt dargestellt hat (ja, es geht voran, wenn auch ein wenig langsamer wie erhofft), habe ich mir ein paar alte Projekte angeschaut und dabei ist mir folgendes aufgefallen:
Ich habe noch ein paar Alghorithmen "herumliegen" um mehrspaltige PDF's (bzw. die Bilder davon) zu teilen und jede 2. Spalte auf eine weitere Einzelseite abzubilden.

Wäre es sinnvoll eine Option zum automatischen "Auftrennen" mehrspaltiger PDF's einzubauen? Das Originallayout wandert dann natürlich ins Nirvana aber andererseits ist der OCR-Output (aufgrund der fehlenden Layoutanalyse in Tesseract) ansonsten ohnehin nicht wirklich zu gebrauchen.

PS: Muss noch ein paar Bugs finden, dann gibt es wieder Screenshots!

[mtravellerh]

Originally Posted by netseeker

Wäre es sinnvoll eine Option zum automatischen "Auftrennen" mehrspaltiger PDF's einzubauen? Das Originallayout wandert dann natürlich ins Nirvana aber andererseits ist der OCR-Output (aufgrund der fehlenden Layoutanalyse in Tesseract) ansonsten ohnehin nicht wirklich zu gebrauchen.

PS: Muss noch ein paar Bugs finden, dann gibt es wieder Screenshots!

Ich finde die Sache mit den mehrspaltigen PDFs eine gute Idee, sehe sie aber nicht als primär an! Vielleicht könntest Du sie ja im Laufe der Entwicklung integrieren!

[netseeker]

Originally Posted by mtravellerh

Ich finde die Sache mit den mehrspaltigen PDFs eine gute Idee, sehe sie aber nicht als primär an! Vielleicht könntest Du sie ja im Laufe der Entwicklung integrieren!

Alte Programmierer-Krankheit: Noch nicht fertig und schon nach mehr Arbeit suchen.
Ich merke es mal für später vor.

[netseeker]

Here we go. Aktueller Status sowie ein paar neue Screenshots...

Prinzipiell funktioniert das meiste. Der Editor arbeitet auf RTF-Basis (Richt Text Format), was eine Weiterverarbeitung im Editor eurer Wahl ermöglichen sollte. Außerdem wird RTF seitens der notwendigen Editorkits von Java besser unterstützt als HTML oder XHTML. Im Detail fehlen jetzt noch:

• Finden und Ersetzen (mache ich momentan) mit Unterstützung für Reguläre Ausdrücke
• Spellcheck und Wörterbuchanbindung (hab ich schon angetestet, wird hoffentlich morgen fertig)
• Automatisches Ersetzen von häufigen OCR-Fehlern unter Einbeziehung von anpassbaren Benutzervorgaben. (hier bin ich mir noch nicht ganz schlüssig wie das im Detail aussehen wird)
• Die erweiterbare Liste von Sonderzeichen
• Export der Einzelseiten nach HTML und TXT
• Export aller Seiten in ein Dokument (RTF, HTML, TXT)
• Kleinere Details wie Menüs mit Funktionen befüllen, Export/Import des kompletten Projekts nach bzw. von ZIP-Archiv, Prüfung auf Mehrfachstart usw.)
• Einrichtungsassistent und Einstellungsdialog (Pfade zu Tesseract, externem Editor sowie externem Bildbearbeitungsprogramm; Standardexportformat; Standardwörterbuch; Standard-Tesseract-Sprache)
• Installer

Die "Kleineren Details", den HTML-Export sowie die Unterstützung für reguläre Ausdrücke lasse ich für die erste Runde evtl. noch weg. Installer mache ich ohnehin erst ganz zum Schluß, wenn die ersten Tests erfolgreich waren. Die anderen Funktionen schaffe ich hoffentlich in den nächsten Tagen. Morgen ist ja glücklicherweise hier Feiertag.

[mtravellerh]

Originally Posted by netseeker

Die "Kleineren Details", den HTML-Export sowie die Unterstützung für reguläre Ausdrücke lasse ich für die erste Runde evtl. noch weg. Installer mache ich ohnehin erst ganz zum Schluß, wenn die ersten Tests erfolgreich waren. Die anderen Funktionen schaffe ich hoffentlich in den nächsten Tagen. Morgen ist ja glücklicherweise hier Feiertag.

Klasse! Bin baff! Das Resultat schaut ja schon mehr als gut aus! Nobody, ich komme!

[netseeker]

Originally Posted by mtravellerh

Klasse! Bin baff! Das Resultat schaut ja schon mehr als gut aus! Nobody, ich komme!

Cool. Wenn Du schon irgendetwas siehst, was ich noch beachten muss, dann bitte gleich Bescheid geben.

Kleine Bitte an alle Mitleser: Ich benötige dringend aktuelle, fertig generierte Aspell-Dictionaries für

• de_alt
• de
• en
• fr

Leider habe ich momentan weder Cygwin noch eine *NIX-Installation in Reichweite. Also falls jemand eines odere mehrere der Dictionaries "rumliegen hat" oder generieren könnte und mir dann zusendet, wäre ich sehr dankbar.

PS: Die Pakete für die Dictionaries gibts hier: ftp://ftp.gnu.org/gnu/aspell/dict/0index.html#0.60

[Marc_liest]

Toll! Super! Klasse!

[mores]

Wann kommt der OS X Port? Sieht klasse aus!

[netseeker]

Originally Posted by mores

Wann kommt der OS X Port? Sieht klasse aus!

Danke.
Das sollte bereits unter OS X funktionieren - Java 1.6 Unterstützung ist dort ja vorhanden und Tesseract gibt es auch für OS X (bspw. via Darwinports).

Allerdings werden die Menüs höchstwahrscheinlich nicht aus dem Programmfenster ausgelagert (das muss dann mal jemand testen). Ich erwarte auf OS X allerdings ein paar kleinere Probleme in der Oberfläche, weil Apple an der Java VM einige krasse Anpassungen vorgenommen hat um die besser in die Cocoa-Oberfläche zu integrieren und auch schneller zu machen. Das bekommen wir aber hin.