Volltextsuche im Pocketbook-Reader

Moredread · 01-09-2010, 05:24 AM

Hi,

ich wäre persönlich sehr an einer Volltextsuche in Pocketbook-Readern interessiert, mit der sich alle Bücher auf einen Schlag durchsuchen lassen. Mich persönlich würde das eher im Pocketbook 901 reizen, da ich dieses eher für Fachliteratur nutze als das 360°, aber auch in den kleinen Readern wäre es ein durchaus interessantes Feature. Es wäre interessant zu erfahren, wer eine entsprechende Funktion für sinnvoll erachten würde - daher habe ich einen Poll angehängt.

Am sinnvollsten wäre es meines Erachtens, wenn eine bereits existente Software dafür benutzt würde. Es kann ja durchaus sein, das es für Linux bereits eine entsprechende Software gibt. Der Haken ist, das sich das Pocketbook wenig dafür eignet, im Hintergrund eine mySQL-Datenbank laufen zu lassen. Bei nur 64 MB RAM wird es da schnell eng mit den Ressourcen. Die Software müsste also den Index selbst in Dateien verwalten.

Sollte es eine solche Software also nicht geben - und sollten den GfK das ganze als zu aufwändig erscheinen - könnte ich mir durchaus vorstellen, so eine Software selbst zu programmieren. Ich habe vor zig Jahren einmal einen Algorithmus entwickelt, der diese Aufgabe stemmen könnte. Ich habe den Quellcode allerdings nicht mehr, wohl aber die Idee, wie er funktioniert.

Aus meiner Sicht gibt es an der Sache zwei Haken. Zum einen habe ich noch nie irgend etwas unter Linux entwickelt. Ich habe nicht den Hauch eines blassen Schimmers, was ich da genau machen muss. Das zweite Problem, vor dem ich genauso ahnungslos stehe, ist, wie bestimmte Formate verarbeitet werden. Das bedeutet, ich weiß zwar, wie ich bspw. eine Text-Datei oder HTML durchsuche - aber keinen Plan, was ich machen muss, um bspw. ein PDF zu erfassen. Möglicherweise gibt es dafür ja Module, die man einbinden kann. Alles selbst zu programmieren erscheint mir erst einmal recht aufwändig. Kurz und gut, ich benötige dafür die Unterstützung von jemanden, der Ahnung davon hat, wie man unter Linux bestimmte Sachen macht.

Zum Funktionsumfang: Die Software würde es ermöglichen, eine Volltextsuche nach Buchstaben oder Zahlen (oder einer Kombination von beidem) zu ermöglichen. Sonderzeichen wären außen vor - eine Suche nach dem String #>; wäre bspw. nicht möglich.

Die Indizierung müsste aus Performancegründen manuell angestoßen werden. Mir persönlich schwebt da ausschließlich eine Vollindizierung vor; weder ein automatisches Update noch ein manuelles Update wären vorgesehen, was damit zusammenhängt, wie die Dateien, in denen der Index eingetragen ist, aufgebaut sind. Man könnte so etwas zwar einprogrammieren, aber es wäre ziemlich aufwändig. Die Suche in einem bestimmten Ordner wäre möglich, würde aber genauso viel Zeit in Anspruch nehmen, wie die Suche in allen Büchern. Über den Daumen gepeilt sollten sich 2 GB Bücher (ohne Bilder) in knapp 10 Sekunden durchsuchen lassen.

Wie sieht es aus? Besteht bei euch Interesse an so einer Funktion? Nur für mich selbst werde ich es nicht programmieren. Ich kann so eine Funktion zwar brauchen, aber der Zeitaufwand wäre mir dann doch zu hoch. Wer würde mir helfen? Und - natürlich noch wichtiger - wie sieht es bei Pocketbook Global aus? Forkosigan: Ist so eine Funktion für die Zukunft geplant? In dem Falle lege ich nämlich lieber die Füsse hoch und warte.

Achja: Ich könnte damit nicht heute anfangen. Und selbst, wenn ich es tun würde, würde es einige Zeit in Anspruch nehmen. Also selbst, wenn der Vorschlag auf Begeisterung stößt und sich jemand findet, der mich unterstützt, müsstet ihr eine Weile darauf warten.

ciao

JM

gulu-gulu · 01-09-2010, 06:01 AM

Volltextsuche ist vielleicht teilweise praktisch, aber ich hatte bisher beim analog-Lesen auch noch nie das Bedürfnis einen Volltext zu suchen.. insofern von mir ein persönliches "nein, ich brauchs nicht".

mtravellerh · 01-09-2010, 06:03 AM

Habe nicht abgestimmt, weil ich eine Volltextsuche innerhalb eines Buches wohl nützlich und notwendig finde (gibt es ja sowieso in der PB-Firmware), Volltextsuche in allen Büchern gleichzeitig aber wirklich nicht brauche!

Ulli · 01-09-2010, 06:46 AM

Quote:

Originally Posted by mtravellerh

Habe nicht abgestimmt, weil ich eine Volltextsuche innerhalb eines Buches wohl nützlich und notwendig finde (gibt es ja sowieso in der PB-Firmware), Volltextsuche in allen Büchern gleichzeitig aber wirklich nicht brauche!

Habe auch mit "nein" abgestimmt. Hätte es genauso gesagt.

netseeker · 01-09-2010, 07:40 AM

@Moredred und die PB-Entwickler: Schaut euch doch mal Lucy, die C-Portierung von Lucene an. Auch Beagle setzt bspw. darauf. Lucene ist wahrscheinlich das ausgereifteste OpenSource Suchframework und es ist keine DB o.ä. m Hintergrund notwendig. Die Suche über PDF's u.ä. ist relativ einfach: Man muss "nur" eine Plaintext-Representation hinbekommen um sie in den Suchindex aufzunehmen.

netseeker · 01-09-2010, 07:43 AM

Ach ja, habe natürlich mit "Ja" gestimmt, weil ich öfters nach bestimmten Themen/Stichwörtern suche und dann nie genau weiß, in welchen Büchern das vorkam. Das ist insbesondere bei Sachliteratur ganz schön unbequem.

eibix · 01-09-2010, 08:41 AM

Auch ich habe mit 'Ja' gestimmt.

Ein großer Vorteil der Digitalisierung von Printmedien ist meiner Meinung nach gerade die Durchsuchbarkeit. Und die Suche sollte am 'Buchdeckel' nicht enden. Also meine Bitte an die Entwickler: Baut eine Volltextsuche in die Pocketbookreader ein. :-)

Sturgis · 01-09-2010, 10:38 AM

Da ich hauptsächlich "einfach nur" Romane lese, habe ich eine Volltextsuche über alle Bücher bisher noch nicht vermisst.

Ich habe aber trotzdem mit "Ja" gestimmt, da ich so etwas grundsätzlich interessant fände. Gerade solche Funktionen sind doch ein Vorteil digitaler Lesesysteme. Sollte also jemand (oder vielleicht sogar die GfK) so eine Funktion in das Pocketbook programmieren, so fände ich das toll.

Moredread · 01-10-2010, 07:10 AM

Ich selber besitze praktisch alle Bücher, die ich "analog" hier rumliegen habe, auch digital. Kaufe ich mir ein Fachbuch, digitalisiere ich es notfalls selbst. Ich benutze die Suchfunktion wirklich recht häufig; das war auch der Hintergrundgedanke bei der Sache. Für die Suche in wissenschaftlichen Werken ist so etwas praktisch unbezahlbar...

Quote:

Originally Posted by netseeker

@Moredred und die PB-Entwickler: Schaut euch doch mal Lucy, die C-Portierung von Lucene an. Auch Beagle setzt bspw. darauf. Lucene ist wahrscheinlich das ausgereifteste OpenSource Suchframework und es ist keine DB o.ä. m Hintergrund notwendig. Die Suche über PDF's u.ä. ist relativ einfach: Man muss "nur" eine Plaintext-Representation hinbekommen um sie in den Suchindex aufzunehmen.

Supergut! Ich habe wirklich wenig Lust, das Rad noch einmal neu erfinden zu müssen. Wenn es also so etwas schon gibt, wäre ich doch sehr dafür, es zu verwenden. Hm, wenn ich demnächst etwas Zeit habe, werde ich mich mal mit dem SDK auseinandersetzen und gucken, ob sich dieses Programm portieren lässt. Ich vermute stark, das es hauptsächlich eine Frage der benötigten Hardwareleistung ist.

StephanE · 01-10-2010, 07:21 AM

Ich habe mit Nein gestimmt, da ich auf dem Gerät lediglich Romane lese. Sinnvoll ist es tatsächlich nur, wenn man Sachtexte hat und diese durchsuchen möchte, um einen Sachverhalt nachzuschlagen.

Ergänzung: Ich denke, der beschränkende Faktor ist die mangelnde Hardwareleistung, ich habe testweise die Suchfunktion mal probiert und es hat lange gedauert, bis das Ergebnis erschien. Die Such auf alle Bücher auszudehnen scheint mir bei deser Hardwareplattform nicht sinnvoll, am PC ist das schon was anderes...

Moredread · 01-10-2010, 07:41 AM

Die Suchfunktion innerhalb der Bücher ist auch eine "rohe" Volltextsuche. Wenn die Suchsoftware einen Index durchsucht, lässt sich jedes Buch unter einer Sekunde durchsuchen. Wie bereits geschrieben, schätze ich das 2 GB reiner Text sich in knapp 10 Sekunden durchsuchen lassen. Meine Suchfunktion lief damals auf PCs mit geringerer Hardwareleistung als die des Pocketbooks (200 MHz-Rechner) sogar noch schneller.

rasch · 01-11-2010, 05:14 PM

Alternativer Lösungsansatz:

Hallo Leute,
ich möchte euch nicht frustrieren aber ich denke das man zu der Zeit in der z.B. ein 200 Mhz mmx

gewerkelt haben die Festplatten gerade mal 2 GB hatten. Die Datenmengen die man damals durchsucht / indiziert hat waren sicher auch groß, aber es waren sicher nicht gleich Bibliothekenweise.

So mal auf die schnelle 2 GB ins RAM kippen ( Der Bus fährt auf den Embedded Kisten nicht so schnell und 512 Bit

is er sicher auch nicht breit ) oder permanent da drin halten ist mit der momentanen eBook Reader HW auch nicht wirklich drin.
Man kämpft da eher mit der Reduzierung von Stromaufnahme und Schreibzyklen auf Flash Speicher, chronischem Hauptspeichermangel ....

Es wäre sicher schön, aber der Charme dieser Hardware liegt sicher nicht in der Fähigkeit sich wie ein großer Server zu verhalten.
( wäre doch schade wenn man da noch ein AKW und Klimaanlage für die Abwärme betreiben müsste

)

Für machbarer halte ich da, das man außerhalb Index Dateien mit (z.B. fachlich) Interessanten Wörtern vorbereitet. So bekommt dann jedes (von außen) durchsuchbare Dokument eine von der Größe überschaubare/händelbare Indexdatei mit.
( das wäre dann aber erstmal eine proprietärer Sache (evtl. ergänzend zu den bestehenden Formaten) )
So etwas aufzubauen erfordert aber erstmal ziemlich viel Eigenarbeit.
Für den Eigenbedarf viel Aufwand, aber für ne Comunity durchaus denkbar

PS
Wenn Du das was Du nicht suchst auch nicht ( seitenweise ) wegscrollen/blättern musst bist Du auch schneller bei den Infos die Du suchst. ( Wenn sie denn dabei sind )

gRuss Ralf

Moredread · 01-11-2010, 06:32 PM

Quote: