[Metadata Source Plugin] LubimyCzytac [PL] UPDATED

[BeckyEbook]

Widzę. Potwierdzam problem – w przypadku audiobooków muszę opracować lepsze rozwiązanie.
Od razu poprawię tytuły, bo widzę na LC tylko brak konsekwencji.
Proszę czekać na aktualizację.

EDIT. Opublikowałam poprawioną wersję 2.3.11.
Dla audiobooków wtyczka powinna teraz lepiej pobierać tytuły, autorów oraz okładkę.

[Hazily2513]

Cześć,

taki przypadek https://lubimyczytac.pl/ksiazka/5244...rocisz-do-mnie

przy pobieraniu danych tytuł jest rozjechany i brak daty publikacji, mimo, że na stronie LC wszystko wydaje się być w porządku

[BeckyEbook]

Zbadam ten przypadek.

EDIT: Głowa mała. Poprawiłam w wersji 2.3.12.
To nawet nie wina wtyczki, ale kod po stronie LC jest niezgodny ze specyfikacją JSON.
Nowa wersja wtyczki ogarnia ten popsuty kod.

[PiotrK]

Cześć. Próbując ściągnąć metadane dla "Pomnik Cesarzowej Achai - Tom I" Ziemiańskiego dostaje się tom IV. Lubimy czytać zwraca kilka pozycji, tom IV jest pierwszy, plugin stwierdza że tytuł się zgadza i nie sprawdza dalej.

[PiotrK]

Tak samo Cała prawda o planecie ksi: https://lubimyczytac.pl/szukaj/ksiaz...planecie%20Ksi.
Interesuje mnie druga pozycja - ta bez "drugiego spojrzenia". W Calibre pojazuje tylko 1.

[BeckyEbook]

Cóż… A nie szukasz przypadkiem masowo? Wtyczka przy szukaniu masowym bierze pierwszy wynik i już. To nie jest wada wtyczki, ale zasada działania pobierania hurtowego. Dla pojedynczego wyszukiwania mam wybór.

[PiotrK]

Nie. BTW masz starszego Calibre?

Reprodukcja:

1. Add books > add empty books
* author: Andrzej Ziemiański
* title: Pomnik Cesarzowej Achai - Tom I
2. Edit metadata > Download metadata

Log:

Running identify query with parameters: 
{'title': 'Pomnik Cesarzowej Achai - Tom I', 'authors': ['Andrzej Ziemiański'], 'identifiers': {}, 'timeout': 30} 
Using plugins: LubimyCzytac (2, 3, 12), Google (1, 1, 4), Amazon.com (1, 3, 19) 
The log from individual plugins is below 

****************************** LubimyCzytac (2, 3, 12) ****************************** 
Found 1 results 
Downloading from LubimyCzytac took 2.359604835510254 


--- 
Title               : Pomnik Cesarzowej Achai - Tom IV
Author(s)           : Andrzej Ziemiański
Publisher           : Fabryka Słów
Tags                : Fantasy; science fiction
Series              : Pomnik Cesarzowej Achai #4
Languages           : pol
Rating              : 2
Published           : 2014-11-28T13:00:00+00:00
Identifiers         : lubimyczytac:214735, isbn:9788379640232
Comments            : <p>Intryga, wojna, i niepowtarzalny świat wykreowany przez Andrzeja Ziemiańskiego powracają! Ponad pół miliona fanów cesarzowej Achai doczekało się siódmej odsłony kultowego uniwersum.   </p>
<p>Co czeka władcę?  </p>
<p>Zwycięstwo czy śmierć?<br />
Imperium musi trwać<br />
Imperium musi trwać   </p>
<p>Jak zwykle doskonały język i błyskotliwe pomysły. Ziemiański to prawdziwy fachowiec fantastyki.<br />
Jarosław Grzędowicz, autor "Pana Lodowego Ogrodu"   </p>
<p>Świetni bohaterowie. Dużo akcji. Zero nudy. Czego chcieć więcej od fantasy?<br />
Jakub Winiarski, "Nowa Fantastyka" </p><p id="strony">Książka ma 700 stron.</p> 
--- START ---

Title: Pomnik Cesarzowej Achai - Tom I
Authors: ['Andrzej Ziemiański']

Zapytanie: https://lubimyczytac.pl/szukaj/ksiazki?phrase=Ziemianski%20Pomnik%20Cesarzowej%20Achai%20-%20Tom%20I

Parsing result 1: <Element div at 0x123bc2e9d30> 
BECKY INFO: Nazwisko autora=['ziemianski']
BECKY INFO: Nazwisko orig autora=['ziemianski']
[1] Original title: pomnik cesarzowej achai tom i,
    Title: pomnik cesarzowej achai tom iv,
    Original authors: ['andrzej ziemianski'],
    Hidden authors: None,
    Authors:['andrzej ziemianski'],
    Book url: https://lubimyczytac.pl/ksiazka/214735/pomnik-cesarzowej-achai-tom-iv
[1] matches title and authors
BECKY: Starting workers for:
https://lubimyczytac.pl/ksiazka/214735/pomnik-cesarzowej-achai-tom-iv
BECKY: Przed workers
BECKY: Po workers
-------------------------------  BEDA PARSOWANE  -------------------------------
LubimyCzytac.pl   url: 'https://lubimyczytac.pl/ksiazka/214735/pomnik-cesarzowej-achai-tom-iv'
---------------------------------  PARSOWANIE  ---------------------------------
BECKY INFO: Found title (json): Pomnik Cesarzowej Achai - Tom IV
BECKY INFO: Found author (meta): Andrzej Ziemianski
BECKY INFO: Not found book series (Nie znaleziono serii wydawniczej)
BECKY INFO: Found series (znaleziono cykl): (Pomnik Cesarzowej Achai, 4)
BECKY INFO: Download ISBN number from LC: True
BECKY INFO: ISBN from meta: 9788379640232
BECKY INFO: Ocena w LC: 7.60
BECKY INFO: Found rating: 4
BECKY INFO: Liczba ocen: 2865
BECKY INFO: Found number of pages: 700
BECKY INFO: Found tytul_oryginalu: None
BECKY INFO: Found data_first: None
BECKY INFO: Not found first publication date
BECKY INFO: Found data_first_pl: 2014-11-28
BECKY INFO: Found first publication date in Poland: 2014-11-28 14:00:00
BECKY INFO: Istnieja inne wydania tej ksiazki
BECKY INFO: Tytuly innych wydan (wszystkie):
['Pomnik cesarzowej Achai. Tom IV Cz. 2', 'Pomnik cesarzowej Achai. Tom IV Cz. 1']
BECKY INFO: Linki do innych wydan:
BECKY INFO: Pelna lista innych wydan:
-----<p id="lista-innych-wydan">Lista innych wydan:<br><a href="https://lubimyczytac.pl/ksiazka/4913766/pomnik-cesarzowej-achai-tom-iv-cz-2">Pomnik cesarzowej Achai. Tom IV Cz. 2</a><br><a href="https://lubimyczytac.pl/ksiazka/4909136/pomnik-cesarzowej-achai-tom-iv-cz-1">Pomnik cesarzowej Achai. Tom IV Cz. 1</a></p>-----
BECKY INFO: Krotka lista innych wydan:
-----<p id="lista-innych-wydan-short">Tytuly innych wydan: pomnik-cesarzowej-achai-tom-iv-cz-2 * pomnik-cesarzowej-achai-tom-iv-cz-1</p>-----
BECKY INFO: Tags (genre): Fantasy, science fiction
BECKY INFO: No tags (keywords)
BECKY INFO: Do pola Tags/Etykiety dopisano kategorie
BECKY INFO: Do komentarza dolaczono liczbe stron
BECKY INFO: Found publication date: 2014-11-28 14:00:00
BECKY INFO: Found inLanguage: polski
BECKY INFO: Found cover (json): https://s.lubimyczytac.pl/upload/books/214000/214735/321018-352x500.jpg 

******************************************************************************** 

****************************** Google (1, 1, 4) ****************************** 
Found 0 results 
Downloading from Google took 2.4036924839019775 
Making query: https://books.google.com/books/feeds/volumes?q=intitle%3APomnik+intitle%3ACesarzowej+intitle%3AAchai+intitle%3ATom+intitle%3AI%2Binauthor%3AAndrzej+inauthor%3AZiemia%C5%84ski&max-results=20&start-index=1&min-viewability=none
No results found, doing a web search instead
Making query: https://www.google.com/search?q=Pomnik+Cesarzowej+Achai+Tom+I+Andrzej+Ziemia%C5%84ski+site%3Abooks.google.com
Failed to find any results on results page, with title: Pomnik Cesarzowej Achai Tom I Andrzej Ziemiański site:books.google.com - Szukaj w Google 

******************************************************************************** 

****************************** Amazon.com (1, 3, 19) ****************************** 
Found 0 results 
Downloading from Amazon.com took 3.3589494228363037 
User-agent: Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/146.0.0.0 Safari/537.36 Edg/146.0.0.0
Server: auto
Making google query: https://www.google.com/search?q=Pomnik+Cesarzowej+Achai+Tom+I+Andrzej+Ziemia%C5%84ski+site%3Awww.amazon.com
Failed to find any results on results page, with title: Pomnik Cesarzowej Achai Tom I Andrzej Ziemiański site:www.amazon.com - Szukaj w Google
No search engine results for terms: Pomnik Cesarzowej Achai Tom I Andrzej Ziemiański
Trying the bing search engine instead
Making bing query: https://www.bing.com/search?q=Pomnik+Cesarzowej+Achai+Tom+I+Andrzej+Ziemia%C5%84ski+site%3Awww.amazon.com
Resolved bing wrapped URL: https://www.bing.com/ck/a?!&&p=375847d6e6b3f8a542b783ffcb175a5259c32b7539ef42dac5797ee8c49aca78JmltdHM9MTc5MDAzNTIwMA&ptn=3&ver=2&hsh=4&fclid=22d4e1c7-383c-636f-22e6-f61b398d62d3&u=a1aHR0cHM6Ly9wbC53aWtpcGVkaWEub3JnL3dpa2kvUG9tbmlr&ntb=1 to https://pl.wikipedia.org/wiki/Pomnik
Resolved bing wrapped URL: https://www.bing.com/ck/a?!&&p=df7d8e2b9b6342f689376531df4e71c22a6e33d965f130a01a49e02333a5a66bJmltdHM9MTc5MDAzNTIwMA&ptn=3&ver=2&hsh=4&fclid=22d4e1c7-383c-636f-22e6-f61b398d62d3&u=a1aHR0cHM6Ly9hbGxlZ3JvLnBsL2xpc3Rpbmc_c3RyaW5nPXBvbW5pa2klMjBuYWdyb2JraQ&ntb=1 to https://allegro.pl/listing?string=pomniki%20nagrobki
Resolved bing wrapped URL: https://www.bing.com/ck/a?!&&p=e8de446957a3cd00ce017e358513a23244fb7aef9203de1ced3d46d4bfece494JmltdHM9MTc5MDAzNTIwMA&ptn=3&ver=2&hsh=4&fclid=22d4e1c7-383c-636f-22e6-f61b398d62d3&u=a1aHR0cHM6Ly9uYWdyb2JraS1wZy5wbC9wb21uaWtpLWdyYW5pdG93ZS13em9yeS1jZW55LWktd3lib3Itb2Rwb3dpZWRuaWVnby1uYWdyb2JrYS8&ntb=1 to https://nagrobki-pg.pl/pomniki-granitowe-wzory-ceny-i-wybor-odpowiedniego-nagrobka/
Resolved bing wrapped URL: https://www.bing.com/ck/a?!&&p=94c7168197ac3550bd01bb361d6cdebbdd4a850fc6ea79e7226b9654e44d7f73JmltdHM9MTc5MDAzNTIwMA&ptn=3&ver=2&hsh=4&fclid=22d4e1c7-383c-636f-22e6-f61b398d62d3&u=a1aHR0cHM6Ly9hbGxlZ3JvLnBsL2xpc3Rpbmc_c3RyaW5nPXBvbW5paw&ntb=1 to https://allegro.pl/listing?string=pomnik
Resolved bing wrapped URL: https://www.bing.com/ck/a?!&&p=0f7b5c9e5a128afdbe0c091bea57c971a325f2acf4539f56a03b694bf71bf3c2JmltdHM9MTc5MDAzNTIwMA&ptn=3&ver=2&hsh=4&fclid=22d4e1c7-383c-636f-22e6-f61b398d62d3&u=a1aHR0cHM6Ly93d3cubmFncm9ia2luYWNtZW50YXJ6LnBsL3BvbW5pa2ktbmEtY21lbnRhcnotd3pvcnktY2VueQ&ntb=1 to https://www.nagrobkinacmentarz.pl/pomniki-na-cmentarz-wzory-ceny
Resolved bing wrapped URL: https://www.bing.com/ck/a?!&&p=8a90575358abc64dabd77017e96f8b9c9c1b65d32d2d3eae378e0b0a51cd2997JmltdHM9MTc5MDAzNTIwMA&ptn=3&ver=2&hsh=4&fclid=22d4e1c7-383c-636f-22e6-f61b398d62d3&u=a1aHR0cHM6Ly9uYWdyb2JraS1wZy5wbC9pbGUta29zenR1amUtcG9tbmlrLW5hLWNtZW50YXJ6dS1wZWxueS1wcnplZ2xhZC1jZW4taS1wcm9jZXN1LW1vbnRhenUv&ntb=1 to https://nagrobki-pg.pl/ile-kosztuje-pomnik-na-cmentarzu-pelny-przeglad-cen-i-procesu-montazu/
Resolved bing wrapped URL: https://www.bing.com/ck/a?!&&p=76f74b28ba60982b8cac99d6be7f70188b70f23b2269eedb31ad07cae96a92ddJmltdHM9MTc5MDAzNTIwMA&ptn=3&ver=2&hsh=4&fclid=22d4e1c7-383c-636f-22e6-f61b398d62d3&u=a1aHR0cHM6Ly9zanAucHduLnBsL3Nsb3duaWtpL3BvbW5paw&ntb=1 to https://sjp.pwn.pl/slowniki/pomnik
Resolved bing wrapped URL: https://www.bing.com/ck/a?!&&p=d3b7a8d04a2e58b169e851dc92ac44636bd118b4f9718fda009927d853e94556JmltdHM9MTc5MDAzNTIwMA&ptn=3&ver=2&hsh=4&fclid=22d4e1c7-383c-636f-22e6-f61b398d62d3&u=a1aHR0cHM6Ly9wbC53aWtpcGVkaWEub3JnL3dpa2kvUG9tbmlrX2hpc3Rvcmlp&ntb=1 to https://pl.wikipedia.org/wiki/Pomnik_historii
Resolved bing wrapped URL: https://www.bing.com/ck/a?!&&p=1e32ca942f273a046183e4dadbb409ec5a4dfc54a6656992ef90990d6d22e48aJmltdHM9MTc5MDAzNTIwMA&ptn=3&ver=2&hsh=4&fclid=22d4e1c7-383c-636f-22e6-f61b398d62d3&u=a1aHR0cHM6Ly9zdHlsb3dla2FtaWVuaWUuY29tL2thdGVnb3JpYS9uYWdyb2JraS8&ntb=1 to https://stylowekamienie.com/kategoria/nagrobki/
Resolved bing wrapped URL: https://www.bing.com/ck/a?!&&p=01eef6e21f99cde8f2b8ca1d91d0b258aaebd480e61a950562edd00f8ee757a4JmltdHM9MTc5MDAzNTIwMA&ptn=3&ver=2&hsh=4&fclid=22d4e1c7-383c-636f-22e6-f61b398d62d3&u=a1aHR0cHM6Ly9zanAucHduLnBsL3NqcC9wb21uaWs7MjUwNDMxNi5odG1s&ntb=1 to https://sjp.pwn.pl/sjp/pomnik;2504316.html
Skipping non-book result: Result(url='https://pl.wikipedia.org/wiki/Pomnik', title='Pomnik – Wikipedia, wolna encyklopedia', cached_url=None)
Skipping non-book result: Result(url='https://allegro.pl/listing?string=pomniki%20nagrobki', title='Pomniki nagrobki 2026/2027 - największy wybór pomników | Allegro', cached_url=None)
Skipping non-book result: Result(url='https://nagrobki-pg.pl/pomniki-granitowe-wzory-ceny-i-wybor-odpowiedniego-nagrobka/', title='Pomniki na cmentarz wzory ceny porady i rekomendacje', cached_url=None)
Skipping non-book result: Result(url='https://allegro.pl/listing?string=pomnik', title='Pomnik - Niska cena na Allegro', cached_url=None)
Skipping non-book result: Result(url='https://www.nagrobkinacmentarz.pl/pomniki-na-cmentarz-wzory-ceny', title='Pomniki na cmentarz wzory ceny - Nagrobki granitowe KRES', cached_url=None)
Skipping non-book result: Result(url='https://nagrobki-pg.pl/ile-kosztuje-pomnik-na-cmentarzu-pelny-przeglad-cen-i-procesu-montazu/', title='Ile kosztuje pomnik na cmentarzu: wszystko, co musisz wiedzieć ...', cached_url=None)
Skipping non-book result: Result(url='https://sjp.pwn.pl/slowniki/pomnik', title='pomnik - co znaczy? | definicja słowa | Słownik PWN', cached_url=None)
Skipping non-book result: Result(url='https://pl.wikipedia.org/wiki/Pomnik_historii', title='Pomnik historii – Wikipedia, wolna encyklopedia', cached_url=None)
Skipping non-book result: Result(url='https://stylowekamienie.com/kategoria/nagrobki/', title='Nagrobki z kamienia naturalnego skałkowe, pomnik kamienny, kamień ...', cached_url=None)
Skipping non-book result: Result(url='https://sjp.pwn.pl/sjp/pomnik;2504316.html', title='pomnik - znaczenie | definicja | Słownik PWN', cached_url=None)
No search engine results for terms: Pomnik Cesarzowej Achai Tom I Andrzej Ziemiański
No matches found with query: ['Pomnik', 'Cesarzowej', 'Achai', 'Tom', 'I', 'Andrzej', 'Ziemiański'] 

******************************************************************************** 
The identify phase took 3.44 seconds 
The longest time (3.358949) was taken by: Amazon.com 
Merging results from different sources 
We have 1 merged results, merging took: 0.00 seconds

Calibre 9.15
LubimyCzytac 2.3.12

[PiotrK]

Nie. Odpowiedziałem ze szczegółami ale czeka na moderację z jakiegoś powodu.

[PiotrK]

Zerknąłem do kodu. Wygląda na to, że wybiera 1 element gdy włączone jest "fast match":

            if (self.match(title,orig_title) and self.contains(authors,orig_authors)):
                if fast_match:
                    del matches[:]  # usuwamy cala liste
                    matches.insert(0, book_url)
                    log.info('[%s] matches title and authors' % (i))
                    break

W konfiguracji plugina rzeczywiście mam włączone "Fast matching". Opis tej opcji mówi "the first one found that matches the title and author".

Niemniej problemem moim zdaniem nie jest fast matching, tylko to, że uważa że tytuł pasuje.

Patrząc na `self.match`:

    def match(self, item1, item2):
        if not item2:
            return False
        if isinstance(item1, unicode) and isinstance(item2, unicode):
            return item1 == item2 or item1 in item2 or item2 in item1

to problemem jest część "item1 in item2 or item2 in item1" - sprawdza, czy te argumenty zawierają się w sobie. W naszym przypadku czy szukany tytuł zawiera się w zwracanym. Chyba nie o to chodziło? Bo jeśli szukam tytułu "Blah blah I" to nie powinien aceptować "Blah blah IV".

BTW może warto rozważyć umieszczenie kodu na githubie albo podobnym repo?

[PiotrK]

BTW 2: ściąganie metadanych podmienia ISBN. Z tego co widzę z ISBN dla ebooków na ISBM dla książek papierowych. Znalazłem opcję w konfiguracji plugina która to kontroluje, ale może domyślnie powinna być wyłączona (nie podmienianie ISBN)? Albo jakoś inaczej to zrobić, bo na razie mi "popsuł" ISBNy Wygląda mi na to, że LC ma ISBNy z książek papierowych...

[BeckyEbook]

@PiotrK: Masz rację, przebudowałam funkcję match i powinno być dużo lepiej. Przez lata modyfikowałam i upraszczałam ją wiele razy, aby uwzględniała różne głupie dopiski do tytułów, stąd to "zawieranie", ale oba Twoje przykłady pokazały, że nie można tego tak zostawić.

Co do domyślnie włączonej podmiany numeru ISBN – również jestem za.

Opublikowałam wersję 2.3.13.