[Metadata Source Plugin] LubimyCzytac [PL] UPDATED

[MartinSnow77]

U mnie to samo, też korzystam z t-Mobile, ale zmiana dostawcy internetu to nie rozwiązanie, tym bardziej że na poprzednich wersjach działało. Można gdzieś pobrać wcześniejszą wersje wtyczki? jakiś github?.

PHP Code:

****************************** LubimyCzytac (2, 2, 6) ****************************** 
Found 0 results 
Downloading from LubimyCzytac took 1.8614277839660645 
--- START ---

Title: Promyczek
Authors: ['Kim Holden']

Zapytanie: [url]https://lubimyczytac.pl/szukaj/ksiazki?phrase=Holden%20Promyczek[/url]

Parsing result 1: <Element div at 0x7f50cce97180> 
BECKY INFO: Nazwisko autora=['holden']
BECKY INFO: Nazwisko orig autora=['holden']
[1] Original title: promyczek,
    Title: promyczek,
    Original authors: ['kim holden'],
    Hidden authors: None,
    Authors:['kim holden'],
    Book url: [url]https://lubimyczytac.pl/ksiazka/298876/promyczek[/url]
[1] matches title and authors
-------------------------------  BEDA PARSOWANE  -------------------------------
LubimyCzytac.pl   url: 'https://lubimyczytac.pl/ksiazka/298876/promyczek'
Failed to make details query: 'https://lubimyczytac.pl/ksiazka/298876/promyczek'
Traceback (most recent call last):
  File "calibre_plugins.lubimyczytac.worker", line 90, in get_details
    raw = self.browser.open_novisit(self.url, timeout=self.timeout).read().strip()
  File "mechanize/_mechanize.py", line 241, in open_novisit
  File "mechanize/_mechanize.py", line 313, in _mech_open
mechanize._response.get_seek_wrapper_class.<locals>.httperror_seek_wrapper: HTTP Error 503: Service Temporarily Unavailable 


[BeckyEbook]

Cieszę się, że udało się rozwiązać problem, bo z cloudflare trudno wygrać. Podobny przypadek wystąpił z inną wtyczką do pobierania metadanych z FanFiction.net, tutaj link, który to trochę naświetla: https://github.com/JimmXinu/FanFicFa...-fanfictionnet

Jeśli więc problem z cloudflare będzie występował u większej liczby osób – czarno to widzę

[BeckyEbook]

@MartinSnow77: Powtórzę jeszcze raz – to nie jest wina wtyczki, ale dodatkowego zabezpieczenia serwisu LC przed atakami DDos. Spróbuję skorzystać z cloudscrapera, ale to sprawa przyszłości i nie pomoże w każdym przypadku.

Starsza wersja wtyczki w niczym więc nie pomoże.

[superpawko]

Na wstępie bardzo podziękuje za tak udaną wtyczkę do calibre.

Podczas wyszukiwania masowej dla metadanych często nie znajduje mi książek, ale gdy zrobie to dla każdej książki oddzielnie to wszystko jest dobrze.

Przykład: (wynik 1 książka)
Cecily von Ziegesar - Nikt nie robi tego lepiej

Przykład 2: ( wynik 2 książki , z czego 1 jest niewłaściwa, zły autor)
Cecily von Ziegesar - Tylko ciebie chcę

Przykład 3: ( wynik 1 książka)
Zygmunt Zeydler-Zborowski - Nawet umarli kłamią

Dla autora z przykładu 3, jest 0 wyników w wyszukiwaniu masowym.

Sugestia:
Może warto było by wrzucić nazwiska i imiona w listę i sprawdzać ile z nich znajduję się w liście imion i nazwisk w LC? I wyżej oceniać takie ksiązki na sugerowanej liście wyszukiwań.

Sugestia 2:
Moje umiejętności kodowania są zbyt niskie abym połapał się w tak długim kodzie wtyczki. Czy nie warto było by dorzucić wynik z biblioteki : difflib , funkcji ratio dla tytułów. I pokazywać ten współczynik zamieniony na procent dopasowania w interfejsie Calibre, jeśli oczywiście jest to możliwe. (np. w "Przejrzyj pobrane metadane").

Można by było również umieścić taki współczynik w opisie ksążki i przeniesienie go dzięki METAmover do oddzielnej kolumny, co pozwoliło by na szybkie poprawienie niepewnych dopasowań.

Wiem że dużo wymagam, są to tylko sugestie

Z góry dziękuje i pozdrawiam,
Paweł

[BeckyEbook]

Dziękuję za sugestie i konkretne przykłady.

Kilka lat temu planowałam dodać coś w stylu dodatkowego „współczynnika dopasowania”, ale wtedy okazało się, że nie potrafiłam wygrać z nadrzędnym dopasowaniem wbudowanym w Calibre, który nadpisywał moje wyniki.
Jeśli tylko znajdę wolną chwilę, jeszcze raz pochylę się nad tym.

Osobiście zawsze pobieram metadane pojedynczo, zaraz po zakupie książki i dlatego mogłam mniej testować masowe pobieranie.

Becky

[superpawko]

Dziękuje za szybką odpowiedz. Ja używam wtyczki, do pobrania metadanych dla audioboków, które posidam. Mam ich kilkanaście tys.... Mam problemy z oczami i ciężko mi każdy tytuł sprawdzać czy pasuje Tak robie obecnie i zajmuję to 300-400 na godzinę pracy.

Jak się uda coś poprawić to super, będe wdzięczny.

Tutaj kod, który może się przydać. ( Znalazłem w internetach + moje wydziwnienia)

import difflib
red = lambda text: f"\033[38;2;255;0;0m{text}\033[38;2;255;255;255m"
green = lambda text: f"\033[38;2;0;255;0m{text}\033[38;2;255;255;255m"
blue = lambda text: f"\033[38;2;0;0;255m{text}\033[38;2;255;255;255m"
white = lambda text: f"\033[38;2;255;255;255m{text}\033[38;2;255;255;255m"

def get_edits_string(old, new):
    result = ""
    codes = difflib.SequenceMatcher(a=old, b=new).get_opcodes()
    for code in codes:
        if code[0] == "equal":
            result += white(old[code[1]:code[2]])
        elif code[0] == "delete":
            result += red(old[code[1]:code[2]])
        elif code[0] == "insert":
            result += green(new[code[3]:code[4]])
        elif code[0] == "replace":
            result += (red(old[code[1]:code[2]]) + green(new[code[3]:code[4]]))
    return result


str1 = "Sanderson Brandon - Archiwum Burzowego Światła Tom 03 - Dawca Przysięgi"
str2 = "Sanderson Brandon - Archiwum Burzowego Światła Tom 03 - Dawca Przysięgi"


from difflib import SequenceMatcher
#print(str1 + " " + str2)



str1 = "Sanderson Brandon - Archiwum Burzowego Światła Tom 03 - Dawca Przysięgi"
str2 = "Brandon Sanderson - Archiwum Burzowego Światła Tom 04 - Dawca Przysięgi"



#str1 = "Kowalski Cezary & Borek Mateusz - Krótka piłka. Bez dyplomacji o reprezentacji, mistrzostwach, Lewandowskim"
#str2 = "Kowalski Cezary - Krótka piłka. Bez dyplomacji"
m = SequenceMatcher(None, str1, str2)
m.ratio()
print(str1)
print(str2)
print(get_edits_string(str1, str2))
print("m ratio: " + str(m.ratio()))

tutaj wynik tego kodu



Wiem że to nieładnie, ale czy jest szansa aby dostać nową ulepszoną wersje wtyczki przed świętami. Wtedy wiedziałbym aby zaniechać obecnej mozolnej pracy i poczekać na nową wtyczkę



PS: w masowym szukaniu szukana fraza:
tytuł = Medicus
autor = Noah Gordon

co zgadza sie idealnie z https://lubimyczytac.pl/ksiazka/4890957/medicus

zamiast tego pobiera: https://lubimyczytac.pl/ksiazka/1153...czyni-medicusa

okno pobranych metadynch


Moje ustawienia dla wtyczki


Pozdrawiam,
Paweł

[BeckyEbook]

Poczytam to na spokojnie.

Zbyt duże obrazki psują layout forum MR, więc lepiej ich nie wstawiać jako [IMG], ale dodać jako załączniki. Naciśnij edycję postu, a potem przycisk „Go Advanced” i tam znajdziesz przycisk „Manage Attachments”, który służy właśnie do tego celu.

[BeckyEbook]

Wypuściłam wersję 2.2.7.
Na podstawie Twoich przykładów zmieniłam domyślne funkcje, więc teraz powinni być poprawnie wyszukiwani autorzy z nazwiskami złożonymi oraz tacy z „von” lub „van” przed nazwiskiem.
Nadpisałam także funkcję, która określa ostateczną kolejność na liście ze znalezionymi książkami. Ma to szczególne znaczenie w przypadku wyszukiwania masowego, gdy brany jest pod uwagę właśnie pierwszy z listy. Mam nadzieję, że będzie lepiej, choć zapewne nie idealnie.

Na razie proszę o przetestowanie wersji 2.2.7 i zgłaszanie ewentualnych nieprawidłości.

[yanekyan]

Witam,
Nie wiem czy tylko u mnie tak się dzieje, ale jeśli pole autor jest puste, wtyczka 2.2.7 nie znajduje książki. Wersja 2.2.6 znajdowała.
Pozdrawiam

[BeckyEbook]

O! Sprawdzę to.

EDIT: Sprawdziłam i poprawiłam. Pobierz wersję 2.2.8.

[yanekyan]

Pobrałem 2.2.8. Sprawdziłem, działa. Dzięki

[greenbutton]

Witam,
chciałem zgłosić mały błąd we wtyczce polegający na błędnym uzupełnianiu daty publikacji książki, ale dotyczy to tej daty z rubryki "Opublikowano" progamu Calibre, i co ciekawe: o ile rok wydania jest prawidło zapisany w w/w rubryce, to błąd dotoczy miesiąca wydania książki (i po najechaniu kursorem myszy także dnia) gdyż zawsze jest to styczeń roku w którym wydana została książka (np. sty 2019 lub np. sty 2021).

Data w opisie pod okładką książki jest prawidłowo pobrana z portalu LC. Podobnie jak data np. pierwszego wydania polskojęzycznego. Tutaj wszystko jest w porządku. Błąd dotyczy tylko skróconego zapisu daty (np. sty 2020) w ostatniej rubryce tabeli "Opublikowano" w programie Calibre.

Błąd ten widoczny jest także w oknie "Edytuj metadane", w pasku "Opublikowano", tam również zawsze jest styczeń roku w którym została wydana książka.

pozdrawiam, i dziękuję za wkład pracy w świetną wtyczkę

[BeckyEbook]

Nie potwierdzam takiego błędu. Specjalnie pobrałam metadane dla 10 różnych książek i wszędzie było dobrze.

Być może oprócz wtyczki LC masz włączone także inne źródła metadanych?

Proszę podać konkretny tytuł, na którym mogę zobaczyć błędne działanie wtyczki.

[greenbutton]

Przykłady błędnego uzupełniania daty wydania tytułu (tak naprawdę jest ich ogrom na ok. 30-40 ostatnio przetestowanych tytułów):
1. Leszek Błażyński - Pięści anioła. Walka o złoto Zbigniewa Pietrzykowskiego | ISBN: 9788380919211 | ID lubimyczytac: 4931546 | Data wydania: 30 czerwiec 2020 {wyświetla: sty 2020}
2. Bartosz T. Wieliński - Wojna lekarzy Hitlera | ISBN: 9788326836565 | ID lubimyczytac: 4963921 | Data wydania: 14 kwietnia 2021 {wyświetla: sty 2021}
3. Beata Szady - Wieczny początek. Warmia i Mazury |ISBN: 9788380499843 | ID lubimyczytac: 4911025 | Data wydania: 4 marca 2020 {wyświetla: sty 2020}


właśnie zauważyłem coś ciekawego, a mianowicie w tytule:
Olga Szmidt - Kownacka | ISBN: 9788380494053 | ID lubimyczytac: 9788380494053
dodanym do biblioteki 6 września 2021, a więc dwie a może i trzy wersje wtyczki LC wstecz też wystąpił błąd wyświetlania daty wydania zamiast "lis 2016" jest "sty 2016",
więc to nie jest kwestia daty wydania wtyczki, bowiem w kolejnych dodanych do biblioteki tytułach ten błąd praktycznie nie występuje (niemalże normą stał się dopiero ok. 10 stycznia br. )


Tytuły gdzie metadane dot. daty wydania są wyświetlane poprawnie (zaznaczam to są wyjątki na ok. 30-40 przetestowanych tytułów):
a) Anna Wylegała - Był dwór, nie ma dworu | ISBN: 9788381913539 | ID lubimyczytac: 4985360 | Data wydania: 10 październik 2021 {wyswietla: paź 2021}
b) Hanna Faryna-Paszkiewicz - Kobusz. Jan Kobuszewski z drugiej strony sceny | ISBN: 9788327719577 | ID lubimyczytac: 4981839 | Data wydania: 15 września 2021 {wyświetla: wrz 2021}


Warto nadmienić, że nie mam zainstalowanych innych wtyczek. Jedno co może się "gryźć" to fakt, że używam calibre 5.x na Windows 7, a jak wiadomo jest to trochę partyzantka, bo teoretycznie nie powinno się go używać na tak starym systemie... tylko dlaczego jedne tytuły są ok, a inne nie Teoretycznie wszystko powinno być błędne. A może to raczej wina lubimyczytac.pl

[BeckyEbook]

Hmmm… U mnie działa…

Naprawdę chciałabym wyłapać ten błąd. Może w dzienniku/logu jest coś, co mogłoby pomóc w namierzeniu problemu.

EDIT: Specjalnie na potrzeby testu dorwałam komputer z systemem Windows 7, zainstalowałam Calibre 5.34 i potwierdzam, że wtyczka działa poprawnie, pobiera prawidłowe daty dla każdej przetestowanej pozycji.