[Metadata Source Plugin] babelio_db

[lrpirlet]

[Metadata Source Plugin] babelio_db

This plugin gets the metadata for books from the babelio site.

The Babelio website
The address to access Babelio is <https://www.babelio.com/>.

The Babelio homepage says in french: "Babelio est un réseau social dédié aux livres et aux lecteurs. Il permet de créer et d’organiser sa bibliothèque en ligne, d’obtenir des informations sur des oeuvres, de partager et d’échanger ses goûts et impressions littéraires avec d’autres lecteurs."

This translate to: "Babelio is a social network dedicated to books and readers. It allows you to create and organise your online library, get information about works, to share and exchange literary tastes and impressions with other readers."

There is no need to log in to obtain information, (and that avoids the need of the management of an account in the plugin)

Main Features

• Can retrieve title, author, comments, publisher, publication date, series and tags.
• Starting with test version 0.8.5, oct 2023, can select tags based on pertinence and colour of the tags
• Via configuration, adds, or not, a title and the link in the comments (so that this link may be followed from within a catalog with this book)
• Via configuration, fetches, or not, the cover related to the volume (same as VdF plugin)
• Via configuration, the content of the log may be modulated
• Minimum requirement calibre_version = (6, 3, 0)

I developed this plugin based on the existing VdF plugin to solve a series of limitations that I encounter:

1. There is no reference (id) that allows to find the URL, nor a way to add an id from the url due to the lack of the following two routines:
   • get_book_url: used by calibre to convert the identifier to a URL...
   • id_from_url : takes an URL and extracts the identifier details...
2. As soon as the Babelio content is retrieved, ALL the information is translated into utf8, ALL outputs (logs...) and inputs (what is read on the site...) are in utf8... the multiple conversions make the code confusing to me.
3. Provides only one match even if two titles answer the search query
4. The compatibility with python 2.x seems obsolete and confusing to me.
5. Identify() should be invoked with NAME_ID then ISBN and if it doesn't work with title + author... title only.
6. A config.py is OK but I prefer to use the built-in config, quite sufficient.
7. Babelio gives in the title the name of the series and its volume number (order in the series), I'll try to introduce it (and check that all my series meet it...)
8. I much prefer comments in HTML and beautifulsoup (used in calibre by the way)
9. I hate this search and substitution language (regular expression) probably because I don't understand almost anything... well, I only do a little bit!
10. Last but not least, the plugin was tuned to avoid DOS detection by the babelio site (I did download 250 metadata titles in 5 queued chunks of 50 without being banned for one week... )

I couldn't find any trace of VdF... His work, under GPL V3 license can be modified. I would have liked to contact him before publishing my work, based on his, on mobileread...

Note: babelio being a site with mostly french books for french talking poeple, I took the liberty to write the interface in french... (well I may have left some comments in french too... luckily, there is no french looking instructions in python )

Installation Notes:

• Download the attached zip file and install the plugin as described in the Introduction to plugins thread.
• Alternatively, copy the zip file, unzip it in a dedicated folder, get the needed privileges and execute the runit.bat (linux people can read the file and sudo the content)
• Note that this is not a GUI plugin so it is not intended/cannot be added to context menus/toolbars etc.
• configure the plugin: it comes with verbosity=3, no cover and no pretty title...
• I would advise to read the doc file in the doc folder in the zip file... (if not to get some presentation, at least to make this part of my work useful... )

sources
babelio_db is visible on github https://github.com/lrpirlet/cal-babelio_db

Recommendations:
In order to give the babelio_db plugin time enough for the worse while not getting banned, you need to push the timeout to 45 seconds in the plugins setup (time in second after first match)

last comment:
This work is open source... I had fun writing it, if you think this work should be paid, choose a charity and give them, a little, with a mention like "Thanks to Louis Richard" or "Merci à Louis Richard" or something similar in your language. This will enhance my (unpublished) reputation...

What charity? My worst nightmares involve fire, so I'm giving for deeply burned children... My wife is afraid of cancer so she gives to cancer research, we both feel bad about people starving so we give to the "resto du Coeur"...

Unfortunately, there is always someone who needs help and will not be able to pay back (except perhaps with a thought for the stranger who helped them). So there is a lot of choices.

En Français

Spoiler:

Ce plugin récupère les métadonnées des livres depuis le site babelio.

Le site Babelio
L'adresse pour accéder à Babelio est <https://www.babelio.com/>.

La page d'accueil de Babelio dit: "Babelio est un réseau social dédié aux livres et aux lecteurs. Il permet de créer et d'organiser sa bibliothèque en ligne, d'obtenir des informations sur des œuvres, de partager et d'échanger ses goûts et impressions littéraires avec d'autres lecteurs."

Il n'est pas nécessaire de se connecter pour obtenir des informations, (et cela évite la nécessité de la gestion d'un compte dans le plugin).

Caractéristiques principales

• Peut récupérer le titre, l'auteur, les commentaires, l'éditeur, la date de publication, la série et les tags.
• A partir de la version de test 0.8.5, oct 2023, possibilité de sélectionner des étiquettes en fonction de leur pertinence et de leur couleur.
• Via configuration, ajoute ou non un titre et le lien dans les commentaires (pour que ce lien puisse être suivi depuis un catalogue avec ce livre).
• Via configuration, va chercher ou non la couverture liée au volume (comme le plugin VdF).
• Via configuration, le contenu du log peut être modulé.
• Besoin de minimum_calibre_version = (6, 3, 0)

J'ai développé ce plugin basé sur le plugin de VdF pour résoudre une série de limitations que je rencontre :

1. Il n'y a pas de référence (id) qui permet de retrouver l'url, ni de moyen d'ajouter un id à partir de l'url du fait de l'absence des deux routines suivantes :
   • get_book_url : utilisée par calibre pour convertir l'identifiant en une URL....
   • id_from_url : prend une URL et extrait les détails de l'identifiant...
2. Dès que le contenu Babelio est récupéré, TOUTES les informations sont traduites en utf8, TOUTES les sorties (logs...) et les entrées (ce qui est lu sur le site...) sont en utf8... les multiples conversions rendent le code confus pour moi.
3. Ne fournit qu'une seule correspondance même si deux titres répondent à la requête de recherche.
4. La compatibilité avec python 2.x me semble obsolète et confuse.
5. Identify() devrait être invoqué avec NAME_ID puis ISBN et si ça ne marche pas avec titre + auteur... titre seulement.
6. Un config.py est OK mais je préfère utiliser la config intégrée, bien suffisante.
7. Babelio donne dans le titre le nom de la série et son numéro de volume (ordre dans la série), je vais essayer de l'introduire (et vérifier que toutes mes séries y répondent...).
8. Je préfère de loin les commentaires en HTML et beautifulsoup (utilisé dans calibre d'ailleurs)
9. Je déteste ce langage de recherche et de substitution (expression régulière) probablement parce que je n'y comprends quasi rien... enfin, seulement un tout p'tit peu !
10. Enfin, le plugin a été réglé pour éviter la détection de déni de service par le site babelio (j'ai téléchargé 250 titres de métadonnées en 5 tranches de 50 sans être banni pendant une semaine... ).

Je n'ai trouvé aucune trace de VdF... Son travail, sous licence GPL V3 peut être modifié. J'aurais aimé le contacter avant de publier mon travail, basé sur le sien, sur mobileread...

Notes d'installation :

• Téléchargez le fichier zip ci-joint et installez le plugin comme décrit dans le fil de discussion Introduction aux plugins.
• Alternativement, copiez le fichier zip, décompressez-le dans un dossier dédié, obtenez les privilèges nécessaires et exécutez le runit.bat (les personnes sous linux peuvent lire le fichier et sudo le contenu).
• Notez que ce n'est pas un plugin GUI donc il n'est pas prévu/ne peut pas être ajouté aux menus contextuels/barres d'outils etc.
• configurer le plugin : il est livré avec verbosité=3, sans couverture et sans joli titre...
• Je vous conseillerais de lire le fichier doc dans le dossier doc du fichier zip... (si ce n'est pour obtenir une présentation, au moins pour rendre cette partie de mon travail utile... )

sources
babelio_db est visible sur github https://github.com/lrpirlet/cal-babelio_db

Recommandations
Afin de donner au plugin babelio_db suffisamment de temps pour faire le pire sans être banni, vous devez pousser le timeout à 45 secondes dans la configuration du plugin (temps en seconde après le premier match).

dernier commentaire :
Ce travail est open source... Je me suis amusé à l'écrire, si vous pensez que ce travail devrait être rémunéré, choisissez une association caritative et donnez leur, un peu, avec une mention comme "Thanks to Louis Richard" ou "Merci à Louis Richard" ou quelque chose de similaire dans votre langue. Cela améliorera ma réputation (non publiée)...

Quelle charité ? Mes pires cauchemars impliquent le feu, donc je donne pour les enfants profondément brûlés... Ma femme a peur du cancer donc elle donne pour la recherche sur le cancer, nous nous sentons tous les deux mal à l'idée que des gens meurent de faim donc nous donnons pour le "resto du Coeur"...

Malheureusement, il y a toujours quelqu'un qui a besoin d'aide et qui ne sera pas en mesure de rembourser (sauf peut-être avec une pensée pour l'étranger qui l'a aidé). Il y a donc beaucoup de choix.

Version History

Spoiler:

version 0.5.0 18-Oct-2022
version 0.5.1 Feb-2023

• corrects occurrences of misspelled isnumeric instead of isnumeric()
• improve series_seq algorithm

version 0.6.0 25-Apr-2023

• new series detection algorithm
• new rate_limit algorithm to avoid ban

version 0.6.1 16-mai-2023

• correct a bug in series name and series index when character "-" is present in <title> here is the unexpected - character<title\>

Version 0.7.0 30-mai-2023

• Introduce a new optional title: "Popularité" under what is displayed the number of rating and the rating mean (with 2 decimals).

Version 0.8.0 20-Jun-2023

• correct a bug when serie is terminated by the character 's'.

Version 0.8.3 15-Jul-2023

• correct a crash when Babelio content not correctly 'aligned'. (v 0.8.2)
• correct a condition check, enabling better optimization

Version 0.8.4 Oct-2023

• Babelio.com changed the way to access the search page and the first page displayed, (HTML post instead of HTML GET); adapted babelio_db
• Reduced maximum title iteration to 10 while relying on Babelio.com to find best match on author-title.

Version 0.8.5 Oct-2023

• test version to extract most significatif tags, each in it's "colour"

Version 0.8.6 Nov-2023

• added an algorithm to stop further babelio.com access when a perfect match exist on title and author

The zip
Sorry, because of a bug report, I was made aware that the version 0.8.6 had never been uploaded here... done now.

[lrpirlet]

A new version under test, that should work with the changes on Babelio.com.

Babelio_db 087 monitors the returned information from Babelio.com.

Added a kind of "protection" against bad results from babelio.com...

If Babelio.com returns a "title-author" different from the "requested title-author", the search will be abandoned...
If you download a single piece of metadata, you will not get ANY suggestions.
In the case of a massive upload of metadata, this selection will be labelled as having failed...

Wait a while and then try again. Babelio.com will probably give you a correct answer if it has forgotten you.

If Babelio.com returns another book after the search, an exception will be thrown and the plugin will NOT access Babelio.com for 23 hours... Hopefully this will make Babelio.com forget about you.

Of course, it's possible to get around the limits, but I've decided that users of my plugin are smart enough to respect babelio.com and continue to receive information.

En français :

Spoiler:

Ajout d'une sorte de "protection" contre les mauvais résultats de babelio.com...

Si Babelio.com renvoie un "titre-auteur" différent du "titre-auteur demandé", la recherche sera abandonnée...
En cas de téléchargement d'une seule métadonnée, vous n'obtiendrez AUCUNE proposition.
Dans le cas d'un téléchargement massif de métadonnées. cette sélection sera étiquetée comme ayant échoué...

Attendez un peu puis réessayez. Babelio.com vous donnera probablement une réponse correcte s'il vous a oublié.

Si Babelio.com renvoie un autre livre après la recherche, une exception sera levée et le plugin n'accèdera PAS à Babelio.com pendant 23 heures... Espérons que cela permettra à Babelio.com de vous oublier.

Bien sûr, il est possible de contourner les limites, mais j'ai décidé que les utilisateurs de mon plugin sont suffisamment intelligents pour respecter babelio.com et continuer à recevoir l'information.

Please do test this version and report any problem with detailed information... I have no intend to exacerbate Babelio.com (anymore)

Will hold previous versions and, if any new version under test, if/when I have time to produce a new one.

Initial version is Babelio_db 050.zip

Babelio_db 051.zip corrects version 050, there is no reason to use version 050

Babelio_db 060 introduce a new series detection algorithm (no more missing series because title does not contains series). Notes that title may change from version 050 or 051 to better reflect what babelio propose.
It also has a much better rate_limit to avoid being banned.

Babelio_db 061 corrects a problem when the URL contains a '-' character within the <title> <title\>...
"Hercule Poirot - Nouvelle" and "Hercule Poirot - Roman" would both end up as "Hercule Poirot" leading to show two different series under the same series name...

Babelio_db 070 is able, provided you enable it, to add a new title "Popularité". In that section, you'll find the number of quotations and the mean of those quotations, with 2 decimals... Hope you enjoy it.

Babelio_db 082 corrects a bug when the html tagging is not optimal on Babelio.com... Solution is to append the extract to an empty html ... BeautifulSoup then corrects the issue.

Babelio_db 083 corrects a bad condition check that prevented optimization when babelio_id was present. A été détecté quand babelio_id était valide et le titre était "None" ou "Inconnu(e)".

Babelio_db 084 takes into account the fact that the search engine of Babelio.com now works with a POST command instead of GET command.

Babelio_db 085 allows one to reduce the number of tags you want (remember to delete all tags before trying to load less tags), by selection of the tag and the importance of a given tag function of the book.

Babelio_db 086 if it finds an exact match between both the title found (stripped of the series part) and an author compared to the requested title and author, will only fetch the data of that "perfect match"


Version up to 083 included are deleted as search was changed...

[lrpirlet]

OK, this note is in french but is mostly made of pictures so it may still be useful to others...

La première image montre un livre vide avec pour seule info le titre: "Paideia" et l'auteur "Claire Garand"...

La deuxième image montre la configuration des plugins

La troisième visualise comment configurer le plugin babelio_db proprement dit. On sort en enregistrant la configuration, pour retomber devant le panneau de configuration de téléchargement des métadonnées.

La quatrième montre comment quitter ce panneau.

Enfin, 5, on peut télécharger les métadonnées.

Problème

Mais, 6, c'est vraiment pas ce que l'on veut... On enregistre le journal...

Bon, j'ai lu le journal (fichier 7.txt)... Il n'y a pas de problème dans le plugin.
On peut remarquer:

-+-+-+-+-+-+-+-+-+-+ Entry point +-+-+-+-+-+-+-+-+-+-
self.dgb_lvl              :  11
self.with_cover           :  True
self.with_pretty_comments :  True
self.with_detailed_rating :  True

Le debug level est 11 on voit presque tout, on doit recevoir la couverture, on aura la référence et des titres et on pourra lire la popularité...

title       :  Paideia
authors     :  ['Claire Garand']
return query from create_query :  http://www.babelio.com/resrecherche.php?Recherche=claire+garand+paideia&tri=auteur&item_recherche=livres&pageN=1
 In ret_soup(log, dbg_lvl, br, url, rkt=none, who=''

 URL request time :  17:52:15
 Accessing url     :  http://www.babelio.com/resrecherche.php?Recherche=claire+garand+paideia&tri=auteur&item_recherche=livres&pageN=1
 (urlopen_with_retry) sr.getcode()  :  200
In parse_search_results(self, log, orig_title, orig_authors, soup, br)
orig_title    :  Paideia
orig_authors  :  ['claire garand']
nombre de références trouvées dans babelio 2
nombre de matches :  2
matches at return time : 
      https://www.babelio.com/livres/Pyatt-Confessions-du-pas-siGrand-Mechant-Loup/266290
      https://www.babelio.com/livres/Pyatt-Lenvers-des-contes-tome-2--Journal-du-pas-sig/694328

On voit que le titre et l'auteur sont bien envoyés dans la requête... mais aussi que babelio trouve 2 correspondance qui semble sans aucun rapport...

Accessoirement, on peut voir le nombre d'accès et leur timing:

timing of the accesses to Babelio for this book
When : Thu Jun  1 17:52:15 2023; Who : [__init__]; Where : https://www.babelio.com/resrecherche.php?Recherche=claire+garand+paideia&tri=auteur&item_recherche=livres&pageN=1
When : Thu Jun  1 17:52:17 2023; Who : [worker 0]; Where : https://www.babelio.com/livres/Pyatt-Confessions-du-pas-siGrand-Mechant-Loup/266290
When : Thu Jun  1 17:52:18 2023; Who : [worker 0]; Where : https://www.babelio.com/aj_voir_plus_a.php
When : Thu Jun  1 17:52:19 2023; Who : [worker 1]; Where : https://www.babelio.com/livres/Pyatt-Lenvers-des-contes-tome-2--Journal-du-pas-sig/694328
When : Thu Jun  1 17:52:21 2023; Who : [worker 1]; Where : https://www.babelio.com/serie/Lenvers-des-contes/6316

Ceci sent une erreur du moteur de recherche de babelio.... voyons voir

l'image 8 confirme que c'est la faute à babelio... Faudrait rapporter mais pour le moment je suis (encore) banni à force de tests.

Solution

Il suffit de rentrer le babelio_id à la bonne place avant de recommencer le téléchargement des métadonnées

image 9: copie l'adresse de la page du livre désiré...

image 10: Dans le panneau d'édition des métadonnées clique sur la bonn icone pour introduire le Babelio_id (le babelio_id est en fait l'information minimum nécessaire pour reconstituer l'adresse de la page de l'ouvrage)

Image 11: gagné...

Image 12: Hey... on peut accéder directement a la page, que l'on aie ou non, décidé d'inclure la référence dans les commentaires.

[DavidVincent]

Bonjour Irpirlet,
Tout d'abord merci pour ce plugin qui m'a vraiment permis d'uniformiser les metadatas de l’ensemble de ma bibliothèque virtuelle. Il a fonctionné pour l'immense majorité des livres de celle-ci, à quelques exceptions près. Par exemple avec le livre "photos volées" de "Dominique Fabre".
Le log, de ce que j'en comprends, me semble ok, c'est à dire qu'il me trouve bien sur babelio la page qui lui est consacré, et sans qu'il y ait aucun autre choix possible, mais il ne me remplis pas la fiche du livre et me sort une erreur "Impossible de trouver un livre correspondant, bla, bla bla..."? Voici le log en question :

 Running identify query with parameters: 
{'title': 'Photos Volées', 'authors': ['Dominique Fabre'], 'identifiers': {}, 'timeout': 30} 
Using plugins: Babelio_db (0, 8, 0) 
The log from individual plugins is below 

****************************** Babelio_db (0, 8, 0) ****************************** 
Found 0 results 
Downloading from Babelio_db took 2.183969020843506 
-+-+-+-+-+-+-+-+-+-+ Entry point +-+-+-+-+-+-+-+-+-+-
self.dgb_lvl              :  15
self.with_cover           :  False
self.with_pretty_comments :  False
self.with_detailed_rating :  False

In identify(self, log, result_queue, abort, title=.., authors=.., identifiers=.., timeout=30)

title             :  Photos Volées
identifiers       :  {}
authors           :  ['Dominique Fabre'] <class 'list'>
Pas de résultat avec babelio_id ou avec l'ISBN, on recherche les auteurs et le titre.

in create_query()

title       :  Photos Volées
authors     :  ['Dominique Fabre']
 
In ret_clean_txt(self, log, text, who='')

 text         :  Dominique Fabre
 cleaned text :  dominique fabre
 return text from ret_clean_txt
 
In ret_clean_txt(self, log, text, who='')

 text         :  Photos Volées
 cleaned text :  photos volees
 return text from ret_clean_txt
return query from create_query :  http://www.babelio.com/resrecherche....es&amp;pageN=1
 In ret_soup(log, dbg_lvl, br, url, rkt=none, who=''

 URL request time :  19:05:14
 br                :  <Browser (not visiting a URL)>
 url               :  http://www.babelio.com/resrecherche....es&amp;pageN=1
 rkt               :  None
 Accessing url     :  http://www.babelio.com/resrecherche....es&amp;pageN=1
 In urlopen_with_retry(log, dbg_lvl, br, url, rkt, who='')

 (urlopen_with_retry) sr.getcode()  :  200
 url_vrai      :  https://www.babelio.com/resrecherche...es&amp;pageN=1
 sr.info()     :  Server: nginx
Date: Tue, 27 Jun 2023 17:05:16 GMT
Content-Type: text/html; charset=ISO-8859-1
Connection: close
Set-Cookie: p=FR; expires=Wed, 26-Jun-2024 17:05:16 GMT; Max-Age=31536000
Set-Cookie: disclaimer=1; expires=Wed, 26-Jun-2024 17:05:16 GMT; Max-Age=31536000
Cache-Control: no-cache
Expires: Tue, 27 Jun 2023 17:05:15 GMT
Vary: Accept-Encoding
X-Frame-Options: SAMEORIGIN
content-type: text/html; charset=iso-8859-1
content-language: fr-FR
cache-control: no-cache
pragma: no-cache
expires: -1
x-ua-compatible: IE=edge


In parse_search_results(self, log, orig_title, orig_authors, soup, br)
orig_title    :  Photos Volées
orig_authors  :  ['dominique fabre']
 
In ret_clean_txt(self, log, text, who='')

 text         :  Photos volées
 cleaned text :  photos volees
 return text from ret_clean_txt
 
In ret_clean_txt(self, log, text, who='')

 text         :  Photos Volées
 cleaned text :  photos volees
 return text from ret_clean_txt
 
In ret_clean_txt(self, log, text, who='')

 text         :  Dominique Fabre
 cleaned text :  dominique fabre
 return text from ret_clean_txt
 
In ret_clean_txt(self, log, text, who='')

 text         :  dominique fabre
 cleaned text :  dominique fabre
 return text from ret_clean_txt
nombre de références trouvées dans babelio 1
nombre de matches :  1
matches at return time : 
      https://www.babelio.com/livres/Fabre...-volees/615123
matches :  ['https://www.babelio.com/livres/Fabre-Photos-volees/615123']
[worker 0] entry time                :  Tue Jun 27 19:05:15 2023
[worker 0] self.url                  :  https://www.babelio.com/livres/Fabre...-volees/615123
[worker 0] self.relevance            :  0
[worker 0] self.plugin               :  <calibre_plugins.babelio_db.Babelio object at 0x000001CCA725F2B0>
[worker 0] self.dbg_lvl              :  15
[worker 0] self.timeout              :  20
[worker 0] self.with_cover           :  False
[worker 0] self.with_pretty_comments :  False
[worker 0] self.with_detailed_rating :  False
submit time                :  Tue Jun 27 19:05:15 2023

[worker 0] in run(self)

[worker 0] in get_details(self)
[worker 0] in get details(), start time :  1687885515.4202292
[worker 0] calling ret_soup(log, dbg_lvl, br, url, rkt=None, who='')
[worker 0] self.url :  https://www.babelio.com/livres/Fabre...-volees/615123 
[worker 0] In ret_soup(log, dbg_lvl, br, url, rkt=none, who=''

[worker 0] URL request time :  19:05:16
[worker 0] br                :  <Browser (not visiting a URL)>
[worker 0] url               :  https://www.babelio.com/livres/Fabre...-volees/615123
[worker 0] rkt               :  None
[worker 0] Accessing url     :  https://www.babelio.com/livres/Fabre...-volees/615123
[worker 0] In urlopen_with_retry(log, dbg_lvl, br, url, rkt, who='')

[worker 0] (urlopen_with_retry) sr.getcode()  :  200
[worker 0] url_vrai      :  https://www.babelio.com/livres/Fabre...-volees/615123
[worker 0] sr.info()     :  Server: nginx
Date: Tue, 27 Jun 2023 17:05:17 GMT
Content-Type: text/html; charset=ISO-8859-1
Connection: close
Cache-Control: no-cache
Expires: Tue, 27 Jun 2023 17:05:16 GMT
Vary: Accept-Encoding
X-Frame-Options: SAMEORIGIN
content-type: text/html; charset=iso-8859-1
content-language: fr-FR
cache-control: no-cache
pragma: no-cache
expires: -1
x-ua-compatible: IE=edge


[worker 0] Temps après ret_soup()... :  1.5022366046905518

[worker 0] in parse_bbl_id
[worker 0] bbl_id :  Fabre-Photos-volees/615123
[worker 0] Temps après parse_bbl_id() ... :  1.5022366046905518

[worker 0] in parse_details(self, soup)
[worker 0] in parse_details(), new start :  1687885516.9224658

[worker 0] in parse_authors(self, soup)
[worker 0] return bbl_authors ['Dominique Fabre']
[worker 0] Temps après parse_authors() ... :  0.001985788345336914

[worker 0] in parse_title_series(self, soup, bbl_authors)
[worker 0] bbl_title :  Photos volées - Dominique Fabre
[worker 0] name :  Dominique Fabre
[worker 0] bbl_title       :  Photos volées
[worker 0] Temps après parse_title_series() ... :  0.0074956417083740234

[worker 0] in parse_meta(self, soup)
[worker 0] bbl_publisher processed :  Editions de l'Olivier
[worker 0] bbl_isbn processed :  9782823600711
[worker 0] bbl_pubdate processed :  2014-01-21 00:00:00
[worker 0] parse_meta() returns bbl_isbn, bbl_publisher, bbl_pubdate :  9782823600711 Editions de l'Olivier 2014-01-21 00:00:00
[worker 0] Temps après parse_meta() ... :  0.009495019912719727

[worker 0] in parse_rating(self, soup)
[worker 0] parse_rating() returns bbl_rating : 3.21, bbl_rating_cnt : 38
[worker 0] Temps après parse_rating() ... :  0.01151585578918457

[worker 0] in parse_tags(self, soup)
[worker 0] parse_tags() return bbl_tags ['Roman', 'Senior', 'Solitude', 'Mélancolie', 'Vieillesse', 'Nostalgie', 'Détail', 'Littérature Adulte', 'Amitié', 'Chômage', 'Amour', 'Photographie', 'Photos', 'Divorce', 'Littérature Française', 'Rentrée Littéraire 2014', 'Contemporain']
[worker 0] Temps après parse_tags() ... :  0.014503240585327148
Téléchargement de la couverture désactivé
[worker 0] Temps après parse_cover() ... :  0.014503240585327148

[worker 0] in parse_comments(self, soup)
[worker 0] with_pretty_comments :  False
get_details failed for url: 'https://www.babelio.com/livres/Fabre-Photos-volees/615123'
Traceback (most recent call last):
  File "calibre_plugins.babelio_db.worker", line 68, in run
  File "calibre_plugins.babelio_db.worker", line 103, in get_details
  File "calibre_plugins.babelio_db.worker", line 231, in parse_details
  File "bs4\element.py", line 1613, in encode
  File "bs4\element.py", line 1677, in decode
TypeError: unsupported operand type(s) for -: 'str' and 'int'


timing of the accesses to Babelio for this book
When : Tue Jun 27 19:05:15 2023; Who : [__init__]; Where : https://www.babelio.com/resrecherche...es&amp;pageN=1
When : Tue Jun 27 19:05:16 2023; Who : [worker 0]; Where : https://www.babelio.com/livres/Fabre...-volees/615123 

******************************************************************************** 
The identify phase took 2.24 seconds 
The longest time (2.183969) was taken by: Babelio_db 
Merging results from different sources 
We have 0 merged results, merging took: 0.00 seconds

J'ai mis l'url https://www.babelio.com/livres/Fabre...-volees/615123 dans la partie Id pour avoir le babelio_id, donc babelio_id:Fabre-Photos-volees/615123 , et là aussi il me trouve rien du tout ?.

Donc je sèche un peu et si tu as l'occasion de me filer un coup de main. Merci pour ton retour.

[lrpirlet]

Originally Posted by DavidVincent

 Running identify query with parameters: 
{'title': 'Photos Volées', 'authors': ['Dominique Fabre'], 'identifiers': {}, 'timeout': 30} 
Using plugins: Babelio_db (0, 8, 0) 
The log from individual plugins is below 

****************************** Babelio_db (0, 8, 0) ****************************** 
Found 0 results 
Downloading from Babelio_db took 2.183969020843506 
-+-+-+-+-+-+-+-+-+-+ Entry point +-+-+-+-+-+-+-+-+-+-
self.dgb_lvl              :  15
self.with_cover           :  False
self.with_pretty_comments :  False
self.with_detailed_rating :  False

bla bla bla

[worker 0] with_pretty_comments :  False
get_details failed for url: 'https://www.babelio.com/livres/Fabre-Photos-volees/615123'
Traceback (most recent call last):
  File "calibre_plugins.babelio_db.worker", line 68, in run
  File "calibre_plugins.babelio_db.worker", line 103, in get_details
  File "calibre_plugins.babelio_db.worker", line 231, in parse_details
  File "bs4\element.py", line 1613, in encode
  File "bs4\element.py", line 1677, in decode
TypeError: unsupported operand type(s) for -: 'str' and 'int'

OK, j'ai reproduit le problème en reproduisant tes personnalisations. En fait, tu sembles avoir choisi de ne pas remonter les images de couverture, de ne pas intégrer les commentaires étendus (ref et titre) ni la moyenne des notes et le nombre de notes soumises.

Le problème ne se présentait que si on refusait les commentaires étendus.

Il semble que le problème vient de la page html associée avec ce livre particulier. Il semble que le "tagging" soit déséquilibré ce qui fait crasher le plugin...

La solution, que je te demande de tester est sous la seconde entrée de ce thread sous la version 0.8.2. Quand cette correction sera validée, je la pousserai pour update automatique.

[Jctrouss]

Hello,

First of all, thanks for giving us this very useful plugin !

The tags received from babelio are stored in the "default" tags column.
Is it possible to store them in a custom column instead ? I would like to avoid mixing those tags with my "curated" tags.

DaltonSt uses this kind of solution in his "LCCCode" plugin to store "Fast Tags" in a well defined custom column.

The reason is that the tags from babelio are quite useful but the users of babelio are quite creative when it comes to create new tags... It makes creating rules to transform / reject tags rather unmanageable.

Thanks again for the time you devote to maintain the plugin !

[lrpirlet]

Hello, Thanks for your positive comments... It is always nice to receive appreciation and thanks for a hard work.

Originally Posted by Jctrouss

The tags received from babelio are stored in the "default" tags column.
Is it possible to store them in a custom column instead ? I would like to avoid mixing those tags with my "curated" tags.

DaltonSt uses this kind of solution in his "LCCCode" plugin to store "Fast Tags" in a well defined custom column.

For what concerns custom columns, I suggest you read another of my plugin : Babelio Notes. In that plugin, named sometime "GUI Plugin", I create custom columns and populate them via the plugin...

Unluckily, Babelio_db plugin is a metadata plugin that gets "integrated within calibre": the entry point is a calibre routine, the exit point is another calibre routine and many routine written into the metadata plugin are invoked by calibre...

I am very sorry but what you ask is NOT possible from within a metadata plugin. (I know, I have been looking hard and found that Kovid Goyal said "no no" for custom columns from inside a metadata plugin).
See both [Metadata Source Plugin] noosfere DB and [GUI Plugin] Noosfere_util, a companion plugin to noosfere DB
Noosfere is so rich that I wanted more custom columns.. so I over-used (or maybe ab-used) the publisher field in the metadata plugin then designed some procedures to distribute the info in a gui plugin...

I would suggest a workaround for you: just create a custom column named curated_tags, copy the tag columns to the curated_tags columns before using babelio_db...
good luck (I mean make a backup before any poking around)

[Jctrouss]

Merci pour ces explications et les conseils !

[NLT]

Bonjour lrpirlet ,
Merci d'avoir développé et partagé ce plugin.
A moi aussi il m'est très utile.
Ma bibliothèque Calibre est impeccable maintenant.

[unbreak51]

Bonjour,
J'ai un soucis dans l'utilisation de babelio_db. J'utilise calibre dans sa version portable car je stocke tout sur un ssd externe et ça me permet d'avoir ma biblio sur tous mes pc.
J'ai essayé d'installer le plugin par l'ajout de plugin de l'interface, j'ai essayé aussi de lancer le bat.
Je rencontre l'erreur suivante :
calibre, version 6.25.0
ERREUR : Aucune correspondance trouvée: <p>Impossible de trouver un livre correspondant à votre recherche. Essayer de faire une recherche <b>moins spécifique</b>. Par exemple, utiliser seulement le nom de famille de l'auteur et un mot distinctif du titre.<p> Pour voir le journal en entier, cliquer "Afficher les détails.

Running identify query with parameters:
{'title': 'Succombe moi, tome 2', 'authors': ['Virginie E. Gérard'], 'identifiers': {'isbn': '9782379872556', 'babelio': '1417202', 'babelio_id': 'Gerard-Succombe-moi-tome-2/1417202'}, 'timeout': 30}
Using plugins: Babelio_db (0, 8, 3)
The log from individual plugins is below

****************************** Babelio_db (0, 8, 3) ******************************
Found 0 results
Downloading from Babelio_db took 21.66550064086914
-+-+-+-+-+-+-+-+-+-+ Entry point +-+-+-+-+-+-+-+-+-+-
self.dgb_lvl : 3
self.with_cover : True
self.with_pretty_comments : True
self.with_detailed_rating : True

In identify(self, log, result_queue, abort, title=.., authors=.., identifiers=.., timeout=30)

title : Succombe moi, tome 2
identifiers : {'isbn': '9782379872556', 'babelio': '1417202', 'babelio_id': 'Gerard-Succombe-moi-tome-2/1417202'}
authors : ['Virginie E. Gérard'] <class 'list'>
babelio identifier trouvé... pas de recherche sur babelio... on saute directement au livre

matches : ['https://www.babelio.com/livres/Gerard-Succombe-moi-tome-2/1417202']
[worker 0] entry time : Mon Aug 28 01:05:05 2023
[worker 0] self.url : https://www.babelio.com/livres/Gerar...tome-2/1417202
[worker 0] self.relevance : 0
[worker 0] self.plugin : <calibre_plugins.babelio_db.Babelio object at 0x0000019664FF5000>
[worker 0] self.dbg_lvl : 3
[worker 0] self.timeout : 20
[worker 0] self.with_cover : True
[worker 0] self.with_pretty_comments : True
[worker 0] self.with_detailed_rating : True
submit time : Mon Aug 28 01:05:05 2023

[worker 0] in run(self)

[worker 0] in get_details(self)
[worker 0] calling ret_soup(log, dbg_lvl, br, url, rkt=None, who='')
[worker 0] self.url : https://www.babelio.com/livres/Gerar...tome-2/1417202
[worker 0] Accessing url : https://www.babelio.com/livres/Gerar...tome-2/1417202
[worker 0] (urlopen_with_retry) <urlopen error [SSL: CERTIFICATE_VERIFY_FAILED] certificate verify failed: self signed certificate in certificate chain (_ssl.c:997)> , will retry in 3 seconds...
[worker 0] (urlopen_with_retry) <urlopen error [SSL: CERTIFICATE_VERIFY_FAILED] certificate verify failed: self signed certificate in certificate chain (_ssl.c:997)> , will retry in 6 seconds...
[worker 0] (urlopen_with_retry) <urlopen error [SSL: CERTIFICATE_VERIFY_FAILED] certificate verify failed: self signed certificate in certificate chain (_ssl.c:997)> , will retry in 12 seconds...
[worker 0] exception occured...
get_details failed for url: 'https://www.babelio.com/livres/Gerard-Succombe-moi-tome-2/1417202'
Traceback (most recent call last):
File "mechanize\_urllib2_fork.py", line 1236, in do_open
File "http\client.py", line 1282, in request
File "http\client.py", line 1328, in _send_request
File "http\client.py", line 1277, in endheaders
File "http\client.py", line 1037, in _send_output
File "http\client.py", line 975, in send
File "http\client.py", line 1454, in connect
File "ssl.py", line 512, in wrap_socket
File "ssl.py", line 1070, in _create
File "ssl.py", line 1341, in do_handshake
ssl.SSLCertVerificationError: [SSL: CERTIFICATE_VERIFY_FAILED] certificate verify failed: self signed certificate in certificate chain (_ssl.c:997)

During handling of the above exception, another exception occurred:

Traceback (most recent call last):
File "calibre_plugins.babelio_db.__init__", line 81, in urlopen_with_retry
File "mechanize\_mechanize.py", line 257, in open
File "mechanize\_mechanize.py", line 287, in _mech_open
File "mechanize\_opener.py", line 193, in open
File "mechanize\_urllib2_fork.py", line 425, in _open
File "mechanize\_urllib2_fork.py", line 414, in _call_chain
File "calibre\utils\browser.py", line 28, in https_open
File "mechanize\_urllib2_fork.py", line 1240, in do_open
urllib.error.URLError: <urlopen error [SSL: CERTIFICATE_VERIFY_FAILED] certificate verify failed: self signed certificate in certificate chain (_ssl.c:997)>

During handling of the above exception, another exception occurred:

Traceback (most recent call last):
File "calibre_plugins.babelio_db.worker", line 63, in run
File "calibre_plugins.babelio_db.worker", line 80, in get_details
File "calibre_plugins.babelio_db.__init__", line 60, in __call__
File "calibre_plugins.babelio_db.__init__", line 127, in ret_soup
File "calibre_plugins.babelio_db.__init__", line 98, in urlopen_with_retry
AttributeError: 'URLError' object has no attribute 'code'

************************************************** ******************************
The identify phase took 21.85 seconds
The longest time (21.665501) was taken by: Babelio_db
Merging results from different sources
We have 0 merged results, merging took: 0.00 seconds


J'ai utilisé un livre qui a été trouvé par l'ancienne version de babelio_notes afin d'améliorer mes chances d'avoir un résultat.
J'ai vu une erreur de certificats.
Chose bizarre, quand je vais dans les colonnes perso, je ne vois pas la colonne babelio_id.
Faut-il impérativement la version de calibre desktop?
D'avance merci. J'ai hâte que tout ça fonctionne.

[unbreak51]

Re-bonjour,

J'ai dwn la version desktop, installé babelio_db et babelio_notes et tout fonctionne bien.
Je vais donc partir sur cette solution.
Merci pour le taf, ça fonctionne très bien.

[lrpirlet]

Originally Posted by unbreak51

Bonjour,
J'ai un soucis dans l'utilisation de babelio_db. J'utilise calibre dans sa version portable car je stocke tout sur un ssd externe et ça me permet d'avoir ma biblio sur tous mes pc.

Bien, cela me dit que tu as plusieurs PC... As-tu des problèmes sur tous tes PC???
Si ça marche sur un et pas sur l'autre c'est que le problème n'est probablement pas dans le plugin qui marche bien ailleurs, mais plutôt dans le PC qui ne marche pas...

ERREUR : Aucune correspondance trouvée: <p>Impossible de trouver un livre correspondant à votre recherche. Essayer de faire une recherche <b>moins spécifique</b>. Par exemple, utiliser seulement le nom de famille de l'auteur et un mot distinctif du titre.<p> Pour voir le journal en entier, cliquer "Afficher les détails.

deleted

matches :  ['https://www.babelio.com/livres/Gerard-Succombe-moi-tome-2/1417202']
[worker 0] entry time                :  Mon Aug 28 01:05:05 2023
[worker 0] self.url                  :  https://www.babelio.com/livres/Gerar...tome-2/1417202
[worker 0] self.relevance            :  0
[worker 0] self.plugin               :  <calibre_plugins.babelio_db.Babelio object at 0x0000019664FF5000>
[worker 0] self.dbg_lvl              :  3
[worker 0] self.timeout              :  20
[worker 0] self.with_cover           :  True
[worker 0] self.with_pretty_comments :  True
[worker 0] self.with_detailed_rating :  True
submit time                :  Mon Aug 28 01:05:05 2023

[worker 0] in run(self)

[worker 0] in get_details(self)
[worker 0] calling ret_soup(log, dbg_lvl, br, url, rkt=None, who='')
[worker 0] self.url :  https://www.babelio.com/livres/Gerar...tome-2/1417202 
[worker 0] Accessing url     :  https://www.babelio.com/livres/Gerar...tome-2/1417202
[worker 0] (urlopen_with_retry) <urlopen error [SSL: CERTIFICATE_VERIFY_FAILED] certificate verify failed: self signed certificate in certificate chain (_ssl.c:997)> , will retry in 3 seconds...
[worker 0] (urlopen_with_retry) <urlopen error [SSL: CERTIFICATE_VERIFY_FAILED] certificate verify failed: self signed certificate in certificate chain (_ssl.c:997)> , will retry in 6 seconds...
[worker 0] (urlopen_with_retry) <urlopen error [SSL: CERTIFICATE_VERIFY_FAILED] certificate verify failed: self signed certificate in certificate chain (_ssl.c:997)> , will retry in 12 seconds...

Deleted

OK le problème est lié avec CERTIFICATE_VERIFY_FAILED] certificate verify failed: self signed certificate in certificate chain (_ssl.c:997)...

As-tu eu ce message sur un PC derrière un firewall corporate? (au boulot par exemple?).

Il signifie que le site qui commence par https:// et ton pc ne peuvent pas s'accorder et que la connection est rejetée. Seule une personne qui connait l'environnement peut t'aider, et éventuellement changer le certificat.

[unbreak51]

comme dit juste après, ça vient de la version "portable" de calibre. Sur le même PC, j'ai installé la version windows desktop et ton plugin marche très bien. (sur la même bibliothèque.)
Ce qui me convient tout à fait. Je fais la MAJ des infos méta à partir de la version desktop et je peux toujours ouvrir ma bibliothèque avec mon calibre portable n'importe où.

[Djazzy]

bonjour, je voulais savoir si il était possible de récupérer seulement les étiquettes les plus importantes sur Babelio.
En effet chaque livre à plusieurs étiquettes certaines sont écrites en plus gros et donc je voudrais que sur calibre seul ces étiquettes écrite en gros soit prise en compte, car sinon il met 10 - 15 étiquettes ^^ je pourrait limiter le nombres à 1 ou 2 en effet mais je ne suis pas sur qu'il prendrait l'étiquette qui m’intéresse.

j'ai mis une image pour illustrer ce que je voudrait qu'il prenne (en bleue)

[Djazzy]

hello,

This no longer works correctly. all searches lead to errors. It worked well during the day and suddenly it didn't work anymore .

In fact, it only works if I put the "babelio_id:"
but that means having to look up the ID on the site for each book....
whereas before just with the right title without the id it worked very well

Running identify query with parameters: 
{'title': 'Paper money', 'authors': ['Ken Follett'], 'identifiers': {'isbn': '9782253160120'}, 'timeout': 30} 
Using plugins: Babelio_db (0, 8, 3) 
The log from individual plugins is below 

****************************** Babelio_db (0, 8, 3) ****************************** 
Found 0 results 
Downloading from Babelio_db took 21.920482397079468 
-+-+-+-+-+-+-+-+-+-+ Entry point +-+-+-+-+-+-+-+-+-+-
self.dgb_lvl              :  3
self.with_cover           :  True
self.with_pretty_comments :  True
self.with_detailed_rating :  True

In identify(self, log, result_queue, abort, title=.., authors=.., identifiers=.., timeout=30)

title             :  Paper money
identifiers       :  {'isbn': '9782253160120'}
authors           :  ['Ken Follett'] <class 'list'>
ISBN identifier trouvé, on cherche cet ISBN sur babelio :  https://www.babelio.com/resrecherche.php?Recherche=9782253160120&item_recherche=isbn
 Accessing url     :  https://www.babelio.com/resrecherche.php?Recherche=9782253160120&item_recherche=isbn
 (urlopen_with_retry) HTTP Error 404: Not Found , will retry in 3 seconds...
 (urlopen_with_retry) HTTP Error 404: Not Found , will retry in 6 seconds...
 (urlopen_with_retry) HTTP Error 404: Not Found , will retry in 12 seconds...
 exception occured...
 code :  404 reason :  Not Found
Plugin Babelio_db failed
Traceback (most recent call last):
  File "calibre_plugins.babelio_db.__init__", line 81, in urlopen_with_retry
  File "mechanize\_mechanize.py", line 257, in open
  File "mechanize\_mechanize.py", line 313, in _mech_open
mechanize._response.get_seek_wrapper_class.<locals>.httperror_seek_wrapper: HTTP Error 404: Not Found

During handling of the above exception, another exception occurred:

Traceback (most recent call last):
  File "calibre\ebooks\metadata\sources\identify.py", line 47, in run
  File "calibre_plugins.babelio_db.__init__", line 393, in identify
  File "calibre_plugins.babelio_db.__init__", line 60, in __call__
  File "calibre_plugins.babelio_db.__init__", line 127, in ret_soup
  File "calibre_plugins.babelio_db.__init__", line 99, in urlopen_with_retry
Exception: ('(urlopen_with_retry) Failed while acessing url : ', 'https://www.babelio.com/resrecherche.php?Recherche=9782253160120&item_recherche=isbn') 

******************************************************************************** 
The identify phase took 22.09 seconds 
The longest time (21.920482) was taken by: Babelio_db 
Merging results from different sources 
We have 0 merged results, merging took: 0.00 seconds