[Metadata Source Plugin] babelio_db

[lrpirlet]

Originally Posted by Leilu

Est-ce possible d'avoir la main sur l'édition au moment du téléchargement des metadatas svp ? La plupart du temps ce n'est pas la bonne.

Réponse courte: non

Réponse longue: un metadata source plugin peut être considéré comme une sous-routine de calibre. Calibre ne permet pas d'interraction au niveau du metadata source plugin sauf par les paramètres ainsi qu'en sortie si tu acceptes ou non les résultats.

Originally Posted by Leilu

Parfois, j'aimerais seulement récupérer le babelio_id rapidement sans écraser tous les autres champs. Comment pourrais-je faire svp ? Merci

Va voir ici, examine en particulier le paragraphe dont le titre est solution.

j'apprecie l'expression de to appreciation, merci

[unbreak51]

Bonjour,
J'ai l'impression qu'il y a un soucis côté babelio... Aujourd'hui je n'ai quasiment que des résultats erratiques. On dirait qu'ils ont mis en place quelque chose juste pour faire déjouer le plugin...
Je suis obligé systématiquement de créer le babelio_id à la main avec le bout d'url que j'ai cherché.

Spoiler:

#################### Log for Zoulag-1:Zoulag ####################
Running identify query with parameters:
{'title': 'Zoulag-1:Zoulag', 'authors': ['Desienne, Stéphane'], 'identifiers': {'google': '-hblsgEACAAJ', 'isbn': '9782363762665'}, 'timeout': 30}
Using plugins: Babelio_db (0, 8, 6)
The log from individual plugins is below

****************************** Babelio_db (0, 8, 6) ******************************
Found 1 results
Downloading from Babelio_db took 3.5669326782226562


---
Title : Quand la belle se réveillera
Author(s) : Janine Boissard
Publisher : Fayard
Tags : Littérature Générale, Roman, Thriller, Enfance, Enlèvement, Bienveillance, Ravisseur, Amour, Littérature Francophone
Languages : fr
Rating : 1.4
Published : 2022-01-26T23:00:00+00:00
Identifiers : isbn:9782213722153, babelio_id:Boissard-Quand-la-belle-se-reveillera/1415206
Comments : b'\n
\n
\n
\n Référence:\n \n https://www.babelio.com/livres/Boiss...lera/1415206\n \n
\n
\n
\n\n\n
\n
\n

\n
\n Popularité\n
\n

\n
\n
\n\n\n
\n
\n
\n Le nombre de cotations est\n \n 19\n \n , avec une note moyenne de\n \n 2.76\n \n sur 5\n
\n
\n
\n\n\n
\n
\n

\n
\n Résumé\n
\n

\n
\n
\n\n\n \n
\n Ce matin-là, Alma se réveille vaseuse, comme droguée. Autour d’elle, ça sent la paille pourrie. Reprenant ses esprits, elle se découvre dans une étable abandonnée, enchaînée à un mur.\n
\n Qui l’a enlevée ? Pourquoi ?\n
\n Son seul espoir : Mathis, son mari, qui, elle en est convaincue, fera tout pour la retrouver.\n
\n Entre son ravisseur, un fanatique de la cause animale, et l’adjudant-chef de la gendarmerie de Saint-Point-Lac, Germain Buisson, aidé par Mathis, va se livrer une course contre la montre. Contre la mort ?\n
\n Qui l’emportera ?\n
\n Un thriller haletant, dans les beaux et sombres paysages du Jura.\n
\n
\n'
-+-+-+-+-+-+-+-+-+-+ Entry point +-+-+-+-+-+-+-+-+-+-
self.dgb_lvl : 15
self.with_cover : True
self.with_pretty_comments : True
self.with_detailed_rating : True
self.tag_genre : 12
self.tag_theme : 12
self.tag_lieu : 12
self.tag_quand : 12

In identify(self, log, result_queue, abort, title=.., authors=.., identifiers=.., timeout=30)

title : Zoulag-1:Zoulag
identifiers : {'google': '-hblsgEACAAJ', 'isbn': '9782363762665'}
authors : ['Desienne, Stéphane']
ISBN identifier trouvé, on cherche cet ISBN sur babelio : https://www.babelio.com/recherche
In ret_soup(log, dbg_lvl, br, url, rkt={'Recherche': '9782363762665'}, who=)

URL request time : 18:26:11
br :
url : https://www.babelio.com/recherche
rkt : {'Recherche': '9782363762665'}
Accessing url : https://www.babelio.com/recherche
search parameters : {'Recherche': '9782363762665'}
formated parameters : Recherche=9782363762665
In urlopen_with_retry(log, dbg_lvl, br, url, rkt=b'Recherche=9782363762665', who=)

(urlopen_with_retry) sr.getcode() : 200
url_vrai : https://www.babelio.com/recherche
sr.info() : Server: nginx
Date: Wed, 01 Nov 2023 17:26:14 GMT
Content-Type: text/html; charset=ISO-8859-1
Connection: close
Set-Cookie: p=FR; expires=Thu, 31-Oct-2024 17:26:14 GMT; Max-Age=31536000
Set-Cookie: disclaimer=1; expires=Thu, 31-Oct-2024 17:26:14 GMT; Max-Age=31536000
Cache-Control: no-cache
Expires: Wed, 01 Nov 2023 17:26:13 GMT
Vary: Accept-Encoding
X-Frame-Options: SAMEORIGIN
content-type: text/html; charset=iso-8859-1
content-language: fr-FR
cache-control: no-cache
pragma: no-cache
expires: -1
x-ua-compatible: IE=edge


In parse_search_results(self, log, orig_title, orig_authors, soup, br)
orig_title : Zoulag-1:Zoulag
orig_authors : ['Desienne, Stéphane']

In ret_clean_txt(self, log, text, who='')

text : Quand la belle se réveillera
cleaned text : quand la belle se reveillera
return text from ret_clean_txt

In ret_clean_txt(self, log, text, who='')

text : Zoulag-1:Zoulag
cleaned text : zoulag 1 zoulag
return text from ret_clean_txt

In ret_clean_txt(self, log, text, who='')

text : Janine Boissard
cleaned text : janine boissard
return text from ret_clean_txt

In ret_clean_txt(self, log, text, who='')

text : Desienne, Stéphane
cleaned text : desienne stephane
return text from ret_clean_txt
titre, ratio : Quand la belle se réveillera, 0.27906976744186046, auteur, ratio : Janine Boissard, 0.375, sous_url : /livres/Boissard-Quand-la-belle-se-reveillera/1415206
nombre de références trouvées dans babelio 1
srt_match[i] : ('/livres/Boissard-Quand-la-belle-se-reveillera/1415206', 0.6540697674418605)
nombre de matches : 1
matches at return time :
https://www.babelio.com/livres/Boiss...illera/1415206
matches : ['https://www.babelio.com/livres/Boissard-Quand-la-belle-se-reveillera/1415206']
[worker 0] entry time : Wed Nov 1 18:26:12 2023
[worker 0] self.url : https://www.babelio.com/livres/Boiss...illera/1415206
[worker 0] self.relevance : 0
[worker 0] self.plugin :
[worker 0] self.dbg_lvl : 15
[worker 0] self.timeout : 20
[worker 0] self.with_cover : True
[worker 0] self.with_pretty_comments : True
[worker 0] self.with_detailed_rating : True
[worker 0] self.tag_genre : 12
[worker 0] self.tag_theme : 12
[worker 0] self.tag_lieu : 12
[worker 0] self.tag_quand : 12
submit time : Wed Nov 1 18:26:12 2023

[worker 0] in run(self)

[worker 0] in get_details(self)
[worker 0] in get details(), start time : 1698859572.0212922
[worker 0] calling ret_soup(log, dbg_lvl, br, url, rkt=None, who='')
[worker 0] self.url : https://www.babelio.com/livres/Boiss...illera/1415206
[worker 0] In ret_soup(log, dbg_lvl, br, url, rkt=None, who=[worker 0])

[worker 0] URL request time : 18:26:13
[worker 0] br :
[worker 0] url : https://www.babelio.com/livres/Boiss...illera/1415206
[worker 0] rkt : None
[worker 0] Accessing url : https://www.babelio.com/livres/Boiss...illera/1415206
[worker 0] In urlopen_with_retry(log, dbg_lvl, br, url, rkt=None, who=[worker 0])

[worker 0] (urlopen_with_retry) sr.getcode() : 200
[worker 0] url_vrai : https://www.babelio.com/livres/Boiss...illera/1415206
[worker 0] sr.info() : Server: nginx
Date: Wed, 01 Nov 2023 17:26:16 GMT
Content-Type: text/html; charset=ISO-8859-1
Connection: close
Cache-Control: no-cache
Expires: Wed, 01 Nov 2023 17:26:15 GMT
Vary: Accept-Encoding
X-Frame-Options: SAMEORIGIN
content-type: text/html; charset=iso-8859-1
content-language: fr-FR
cache-control: no-cache
pragma: no-cache
expires: -1
x-ua-compatible: IE=edge


[worker 0] Temps après ret_soup()... : 1.5989458560943604

[worker 0] in parse_bbl_id
[worker 0] bbl_id : Boissard-Quand-la-belle-se-reveillera/1415206
[worker 0] Temps après parse_bbl_id() ... : 1.5989458560943604

[worker 0] in parse_details(self, soup)
[worker 0] in parse_details(), new start : 1698859573.620238

[worker 0] in parse_authors(self, soup)
[worker 0] return bbl_authors ['Janine Boissard']
[worker 0] Temps après parse_authors() ... : 0.003986358642578125

[worker 0] in parse_title_series(self, soup, bbl_authors)
[worker 0] bbl_title : Quand la belle se réveillera - Janine Boissard
[worker 0] name : Janine Boissard
[worker 0] bbl_title : Quand la belle se réveillera
[worker 0] Temps après parse_title_series() ... : 0.015955209732055664

[worker 0] in parse_meta(self, soup)
[worker 0] bbl_publisher processed : Fayard
[worker 0] bbl_isbn processed : 9782213722153
[worker 0] bbl_pubdate processed : 2022-01-27 00:00:00
[worker 0] parse_meta() returns bbl_isbn, bbl_publisher, bbl_pubdate : 9782213722153 Fayard 2022-01-27 00:00:00
[worker 0] Temps après parse_meta() ... : 0.018958330154418945

[worker 0] in parse_rating(self, soup)
[worker 0] parse_rating() returns bbl_rating : 2.76, bbl_rating_cnt : 19
[worker 0] Temps après parse_rating() ... : 0.02293682098388672

[worker 0] in parse_tags(self, soup)
[worker 0] parse_tags() return bbl_tags ['Littérature Générale', 'Roman', 'Thriller', 'Enfance', 'Enlèvement', 'Bienveillance', 'Ravisseur', 'Amour', 'Littérature Francophone']
[worker 0] Temps après parse_tags() ... : 0.026924848556518555

[worker 0] in parse_cover(self, soup)
[worker 0] parse_cover() returns bbl_cover : https://m.media-amazon.com/images/I/...0L._SX195_.jpg
[worker 0] Temps après parse_cover() ... : 0.027922868728637695

[worker 0] in parse_comments(self, soup)
[worker 0] onclick : javascript:voir_plus_a('#d_bio',1,1269810);
[worker 0] calling ret_soup(log, dbg_lvl, br, url, rkt=rkt, who=self.who
[worker 0] url : https://www.babelio.com/aj_voir_plus_a.php
[worker 0] rkt : {'type': '1', 'id_obj': '1269810'}
[worker 0] In ret_soup(log, dbg_lvl, br, url, rkt={'type': '1', 'id_obj': '1269810'}, who=[worker 0])

[worker 0] URL request time : 18:26:14
[worker 0] br :
[worker 0] url : https://www.babelio.com/aj_voir_plus_a.php
[worker 0] rkt : {'type': '1', 'id_obj': '1269810'}
[worker 0] Accessing url : https://www.babelio.com/aj_voir_plus_a.php
[worker 0] search parameters : {'type': '1', 'id_obj': '1269810'}
[worker 0] formated parameters : type=1&id_obj=1269810
[worker 0] In urlopen_with_retry(log, dbg_lvl, br, url, rkt=b'type=1&id_obj=1269810', who=[worker 0])

[worker 0] (urlopen_with_retry) sr.getcode() : 200
[worker 0] url_vrai : https://www.babelio.com/aj_voir_plus_a.php
[worker 0] sr.info() : Server: nginx
Date: Wed, 01 Nov 2023 17:26:18 GMT
Content-Type: text/html; charset=ISO-8859-1
Connection: close
Cache-Control: no-cache
Expires: Wed, 01 Nov 2023 17:26:17 GMT
Vary: Accept-Encoding
X-Frame-Options: SAMEORIGIN


[worker 0] Temps après parse_comments() ... : 1.4166624546051025

timing of the accesses to Babelio for this book
When : Wed Nov 1 18:26:11 2023; Who : [__init__]; Where : https://www.babelio.com/recherche
When : Wed Nov 1 18:26:13 2023; Who : [worker 0]; Where : https://www.babelio.com/livres/Boiss...illera/1415206
When : Wed Nov 1 18:26:15 2023; Who : [worker 0]; Where : https://www.babelio.com/aj_voir_plus_a.php

************************************************** ******************************
The identify phase took 3.68 seconds
The longest time (3.566933) was taken by: Babelio_db
Merging results from different sources
We have 1 merged results, merging took: 0.00 seconds

[Leilu]

Originally Posted by lrpirlet

Réponse courte: non

Réponse longue: un metadata source plugin peut être considéré comme une sous-routine de calibre. Calibre ne permet pas d'interraction au niveau du metadata source plugin sauf par les paramètres ainsi qu'en sortie si tu acceptes ou non les résultats.

Dommage merci. Donc même en renseignant l'ISBN de l'édition voulue avant une recherche de metadatas, ça ne fonctionnera pas ?

Originally Posted by lrpirlet

Va voir ici, examine en particulier le paragraphe dont le titre est solution.

j'apprecie l'expression de to appreciation, merci

Cool merci. Jusqu'à lors j'écrivais à la main "babelio_id:" dans le champ "Ids:" et je copiais/collais la partie significative de l'adresse URL.
Je vais gagner un peu de temps avec ce bouton. Dommage qu'une manip pour le faire sur tous mes livres d'un coup n'existe pas.

[lrpirlet]

Désolé, je commence à en avoir assez... Babelio est loin d'etre stable..

J'ai essayé plusieurs fois la même requête à quelques minutes d'intervalle et j'obtiens des résultats différents (comme si le site était derrière un load balancer avec des soft différents sur les membres du load balancer).

Je ne touche plus à babelio_db avant quelques semaines en espérant que ça se stabilise.

Le ISBN devrait fonctionner, il fonctionnait avant dans la mesure ou le ISBN fournit corresponde à celui connu dans Babelio (oui le ISBN ou EAN est unique, mais tellement unique qu'il peut être différent pour la version papier et la version Ebook...)
Perso j'ai pu faire récemment 3 ou 4 requêtes différentes sur ISBN, lesquelles ont bien fonctionnées. (ce qui ne veut pas dire que ça marche encore maintenant)

Ce qui ne marche plus:

• la recherche sur l'ensemble auteur + titre.
• le retour sur recherche est différent si on cherche plusieurs fois la même chose
• En retour de recherche, j'ai eu comme réponse une demande d'identification (username password) (au moins une occurrence, que j'ai pu répéter dans la foulée)
• Chaque jour je suis surpris par un nouveau changement, parfois minime, souvent incohérent avec une requête similaire.

Bref, si les ids babelio_db fonctionnent encore, profitons en (faut toujours rester positif)

[lrpirlet]

Originally Posted by lrpirlet

Désolé, je commence à en avoir assez... Babelio est loin d'etre stable..

J'ai essayé plusieurs fois la même requête à quelques minutes d'intervalle et j'obtiens des résultats différents (comme si le site était derrière un load balancer avec des soft différents sur les membres du load balancer).

Je ne touche plus à babelio_db avant quelques semaines en espérant que ça se stabilise.

Le ISBN devrait fonctionner, il fonctionnait avant dans la mesure ou le ISBN fournit corresponde à celui connu dans Babelio (oui le ISBN ou EAN est unique, mais tellement unique qu'il peut être différent pour la version papier et la version Ebook...)
Perso j'ai pu faire récemment 3 ou 4 requêtes différentes sur ISBN, lesquelles ont bien fonctionnées. (ce qui ne veut pas dire que ça marche encore maintenant)

Ce qui ne marche plus:

• la recherche sur l'ensemble auteur + titre.
• le retour sur recherche est différent si on cherche plusieurs fois la même chose
• En retour de recherche, j'ai eu comme réponse une demande d'identification (username password) (au moins une occurrence, que j'ai pu répéter dans la foulée)
• Chaque jour je suis surpris par un nouveau changement, parfois minime, souvent incohérent avec une requête similaire.

Bref, si les ids babelio_db fonctionnent encore, profitons en (faut toujours rester positif)

P.S. J'ai aussi découvert que la recherche de la série dans certaine requêtes était inadaptée et l'algorithme doit être modifié, enfin, devrait être modifié si/quand Babelio.com se stabilise...

[unbreak51]

Originally Posted by lrpirlet

Désolé, je commence à en avoir assez... Babelio est loin d'etre stable..

J'ai essayé plusieurs fois la même requête à quelques minutes d'intervalle et j'obtiens des résultats différents (comme si le site était derrière un load balancer avec des soft différents sur les membres du load balancer).

Je ne touche plus à babelio_db avant quelques semaines en espérant que ça se stabilise.

Le ISBN devrait fonctionner, il fonctionnait avant dans la mesure ou le ISBN fournit corresponde à celui connu dans Babelio (oui le ISBN ou EAN est unique, mais tellement unique qu'il peut être différent pour la version papier et la version Ebook...)
Perso j'ai pu faire récemment 3 ou 4 requêtes différentes sur ISBN, lesquelles ont bien fonctionnées. (ce qui ne veut pas dire que ça marche encore maintenant)

Ce qui ne marche plus:

• la recherche sur l'ensemble auteur + titre.
• le retour sur recherche est différent si on cherche plusieurs fois la même chose
• En retour de recherche, j'ai eu comme réponse une demande d'identification (username password) (au moins une occurrence, que j'ai pu répéter dans la foulée)
• Chaque jour je suis surpris par un nouveau changement, parfois minime, souvent incohérent avec une requête similaire.

Bref, si les ids babelio_db fonctionnent encore, profitons en (faut toujours rester positif)

Je teste régulièrement babelio_db et je constate que les premières requêtes se passent bien, j'arrive à mettre à jour dans les 100 livres par jour. Et qu'au bout d'un petit moment, les résultats sont erratiques. Comme si le site, plutôt que de ban comme avant se contentait de donner des mauvais résultats pour me décourager de faire des requêtes.

[Djazzy]

ça me le fait aussi par moment j'utilise un vpn pour changer l'ip et j'ai l'impression que ça marche de nouveau ^^ sinon tu peux copier/coller le babelio_id: manuellement.

[capichou]

Hello,

Je continue d'utiliser ton plugin, franchement j'adore.

Petite suggestion... Babelio renseigne l'existence d'une version audio ("Existe en édition audio"). C'est une information qui m'intéresse pour mes choix de lecture, et je ne suis peut-être pas le seul. Est-ce qu'il serait possible d'ajouter ça aux fonctionnalités ?

[capichou]

3x que je recommence ce message... x_x

Donc je disais, j'utilise toujours ce plugin, franchement c'est top !

Une petite suggestion...

J'ai remarqué qu'il existait une info "existe en version audio" sur babelio. Serait-ce possible de récupérer l'info avec ton plugin et éventuellement afficher ça dans une colonne ? Personnellement ça m'aide dans mes choix de lecture et je ne suis peut-être pas le seul que ça intéresserait.

Si c'est faisable, bien entendu.

[lrpirlet]

Originally Posted by capichou

3x que je recommence ce message... x_x

Donc je disais, j'utilise toujours ce plugin, franchement c'est top !

Merci, merci

J'ai remarqué qu'il existait une info "existe en version audio"

OK, quand je trouve un peu de temps, je regarde si c'est possible. Ce serait bien si j'avais une référence ou deux (titre et auteur, ou mieux encore titre, auteur et references isbn, babelio_id)

[capichou]

Originally Posted by lrpirlet

OK, quand je trouve un peu de temps, je regarde si c'est possible. Ce serait bien si j'avais une référence ou deux (titre et auteur, ou mieux encore titre, auteur et references isbn, babelio_id)

Pour prendre un exemple peu connu, sur cette page : https://www.babelio.com/livres/Tolki...naute-de-/8032

On lit "Existe en édition audio".

Cette ligne n'existe que pour les livres disposant d'une version audio.

J'imagine que c'est assez facile à faire... if "Existe en édition audio" : audiobook = true.
(en vrai j'ai bien ouvert le code sur github mais n'ayant jamais ni programmé en python, ni programmé quoi que ce soit pour aller chercher des infos sur un site, ça n'a servi à rien)