Calibre: Herunter laden von DIE ZEIT funktioniert nicht mehr

[beedaddy]

Hallo,

mir ist aufgefallen dass ich seit einigen Wochen die EPUBs von der ZEIT nicht mehr herunterladen kann. Meine Zugangsdaten habe ich korrekt eingegeben, allerdings erhalte ich dann beim Versuch, die aktuelle Ausgabe herunterzuladen, folgende Fehlermeldung (siehe weiter unten).
Ist das ein bekanntes Problem oder kann das jemand bestätigen?

Danke und Grüße
beedaddy

calibre, version 0.8.22
ERROR: Konvertierungsfehler: <b>Misslungen</b>: Nachrichten abrufen von Die Zeit

Nachrichten abrufen von Die Zeit
Resolved conversion options
calibre version: 0.8.22
{'asciiize': False,
 'author_sort': None,
 'authors': None,
 'base_font_size': 0,
 'book_producer': None,
 'change_justification': 'original',
 'chapter': None,
 'chapter_mark': 'pagebreak',
 'comments': None,
 'cover': None,
 'debug_pipeline': None,
 'dehyphenate': True,
 'delete_blank_paragraphs': True,
 'disable_font_rescaling': False,
 'dont_download_recipe': False,
 'dont_split_on_page_breaks': True,
 'duplicate_links_in_toc': False,
 'enable_heuristics': False,
 'epub_flatten': False,
 'extra_css': None,
 'extract_to': None,
 'fix_indents': True,
 'flow_size': 260,
 'font_size_mapping': None,
 'format_scene_breaks': True,
 'html_unwrap_factor': 0.4,
 'input_encoding': None,
 'input_profile': <calibre.customize.profiles.InputProfile object at 0x29cfd10>,
 'insert_blank_line': False,
 'insert_blank_line_size': 0.5,
 'insert_metadata': False,
 'isbn': None,
 'italicize_common_cases': True,
 'keep_ligatures': False,
 'language': None,
 'level1_toc': None,
 'level2_toc': None,
 'level3_toc': None,
 'line_height': 0,
 'linearize_tables': False,
 'lrf': False,
 'margin_bottom': 5.0,
 'margin_left': 5.0,
 'margin_right': 5.0,
 'margin_top': 5.0,
 'markup_chapter_headings': True,
 'max_toc_links': 50,
 'minimum_line_height': 120.0,
 'no_chapters_in_toc': False,
 'no_default_epub_cover': False,
 'no_inline_navbars': False,
 'no_svg_cover': False,
 'output_profile': <calibre.customize.profiles.GenericEink object at 0x29d0150>,
 'page_breaks_before': None,
 'password': 'meinpassworthalt',
 'prefer_metadata_cover': False,
 'preserve_cover_aspect_ratio': False,
 'pretty_print': True,
 'pubdate': None,
 'publisher': None,
 'rating': None,
 'read_metadata_from_opf': None,
 'remove_fake_margins': True,
 'remove_first_image': False,
 'remove_paragraph_spacing': False,
 'remove_paragraph_spacing_indent_size': 1.5,
 'renumber_headings': True,
 'replace_scene_breaks': '',
 'series': None,
 'series_index': None,
 'smarten_punctuation': False,
 'sr1_replace': '',
 'sr1_search': '',
 'sr2_replace': '',
 'sr2_search': '',
 'sr3_replace': '',
 'sr3_search': '',
 'tags': None,
 'test': False,
 'timestamp': None,
 'title': None,
 'title_sort': None,
 'toc_filter': None,
 'toc_threshold': 6,
 'unsmarten_punctuation': False,
 'unwrap_lines': True,
 'use_auto_toc': False,
 'username': 'meinusernamehalt',
 'verbose': 2}
InputFormatPlugin: Recipe Input running
Traceback (most recent call last):
  File "/usr/bin/calibre-parallel", line 19, in <module>
    sys.exit(main())
  File "/usr/lib64/calibre/calibre/utils/ipc/worker.py", line 186, in main
    result = func(*args, **kwargs)
  File "/usr/lib64/calibre/calibre/gui2/convert/gui_conversion.py", line 25, in gui_convert
    plumber.run()
  File "/usr/lib64/calibre/calibre/ebooks/conversion/plumber.py", line 947, in run
    accelerators, tdir)
  File "/usr/lib64/calibre/calibre/customize/conversion.py", line 204, in __call__
    log, accelerators)
  File "/usr/lib64/calibre/calibre/web/feeds/input.py", line 104, in convert
    ro.download()
  File "/usr/lib64/calibre/calibre/web/feeds/news.py", line 824, in download
    res = self.build_index()
  File "/tmp/calibre_0.8.22_tmp_wGmNas/3bwYkk_recipes/recipe0.py", line 129, in build_index
    browser.select_form(nr=2)
  File "/usr/lib/python2.7/site-packages/mechanize/_mechanize.py", line 499, in select_form
    global_form = self._factory.global_form
  File "/usr/lib/python2.7/site-packages/mechanize/_html.py", line 544, in __getattr__
    self.forms()
  File "/usr/lib/python2.7/site-packages/mechanize/_html.py", line 557, in forms
    self._forms_factory.forms())
  File "/usr/lib/python2.7/site-packages/mechanize/_html.py", line 237, in forms
    _urlunparse=_rfc3986.urlunsplit,
  File "/usr/lib/python2.7/site-packages/mechanize/_form.py", line 844, in ParseResponseEx
    _urlunparse=_urlunparse,
  File "/usr/lib/python2.7/site-packages/mechanize/_form.py", line 981, in _ParseFileEx
    fp.feed(data)
  File "/usr/lib/python2.7/site-packages/mechanize/_form.py", line 758, in feed
    _sgmllib_copy.SGMLParser.feed(self, data)
  File "/usr/lib/python2.7/site-packages/mechanize/_sgmllib_copy.py", line 110, in feed
    self.goahead(0)
  File "/usr/lib/python2.7/site-packages/mechanize/_sgmllib_copy.py", line 144, in goahead
    k = self.parse_starttag(i)
  File "/usr/lib/python2.7/site-packages/mechanize/_sgmllib_copy.py", line 302, in parse_starttag
    self.finish_starttag(tag, attrs)
  File "/usr/lib/python2.7/site-packages/mechanize/_sgmllib_copy.py", line 351, in finish_starttag
    self.handle_starttag(tag, method, attrs)
  File "/usr/lib/python2.7/site-packages/mechanize/_sgmllib_copy.py", line 387, in handle_starttag
    method(attrs)
  File "/usr/lib/python2.7/site-packages/mechanize/_form.py", line 408, in start_form
    raise ParseError("nested FORMs")
mechanize._form.ParseError: nested FORMs

[beedaddy]

Hmm, vielleicht frage ich mal anders herum: Funktioniert bei euch das abrufen der ZEIT-Ausgaben?

[Divingduck]

Frag mal im Calibre Recipes Bereich nach. Ich benutzte nur den Zeit-Online recipe und habe kein Abo um dies prüfen zu können.
Ich war mal so frei, die Frage weiter zu geben: https://www.mobileread.com/forums/sho...3&postcount=17

[beedaddy]

@Divingduck: Ah super, wollte gerade den Beitrag schreiben und dachte im ersten Moment dass jemand anders nun auch das Problem hat.
Mal ganz allgemein: Ich würde mir das selbst auch mal genauer ansehen, frage mich aber wo ich diese Recipes finden/editieren kann. Es gibt diese Datei builtin_recipes.zip. Muss ich diese tatsächlich entpacken, das Rezept editieren und dann wieder packen? Das geht bestimmt anders, oder?

EDIT: Vergiss die Frage nach dem Editieren der Recipes. Habs gefunden.

[achims]

Hallo,

ich habe eine zumindest provisorische Loesung gefunden.
Das Problem ist, dass im html-code ein "form"-Attribut zuviel gesetzt ist, das Anmeldeformular also verschachtelt ist. Daher der nested forms Fehler.
Um es wieder zum Laufen zu bringen, muss die ueberfluessige Zeile einfach geloescht werden. Dies kann durch Aendern des recipes gemaess des folgenden Code-Schnipsels geschehen. Besser waere es natuerlich, jemand weist die ZEIT-Admins auf diesen Fehler hin.

Ich nehme an, diese spezielle Zeile, die im html-code von Zeit-Premium geloescht werden muss, sieht auch in naechster Zukunft noch gleich aus, ansonsten muss man sich eine allgemeinere Suche einfallen lassen. Naechsten Donnerstag werden wir es merken.

Gruss
Achim


browser = self.get_browser()

# new login process
response = browser.open(url)

# Get rid of nested form
response.set_data(response.get_data().replace('<di v><form action="/abo/zeit_digital?destination=node%2F94" accept-charset="UTF-8" method="post" id="user-login-form" class="zol_inlinelabel">', ''))
browser.set_response(response)

browser.select_form(nr=2)

[Moik]

Ich habe den "#get rid of nested form" Schnipsel jetzt zwischen die beiden von dir angegebenen Zeilen gesetzt, bekomme aber folgenden Fehler:

calibre, version 0.8.24
ERROR: Ungültige Eingabe: <p>Konnte Schema nicht erstellen. Fehler:<br>unexpected indent (recipe5.py, line 138)


Anmerkung: Den Zeit-Admins würde ich lieber gar nichts sagen, denn die wollen sicher nicht, dass irgendwas automatisch geladen wird. Da guckt man ja dann keine Werbung...

[achims]

Das ist eine python Eigenart. Die Einruecktiefe (indent) jeder Zeile wird hier nicht nur zum einfacheren Lesen verwendet, sondern auch vom Compiler. Setz einfach genuegend Leerzeichen an den Anfang der Zeilen, bis alle neuen Zeilen gleich eingerueckt sind wie die darueber und darunter.

Ausserdem hat sich oben ein Leerzeichen reingeschmuggelt. Es muss "<div>" heissen
anstatt <di v>.

[Moik]

:-D sehr geil, das mit dem Einrücken!

Leider funktioniert es bei mir trotzdem nicht :-(

calibre, version 0.8.24
ERROR: Konvertierungsfehler: <b>Misslungen</b>: Nachrichten abrufen von Die Zeit

Nachrichten abrufen von Die Zeit
Resolved conversion options
calibre version: 0.8.24
{'asciiize': False,
 'author_sort': None,
 'authors': None,
 'base_font_size': 0,
 'book_producer': None,
 'change_justification': 'original',
 'chapter': None,
 'chapter_mark': 'pagebreak',
 'comments': None,
 'cover': None,
 'debug_pipeline': None,
 'dehyphenate': True,
 'delete_blank_paragraphs': True,
 'disable_font_rescaling': False,
 'dont_compress': False,
 'dont_download_recipe': False,
 'duplicate_links_in_toc': False,
 'enable_heuristics': False,
 'extra_css': None,
 'extract_to': None,
 'fix_indents': True,
 'font_size_mapping': None,
 'format_scene_breaks': True,
 'html_unwrap_factor': 0.4,
 'input_encoding': None,
 'input_profile': <calibre.customize.profiles.InputProfile object at 0x053F2BF0>,
 'insert_blank_line': False,
 'insert_blank_line_size': 0.5,
 'insert_metadata': False,
 'isbn': None,
 'italicize_common_cases': True,
 'keep_ligatures': False,
 'language': None,
 'level1_toc': None,
 'level2_toc': None,
 'level3_toc': None,
 'line_height': 0,
 'linearize_tables': False,
 'lrf': False,
 'margin_bottom': 5.0,
 'margin_left': 5.0,
 'margin_right': 5.0,
 'margin_top': 5.0,
 'markup_chapter_headings': True,
 'max_toc_links': 50,
 'minimum_line_height': 120.0,
 'mobi_ignore_margins': False,
 'mobi_toc_at_start': False,
 'no_chapters_in_toc': False,
 'no_inline_navbars': True,
 'no_inline_toc': False,
 'output_profile': <calibre.customize.profiles.KindleOutput object at 0x053F2F10>,
 'page_breaks_before': None,
 'password': 'efellows',
 'personal_doc': '[PDOC]',
 'prefer_author_sort': False,
 'prefer_metadata_cover': False,
 'pretty_print': False,
 'pubdate': None,
 'publisher': None,
 'rating': None,
 'read_metadata_from_opf': None,
 'remove_fake_margins': True,
 'remove_first_image': False,
 'remove_paragraph_spacing': False,
 'remove_paragraph_spacing_indent_size': 1.5,
 'renumber_headings': True,
 'replace_scene_breaks': '',
 'rescale_images': False,
 'series': None,
 'series_index': None,
 'share_not_sync': False,
 'smarten_punctuation': False,
 'sr1_replace': '',
 'sr1_search': '',
 'sr2_replace': '',
 'sr2_search': '',
 'sr3_replace': '',
 'sr3_search': '',
 'tags': None,
 'test': False,
 'timestamp': None,
 'title': None,
 'title_sort': None,
 'toc_filter': None,
 'toc_threshold': 6,
 'toc_title': None,
 'unsmarten_punctuation': False,
 'unwrap_lines': True,
 'use_auto_toc': False,
 'username': 'efellows1',
 'verbose': 2}
InputFormatPlugin: Recipe Input running
Python function terminated unexpectedly
  nested FORMs (Error Code: 1)
Traceback (most recent call last):
  File "site.py", line 132, in main
  File "site.py", line 109, in run_entry_point
  File "site-packages\calibre\utils\ipc\worker.py", line 187, in main
  File "site-packages\calibre\gui2\convert\gui_conversion.py", line 25, in gui_convert
  File "site-packages\calibre\ebooks\conversion\plumber.py", line 949, in run
  File "site-packages\calibre\customize\conversion.py", line 204, in __call__
  File "site-packages\calibre\web\feeds\input.py", line 105, in convert
  File "site-packages\calibre\web\feeds\news.py", line 824, in download
  File "c:\users\johannes\appdata\local\temp\calibre_0.8.24_tmp_zaybzk\temqzn_recipes\recipe0.py", line 134, in build_index
    browser.select_form(nr=2)
  File "site-packages\mechanize-0.2.4-py2.7.egg\mechanize\_mechanize.py", line 499, in select_form
  File "site-packages\mechanize-0.2.4-py2.7.egg\mechanize\_html.py", line 544, in __getattr__
  File "site-packages\mechanize-0.2.4-py2.7.egg\mechanize\_html.py", line 557, in forms
  File "site-packages\mechanize-0.2.4-py2.7.egg\mechanize\_html.py", line 237, in forms
  File "site-packages\mechanize-0.2.4-py2.7.egg\mechanize\_form.py", line 844, in ParseResponseEx
  File "site-packages\mechanize-0.2.4-py2.7.egg\mechanize\_form.py", line 981, in _ParseFileEx
  File "site-packages\mechanize-0.2.4-py2.7.egg\mechanize\_form.py", line 758, in feed
  File "site-packages\mechanize-0.2.4-py2.7.egg\mechanize\_sgmllib_copy.py", line 110, in feed
  File "site-packages\mechanize-0.2.4-py2.7.egg\mechanize\_sgmllib_copy.py", line 144, in goahead
  File "site-packages\mechanize-0.2.4-py2.7.egg\mechanize\_sgmllib_copy.py", line 302, in parse_starttag
  File "site-packages\mechanize-0.2.4-py2.7.egg\mechanize\_sgmllib_copy.py", line 351, in finish_starttag
  File "site-packages\mechanize-0.2.4-py2.7.egg\mechanize\_sgmllib_copy.py", line 387, in handle_starttag
  File "site-packages\mechanize-0.2.4-py2.7.egg\mechanize\_form.py", line 408, in start_form
mechanize._form.ParseError: nested FORMs

[achims]

Da muss irgendein Tippfehler in der Suchzeile sein.
Vielleicht ist es doch besser, ich haenge das komplette recipe an.
Folgendes funktioniert bei mir.

[Divingduck]

@ achims
bitte stelle den funktionierenden Recipe in den Calibre Recipes Bereich. Dann kann Kovid diesen in der Datenbank updaten und er steht wieder allen zur Verfügung.

[beedaddy]

@achims: Schönen Dank! Dass es an dem verschachtelten Formular lag, hatte ich zwar auch herausgefunden, hatte aber keine Ahnung wie man das beheben kann. Deine Lösung funktioniert jedenfalls. Merci.

[achims]

Freut mich, dass es funktioniert.
Ich werde aber noch bis Donnerstag warten, bevor ich es in den Calibre Recipe Bereich poste, da ich noch nicht davon ueberzeugt bin, dass es auch bei kuenftigen Ausgaben funktioniert.

[Moik]

Geht jetzt auch bei mir, danke!

[achims]

OK, das recipe funktioniert immer noch. Ich habe es nun auch in den Calibre recipe Bereich geposted.

Wo ich schon dabei war, habe ich ein ganz neues recipe für die Zeit geschrieben.
Es lädt sämtliche angebotenen Ebooks (Die Zeit, Zeit Magazin) in allen Formaten (epub, mobi pdf, zip mit allen Audiobooks). Die herunterzuladenen Formate sind von Benutzer leicht wählbar.

Es werden zwei (gewünschte) neue Bucheinträge erstellt: Die Zeit (mit allen Formaten) und Zeit Magazin.

Und ein ungewünschter mit einer epub-Kopie, die den gewöhnlichen recipe-Konvertierungsdurchlauf mitgemacht hat. Dieser Eintrag kann gelöscht werden.

Ihr findet das recipe hier:
https://www.mobileread.com/forums/sho...d.php?t=155792

Bitte gebt Rückmeldung, ob es Euch gefällt.

Achim

[beedaddy]

@achims. Habe das neue Recipe noch nicht ausprobiert (werde ich noch machen) aber ich hatte bereits auf der Wunschliste, dass man auch die PDFs und das Magazin herunterladen kann. Also: Danke!