Request: Folha de Sao Paulo (Brazil) from UOL portal

luis.nando · 08-13-2011, 01:08 PM

It would be very nice if someone could create a recipe for the complete content of Folha de Sao Paulo offered by the UOL (www.uol.com.br/fsp) portal, I would do it but I do not know how to handle the download when there is no rss feed.

Someone?

Starson17 · 08-15-2011, 08:53 AM

Quote:

Originally Posted by luis.nando

I do not know how to handle the download when there is no rss feed.

You use parse_index.

luis.nando · 08-16-2011, 07:29 PM

Talking to a really noob here... where can i find instructions?

luis.nando · 08-16-2011, 08:43 PM

Ok, I've found the references for the Calibre manual and I managed to pass the password but I can't understand the parse_index() syntax. I used the NYTimes example from the manual, made some changes, but I guess I have to change something on the soup.findAll() function. I have NO knowledge on programing in python, actually NO knowledge at programing at all. So I need some patience from helpers.

Well, the code I am using is:

Code:

import string, re
from calibre import strftime
from calibre.web.feeds.recipes import BasicNewsRecipe
from calibre.ebooks.BeautifulSoup import BeautifulSoup

class FSP(BasicNewsRecipe):

    title       = 'Folha de São Paulo UOL'
    __author__  = 'Luis Fernando'
    description = 'Notícias Folha de São Paulo'
    timefmt = ' [%a, %d %b, %Y]'
    needs_subscription = True
    remove_tags_before = dict(id='article')
    remove_tags_after  = dict(id='article')
    remove_tags = [dict(attrs={'class':['articleTools', 'post-tools', 'side_tool', 'nextArticleLink clearfix']}),
                dict(id=['footer', 'toolsRight', 'articleInline', 'navigation', 'archive', 'side_search', 'blog_sidebar', 'side_tool', 'side_index']),
                dict(name=['script', 'noscript', 'style'])]
    encoding = 'cp1252'
    no_stylesheets = True
    extra_css = 'h1 {font: sans-serif large;}\n.byline {font:monospace;}'

    def get_browser(self):
        br = BasicNewsRecipe.get_browser()
        if self.username is not None and self.password is not None:
            br.open('https://acesso.uol.com.br/login.html')
            br.form = br.forms().next()
            br['user']   = self.username
            br['pass'] = self.password
            br.submit()
        return br

    def parse_index(self):
        soup = self.index_to_soup('http://www1.folha.uol.com.br/fsp/indices/')

        def feed_title(div):
            return ''.join(div.findAll(text=True, recursive=False)).strip()

        articles = {}
        key = None
        ans = []
        for div in soup.findAll(True,
             attrs={'class':['section-headline', 'story', 'story headline']}):

             if div['class'] == 'section-headline':
                 key = string.capwords(feed_title(div))
                 articles[key] = []
                 ans.append(key)

             elif div['class'] in ['story', 'story headline']:
                 a = div.find('a', href=True)
                 if not a:
                     continue
                 url = re.sub(r'\?.*', '', a['href'])
                 url += '?pagewanted=all'
                 title = self.tag_to_string(a, use_alt=True).strip()
                 description = ''
                 pubdate = strftime('%a, %d %b')
                 summary = div.find(True, attrs={'class':'summary'})
                 if summary:
                     description = self.tag_to_string(summary, use_alt=False)

                 feed = key if key is not None else 'Uncategorized'
                 if not articles.has_key(feed):
                     articles[feed] = []
                 if not 'podcasts' in url:
                     articles[feed].append(
                               dict(title=title, url=url, date=pubdate,
                                    description=description,
                                    content=''))
        ans = self.sort_index_by(ans, {'The Front Page':-1, 'Dining In, Dining Out':1, 'Obituaries':2})
        ans = [(key, articles[key]) for key in ans if articles.has_key(key)]
        return ans

    def preprocess_html(self, soup):
        refresh = soup.find('meta', {'http-equiv':'refresh'})
        if refresh is None:
            return soup
        content = refresh.get('content').partition('=')[2]
        raw = self.browser.open('http://www1.folha.uol.com.br/fsp/'+content).read()
        return BeautifulSoup(raw.decode('cp1252', 'replace'))

and the page I want to get the index has the following code:

Code:

<HTML>
<!--noindex-->
<head>
<title>Folha de S.Paulo - &Iacute;ndice</title>
<script language="javascript" type="text/javascript" src="http://www1.folha.uol.com.br/folha/furniture/ads/banners.js"></script>
</head>

<BODY BACKGROUND="/fsp/images/findice.gif" BGCOLOR="#FFFFFF" TEXT="#000000" LINK="#000000" VLINK="#888888" ALINK="#ffff00">

<!--BARRA_DO_UOL-600-->
<table width="600" border="0" cellpadding="0" cellspacing="0">
<tr align="center"><td><script language="javascript" type="text/javascript" src="http://barra.uol.com.br/b/barrain.js"></script></td></tr>
</table>
<!--/BARRA_DO_UOL-600-->

<!--BANNERS-->
<table width="600" border="0" cellpadding="0" cellspacing="0">
<tr align="center" valign="middle"><td height="70">
<script language="javascript" type="text/javascript"><!--
folha_ads_show( 'calhau' , '468x60', '1' ) ;
//--></script>
</td></tr>
</table>
<!--/BANNERS-->

<BR>
<table border=0 cellpadding=0 cellspacing=0 width=560>
<tr>
<td align=right><img src="/fsp/images/fsplogo.gif" border=0>
<br><font size=1>S&atilde;o Paulo, Ter&ccedil;a-feira, 16 de Agosto de 2011</font></td>

</tr>
</table>

<TABLE width=600 cellpadding=0 cellspacing=0>
<TR>
<TD WIDTH=100> </TD>
<TD><IMG SRC="/fsp/images/barind.gif" WIDTH=500 height="1"></TD>
</TR>
</TABLE>


<!-- Navega&ccedil;&atilde;o das Editorias --->

<table border=0 cellpadding=0 cellspacing=0 width=560>
<tr>
<td align=right>

<font size=-1>
<!-- ATUALIZAR A DATA DO INDEX -->
<A HREF="/fsp/">capa</A> | 

<A HREF="#opiniao">opini�o</A> | <A HREF="#poder">poder</A> | <A HREF="#mundo">mundo</A> | <A HREF="#ciencia">ci�ncia</A> | <A HREF="#mercado">mercado</A> | <A HREF="#cotidian">cotidiano</A> | <A HREF="#saude">sa�de</A> | <A HREF="#esporte">esporte</A> | <A HREF="#ilustrad">ilustrada</A> | <A HREF="#quadrin">quadrinhos</A> | <A HREF="#campinas">campinas</A> | <A HREF="#corrida">folha corrida</A> | <A HREF="#ribeirao">ribeir�o</A> | <A HREF="#equilibrio">equil�brio</A> | 


<!--
<A HREF="#especial">especial</A> |
-->
<A HREF="/fsp/cp16082011.htm">fac-s&iacute;mile da Primeira P&aacute;gina</A> |
<A HREF="/fsp/arquivo.htm">arquivo</A> 

</font>

</td>
</tr>
</table>

<br>
<table width = 500>
<tr><td width=100></td>

<td width=400>


<!--- Aqui come&ccedil;a a parte autom&aacute;tica  ---->

<BR><BR>
<table width=400><tr><td width=350>
<A Name = "opiniao"><img src="/fsp/images/opiniao.gif" border=0></A>
</td>
<td width=50>
<A HREF="#top"><img src="/fsp/images/topfsp.gif" border=0></A> <BR>
</td></tr></table>

<B>Editoriais:<a href="/fsp/opiniao/fz1608201101.htm"> A imagem de Dilma</a><BR></B>

<B>Editoriais:<a href="/fsp/opiniao/fz1608201102.htm"> Orgulho vetado<br></a><BR></B>
<B>S&atilde;o Paulo - Fernando de Barros e Silva:<a href="/fsp/opiniao/fz1608201103.htm"> Quanto vale a Agricultura?</a><BR></B>
<B>Bras&iacute;lia - Eliane Cantanh&ecirc;de:<a href="/fsp/opiniao/fz1608201104.htm"> Escolinha do professor Fred</a><BR></B>
<B>Rio de Janeiro - Carlos Heitor Cony:<a href="/fsp/opiniao/fz1608201105.htm"> Ju&iacute;zo final</a><BR></B>

<B>Vladimir Safatle:<a href="/fsp/opiniao/fz1608201106.htm"> Colapso moral<br></a><BR></B>
<B>TEND&Ecirc;NCIAS/DEBATES<br>Boaventura de Sousa Santos:<a href="/fsp/opiniao/fz1608201107.htm"> O caos da ordem</a><BR></B>
<B>Rog&eacute;rio Cezar de Cerqueira Leite:<a href="/fsp/opiniao/fz1608201108.htm"> Por uma revis&atilde;o da legisla&ccedil;&atilde;o patent&aacute;ria<br></a><BR></B>

<B><a href="/fsp/opiniao/fz1608201109.htm">Painel do Leitor</a><BR></B>
<B><a href="/fsp/opiniao/fz1608201110.htm">Erramos</a><BR></B>

<BR><BR>
<table width=400><tr><td width=350>
<A Name = "poder"><img src="/fsp/images/poder.gif" border=0></A>
</td>
<td width=50>
<A HREF="#top"><img src="/fsp/images/topfsp.gif" border=0></A> <BR>
</td></tr></table>

<B><a href="/fsp/poder/po1608201101.htm">Painel</a><BR></B>
<B><a href="/fsp/poder/po1608201102.htm">Agricultura teve licita&ccedil;&otilde;es "corrompidas", diz servidor</a><BR></B>

<DD><a href="/fsp/poder/po1608201103.htm">Frases</a><BR>
<DD>Outro lado:<a href="/fsp/poder/po1608201104.htm"> Ministro afirma que funcion&aacute;rio precisa exibir "nomes e provas"</a><BR>
<DD><a href="/fsp/poder/po1608201105.htm">Servidor &eacute; alvo de processo na Agricultura</a><BR>
<DD>Agricultura:<a href="/fsp/poder/po1608201106.htm"> Homem de confian&ccedil;a de Mantega &eacute; o novo n&uacute;mero 2 da pasta</a><BR>

<B>Janio de Freitas:<a href="/fsp/poder/po1608201107.htm"> O crime na frente</a><BR></B>
<B><a href="/fsp/poder/po1608201108.htm">Conv&ecirc;nio suspeito do Turismo foi assinado em tempo recorde</a><BR></B>
<DD>ONGs:<a href="/fsp/poder/po1608201109.htm"> Embratur vai suspender conv&ecirc;nios</a><BR>
<B><a href="/fsp/poder/po1608201110.htm">Dilma critica "abusos" em investiga&ccedil;&otilde;es</a><BR></B>
<DD><a href="/fsp/poder/po1608201111.htm">Senadores cobram "faxina mais ampla" no governo</a><BR>

<B><a href="/fsp/poder/po1608201112.htm">General afirma que Jobim "j&aacute; foi tarde"</a><BR></B>
<B>Foco:<a href="/fsp/poder/po1608201113.htm"> Boeing instala simulador de voo para atrair congressistas</a><BR></B>
<B>Ex-presidente:<a href="/fsp/poder/po1608201114.htm"> Instituto Lula ter&aacute; participa&ccedil;&atilde;o de dois ministros do governo Dilma</a><BR></B>
<B><a href="/fsp/poder/po1608201115.htm">Alta do petr&oacute;leo e d&oacute;lar barato elevam lucro da Petrobras</a><BR></B>

<B><a href="/fsp/poder/po1608201116.htm">Governo teme projetos que elevam gastos</a><BR></B>
<B><a href="/fsp/poder/po1608201117.htm">Dilma veta proposta de aumento real a aposentado</a><BR></B>
<B><a href="/fsp/poder/po1608201118.htm">Economistas defendem cautela para baixar juros</a><BR></B>

<BR><BR>
<table width=400><tr><td width=350>
<A Name = "mundo"><img src="/fsp/images/mundo.gif" border=0></A>
</td>
<td width=50>
<A HREF="#top"><img src="/fsp/images/topfsp.gif" border=0></A> <BR>
</td></tr></table>

<B><a href="/fsp/mundo/ft1608201101.htm">Gigantismo de a&ccedil;&atilde;o para salvar Espanha e It&aacute;lia surpreende</a><BR></B>

<B><a href="/fsp/mundo/ft1608201102.htm">Obama lan&ccedil;a turn&ecirc; em tom de campanha e &eacute; alvo de cr&iacute;ticas</a><BR></B>
<DD><a href="/fsp/mundo/ft1608201103.htm">Embaixador dos EUA assume cargo em Washington</a><BR>
<B>An&aacute;lise/De novo, a crise:<a href="/fsp/mundo/ft1608201104.htm"> Juros baixos n&atilde;o bastam para compradores</a><BR></B>
<B><a href="/fsp/mundo/ft1608201105.htm">S&eacute;rie de ataques no Iraque deixa 60 mortos</a><BR></B>

<B><a href="/fsp/mundo/ft1608201106.htm">Paquist&atilde;o fica em alerta ap&oacute;s voo dos EUA</a><BR></B>
<DD><a href="/fsp/mundo/ft1608201107.htm">Pa&iacute;s acelerou produ&ccedil;&atilde;o de ogivas nucleares</a><BR>
<B>Cl&oacute;vis Rossi:<a href="/fsp/mundo/ft1608201108.htm"> Populismo vive, viva o populismo?</a><BR></B>
<B><a href="/fsp/mundo/ft1608201109.htm">Bolivianos protestam contra obra brasileira</a><BR></B>
<B><a href="/fsp/mundo/ft1608201110.htm">Fragilidade da oposi&ccedil;&atilde;o ajuda Cristina em prim&aacute;rias</a><BR></B>

<B>Minha Hist&oacute;ria - Abdirizak Ali Mohamed, 22:<a href="/fsp/mundo/ft1608201111.htm"> Medicina de alto risco</a><BR></B>

<BR><BR>
<table width=400><tr><td width=350>
<A Name = "ciencia"><img src="/fsp/images/ciencia.gif" border=0></A>
</td>
<td width=50>
<A HREF="#top"><img src="/fsp/images/topfsp.gif" border=0></A> <BR>
</td></tr></table>

<B><a href="/fsp/ciencia/fe1608201101.htm">FOLHA.com</a><BR></B>

<B><a href="/fsp/ciencia/fe1608201102.htm">Amaz&ocirc;nia &eacute; a galinha dos ovos de ouro do agroneg&oacute;cio brasileiro</a><BR></B>
<DD><a href="/fsp/ciencia/fe1608201103.htm">Frase</a><BR>
<DD>Raio-X:<a href="/fsp/ciencia/fe1608201104.htm"> Thomas Lovejoy, 69</a><BR>

<BR><BR>
<table width=400><tr><td width=350>
<A Name = "mercado"><img src="/fsp/images/mercado.gif" border=0></A>
</td>

<td width=50>
<A HREF="#top"><img src="/fsp/images/topfsp.gif" border=0></A> <BR>
</td></tr></table>

<B><a href="/fsp/mercado/me1608201101.htm">Mercado Aberto</a><BR></B>
<B><a href="/fsp/mercado/me1608201102.htm">Cota&ccedil;&otilde;es/Ontem</a><BR></B>
<B><a href="/fsp/mercado/me1608201103.htm">Google compra Motorola e desafia Apple</a><BR></B>
<DD>An&aacute;lise:<a href="/fsp/mercado/me1608201104.htm"> Al&eacute;m das patentes, Google busca trunfo na disputa por royalty</a><BR>

<DD>E eu com isso?:<a href="/fsp/mercado/me1608201105.htm"> Disputa com Apple pode reduzir pre&ccedil;os</a><BR>
<B><a href="/fsp/mercado/me1608201106.htm">Pa&iacute;s tem R$ 300 mi em moedas perdidas</a><BR></B>
<B>Vinicius Torres Freire:<a href="/fsp/mercado/me1608201107.htm"> Dilma, efeito Obama, ch&aacute; e lama</a><BR></B>
<B>Foco:<a href="/fsp/mercado/me1608201108.htm"> Byafra 'espanta' ladr&atilde;o em v&iacute;deo e vira sucesso na web</a><BR></B>

<B>Telefonia:<a href="/fsp/mercado/me1608201109.htm"> Oi lucra R$ 354 mi no 2� trimestre, queda de 14%</a><BR></B>
<B>Commodities:<a href="/fsp/mercado/me1608201110.htm"> Marfrig estuda comprar parte da BR Foods</a><BR></B>
<DD><a href="/fsp/mercado/me1608201111.htm">Conta de luz pode ficar R$ 1 tri menor em 20 anos, diz FIESP</a><BR>
<DD>An&aacute;lise/Commodities:<a href="/fsp/mercado/me1608201112.htm"> Fundamentos econ&ocirc;micos s&oacute;lidos mant&ecirc;m o milho em alta</a><BR>

<B>Vaiv&eacute;m - Mauro Zafalon:<a href="/fsp/mercado/me1608201113.htm"> Pre&ccedil;o do feij&atilde;o sobe com perdas no Nordeste</a><BR></B>
<B><a href="/fsp/mercado/me1608201114.htm">Projeto limita atua&ccedil;&atilde;o de correspondente banc&aacute;rio</a><BR></B>
<B>Balan&ccedil;o:<a href="/fsp/mercado/me1608201115.htm"> BNDESPar engorda lucro no 1� semestre com venda de a&ccedil;&otilde;es</a><BR></B>

<B><a href="/fsp/mercado/me1608201116.htm">FOLHA.com</a><BR></B>
<B>Benjamin Steinbruch:<a href="/fsp/mercado/me1608201117.htm"> N&atilde;o perder o af&atilde;</a><BR></B>
<B><a href="/fsp/mercado/me1608201118.htm">Nordeste deve puxar setor de conveni&ecirc;ncia</a><BR></B>
<DD><a href="/fsp/mercado/me1608201119.htm">Faturamento de posto com loja &eacute; 35% maior</a><BR>

<BR><BR>
<table width=400><tr><td width=350>

<A Name = "cotidian"><img src="/fsp/images/cotidian.gif" border=0></A>
</td>
<td width=50>
<A HREF="#top"><img src="/fsp/images/topfsp.gif" border=0></A> <BR>
</td></tr></table>

<B><a href="/fsp/cotidian/ff1608201101.htm">Fiscaliza&ccedil;&atilde;o pr&oacute;-pedestre multa 378 por dia</a><BR></B>
<DD><a href="/fsp/cotidian/ff1608201102.htm">PM aplicou 469 autua&ccedil;&otilde;es em tr&ecirc;s dias</a><BR>
<DD><a href="/fsp/cotidian/ff1608201103.htm">Professora foi atropelada na faixa, afirmam testemunhas</a><BR>

<DD><a href="/fsp/cotidian/ff1608201104.htm">Sem&aacute;foro &eacute; instalado e j&aacute; tem pane</a><BR>
<B>Jairo Marques:<a href="/fsp/cotidian/ff1608201105.htm"> Voc&ecirc; sabe mexer com um PC?</a><BR></B>
<B><a href="/fsp/cotidian/ff1608201106.htm">A cidade &eacute; sua</a><BR></B>

<B><a href="/fsp/cotidian/ff1608201107.htm">Atmosfera</a><BR></B>
<B><a href="/fsp/cotidian/ff1608201108.htm">H&aacute; 90 Anos</a><BR></B>
<B>Foco:<a href="/fsp/cotidian/ff1608201109.htm"> Prefeitura planeja demolir viaduto na av. Nove de Julho</a><BR></B>
<B><a href="/fsp/cotidian/ff1608201110.htm">Alckmin recicla meta em plano para metr&ocirc;</a><BR></B>
<DD><a href="/fsp/cotidian/ff1608201111.htm">Frase</a><BR>
<B><a href="/fsp/cotidian/ff1608201112.htm">Lojistas cercam Kassab e pedem abertura da Feira da Madrugada</a><BR></B>
<DD><a href="/fsp/cotidian/ff1608201113.htm">Frase</a><BR>

<B>Lixo:<a href="/fsp/cotidian/ff1608201114.htm"> S&atilde;o Paulo recebe primeiro cont&ecirc;iner e coleta mecanizada</a><BR></B>
<B><a href="/fsp/cotidian/ff1608201115.htm">Ju&iacute;za temia processo de policial, diz fam&iacute;lia</a><BR></B>
<DD><a href="/fsp/cotidian/ff1608201116.htm">Fam&iacute;lia da ju&iacute;za critica atitude do governo</a><BR>
<DD>Opini&atilde;o:<a href="/fsp/cotidian/ff1608201117.htm"> Implementa&ccedil;&atilde;o do programa estadual de prote&ccedil;&atilde;o &eacute; urgente</a><BR>

<B><a href="/fsp/cotidian/ff1608201118.htm">Mortes</a><BR></B>
<DD>Jos&eacute; Saldanha Menezes Sobrinho (1918-2011):<a href="/fsp/cotidian/ff1608201119.htm"> Z&eacute; Saldanha, o "rep&oacute;rter das rimas"</a><BR>
<B><a href="/fsp/cotidian/ff1608201120.htm">No &uacute;ltimo m&ecirc;s, Vila Cruzeiro teve quatro arrast&otilde;es</a><BR></B>
<DD><a href="/fsp/cotidian/ff1608201121.htm">Frases</a><BR>

<DD><a href="/fsp/cotidian/ff1608201122.htm">Jovens de classe m&eacute;dia roubam em clube</a><BR>
<B>Foco:<a href="/fsp/cotidian/ff1608201123.htm"> Umidade relativa do ar atinge n&iacute;veis de deserto em Bras&iacute;lia</a><BR></B>
<B><a href="/fsp/cotidian/ff1608201124.htm">Seguran&ccedil;a de casa noturna espanca rapaz, diz fam&iacute;lia</a><BR></B>
<B><a href="/fsp/cotidian/ff1608201125.htm">FOLHA.com</a><BR></B>
<B><a href="/fsp/cotidian/ff1608201126.htm">N&uacute;mero de div&oacute;rcios dispara em SP ap&oacute;s lei</a><BR></B>

<DD><a href="/fsp/cotidian/ff1608201127.htm">Frase</a><BR>
<B><a href="/fsp/cotidian/ff1608201128.htm">Governo cria comit&ecirc; para gerenciar aeroportos</a><BR></B>
<B>Vacina&ccedil;&atilde;o:<a href="/fsp/cotidian/ff1608201129.htm"> S&atilde;o Paulo prorroga campanha contra paralisia infantil</a><BR></B>
<B><a href="/fsp/cotidian/ff1608201130.htm">Parquinho no Rio j&aacute; teve outra morte</a><BR></B>
<DD><a href="/fsp/cotidian/ff1608201131.htm">Frases</a><BR>

<DD>Depoimento:<a href="/fsp/cotidian/ff1608201132.htm"> "Quando dei por mim, j&aacute; estava com a cabe&ccedil;a ensanguentada"</a><BR>
<B>Ara&ccedil;atuba:<a href="/fsp/cotidian/ff1608201133.htm"> Garota de 11 anos &eacute; achada b&ecirc;bada na rua</a><BR></B>
<B>Homofobia:<a href="/fsp/cotidian/ff1608201134.htm"> Homens agridem transexual ap&oacute;s acidente</a><BR></B>

<B>Fac&ccedil;&atilde;o criminosa:<a href="/fsp/cotidian/ff1608201135.htm"> Rota prende acusado de sete assassinatos</a><BR></B>

<BR><BR>
<table width=400><tr><td width=350>
<A Name = "saude"><img src="/fsp/images/saude.gif" border=0></A>
</td>
<td width=50>
<A HREF="#top"><img src="/fsp/images/topfsp.gif" border=0></A> <BR>
</td></tr></table>

<B><a href="/fsp/saude/sd1608201101.htm">Qu&iacute;mio aquecida causa pol&ecirc;mica nos EUA</a><BR></B>

<DD><a href="/fsp/saude/sd1608201102.htm">Tratamento est&aacute; se disseminando no pa&iacute;s</a><BR>

<BR><BR>
<table width=400><tr><td width=350>
<A Name = "esporte"><img src="/fsp/images/esporte.gif" border=0></A>
</td>
<td width=50>
<A HREF="#top"><img src="/fsp/images/topfsp.gif" border=0></A> <BR>
</td></tr></table>

<B><a href="/fsp/esporte/fk1608201101.htm">Painel FC</a><BR></B>

<B><a href="/fsp/esporte/fk1608201102.htm">Alvo</a><BR></B>
<DD><a href="/fsp/esporte/fk1608201103.htm">Presidente diz ter recusado oferta do PSG por Ganso</a><BR>
<B>S&atilde;o Paulo:<a href="/fsp/esporte/fk1608201104.htm"> Ap&oacute;s cirurgia, Luis Fabiano festeja j&aacute; conseguir andar normalmente</a><BR></B>
<B>Palmeiras:<a href="/fsp/esporte/fk1608201105.htm"> Diretoria admite interesse em emprestar Pierre ao Atl&eacute;tico-MG</a><BR></B>

<B><a href="/fsp/esporte/fk1608201106.htm">Peso pesados</a><BR></B>
<DD><a href="/fsp/esporte/fk1608201107.htm">Inter j&aacute; admite perder atletas no novo cen&aacute;rio</a><BR>
<DD><a href="/fsp/esporte/fk1608201108.htm">Somos l&iacute;deres por sorte, diz goleiro</a><BR>
<B><a href="/fsp/esporte/fk1608201109.htm">Cartola faz explodir d&iacute;vida do Barcelona</a><BR></B>
<DD><a href="/fsp/esporte/fk1608201110.htm">Pol&iacute;cia apura gastos e lucro de partida no DF</a><BR>
<B>Sele&ccedil;&atilde;o:<a href="/fsp/esporte/fk1608201111.htm"> Amistoso com Egito dever&aacute; ser cancelado</a><BR></B>

<B>Los gringos - Paul Doyle:<a href="/fsp/esporte/fk1608201112.htm"> Finais infelizes</a><BR></B>
<B>Entrevista -  Eduardo de Rose:<a href="/fsp/esporte/fk1608201113.htm"> N&atilde;o tenho contato nem contrato, n&atilde;o defendo o atleta</a><BR></B>
<DD><a href="/fsp/esporte/fk1608201114.htm">O doping de Solberg / perguntas e respostas</a><BR>
<B><a href="/fsp/esporte/fk1608201115.htm">Laborat&oacute;rio n&atilde;o &eacute; consultado e pede explica&ccedil;&otilde;es a federa&ccedil;&atilde;o</a><BR></B>

<B><a href="/fsp/esporte/fk1608201116.htm">Bellucci se perde em Grand Slams</a><BR></B>
<DD><a href="/fsp/esporte/fk1608201117.htm">Tenista lamenta irregularidade</a><BR>
<B>Indy:<a href="/fsp/esporte/fk1608201118.htm"> Prova de SP vai ressarcir torcida</a><BR></B>
<B>Ingl&ecirc;s:<a href="/fsp/esporte/fk1608201119.htm"> Ag&uuml;ero anota 2 gols na estreia</a><BR></B>

<BR><BR>
<table width=400><tr><td width=350>

<A Name = "ilustrad"><img src="/fsp/images/ilustrad.gif" border=0></A>
</td>
<td width=50>
<A HREF="#top"><img src="/fsp/images/topfsp.gif" border=0></A> <BR>
</td></tr></table>

<B><a href="/fsp/ilustrad/fq1608201101.htm">Astrologia</a><BR></B>
<B>Jos&eacute; Sim&atilde;o:<a href="/fsp/ilustrad/fq1608201102.htm"> UEBA! Algema s&oacute; de sex shop!</a><BR></B>

<B>Televis&atilde;o/Outro Canal - Keila Jimenez:<a href="/fsp/ilustrad/fq1608201103.htm"> Globo quer exibir show do Rei em 3D</a><BR></B>
<DD><a href="/fsp/ilustrad/fq1608201104.htm">Melhor do dia</a><BR>
<DD>Cr&iacute;tica:<a href="/fsp/ilustrad/fq1608201105.htm"> 'Gloria, a Mulher' &eacute; remake que n&atilde;o quis bater o filme original</a><BR>
<DD><a href="/fsp/ilustrad/fq1608201106.htm">Acidente de carro &eacute; ponto de partida da miniss&eacute;rie 'Collision'</a><BR>

<DD><a href="/fsp/ilustrad/fq1608201107.htm">Programa&ccedil;&atilde;o de TV</a><BR>
<B><a href="/fsp/ilustrad/fq1608201108.htm">M&ocirc;nica Bergamo</a><BR></B>
<B><a href="/fsp/ilustrad/fq1608201109.htm">A princesinha das artes</a><BR></B>
<DD><a href="/fsp/ilustrad/fq1608201110.htm">Pai e filha divergem sobre a presid&ecirc;ncia</a><BR>
<B>Tecnologia:<a href="/fsp/ilustrad/fq1608201111.htm"> Pr&ecirc;mio Sergio Motta anuncia os 12 indicados</a><BR></B>
<B><a href="/fsp/ilustrad/fq1608201112.htm">FOLHA.com</a><BR></B>

<B>Minha Hist&oacute;ria - Andrew Zingg, 21:<a href="/fsp/ilustrad/fq1608201113.htm"> Esqueceram de mim</a><BR></B>
<B><a href="/fsp/ilustrad/fq1608201114.htm">Cinemateca celebra a partir de hoje o "Chaplin latino"</a><BR></B>
<B><a href="/fsp/ilustrad/fq1608201115.htm">Vanguart reinventa o neofolk em 'Boa Parte de Mim Vai Embora'</a><BR></B>
<DD><a href="/fsp/ilustrad/fq1608201116.htm">Roqueiros sens&iacute;veis se op&otilde;em aos tipos malvados de 2000</a><BR>
<DD>Cr&iacute;tica/POP:<a href="/fsp/ilustrad/fq1608201117.htm"> Segundo CD mant&eacute;m atmosfera retr&ocirc; e n&atilde;o cede a versos f&aacute;ceis</a><BR>

<BR><BR>
<table width=400><tr><td width=350>
<A Name = "quadrin"><img src="/fsp/images/quadrin.gif" border=0></A>
</td>
<td width=50>
<A HREF="#top"><img src="/fsp/images/topfsp.gif" border=0></A> <BR>
</td></tr></table>

<B><a href="/fsp/quadrin/f31608201101.htm">Chiclete com Banana</a><BR></B>
<B><a href="/fsp/quadrin/f31608201102.htm">Piratas do Tiet&ecirc;</a><BR></B>
<B><a href="/fsp/quadrin/f31608201103.htm">Bifaland, a cidade maldita</a><BR></B>
<B><a href="/fsp/quadrin/f31608201104.htm">Daiquiri</a><BR></B>

<B><a href="/fsp/quadrin/f31608201105.htm">N&iacute;quel N&aacute;usea</a><BR></B>
<B><a href="/fsp/quadrin/f31608201106.htm">Mundo Monstro</a><BR></B>
<B><a href="/fsp/quadrin/f31608201107.htm">Macanudo</a><BR></B>

<BR><BR>
<table width=400><tr><td width=350>
<A Name = "campinas"><img src="/fsp/images/campinas.gif" border=0></A>
</td>
<td width=50>
<A HREF="#top"><img src="/fsp/images/topfsp.gif" border=0></A> <BR>
</td></tr></table>

<B><a href="/fsp/campinas/cm1608201101.htm">ACONTECE<br>Cinema - Sinopses</a><BR></B>
<B><a href="/fsp/campinas/cm1608201102.htm">Endere&ccedil;os</a><BR></B>

<BR><BR>
<table width=400><tr><td width=350>
<A Name = "corrida"><img src="/fsp/images/corrida.gif" border=0></A>
</td>
<td width=50>
<A HREF="#top"><img src="/fsp/images/topfsp.gif" border=0></A> <BR>
</td></tr></table>

<B><a href="/fsp/corrida/cr1608201101.htm">Ap&oacute;s nova lei, div&oacute;rcios aumentam 286% em SP</a><BR></B>
<B><a href="/fsp/corrida/cr1608201102.htm">R&aacute;pidas</a><BR></B>
<B><a href="/fsp/corrida/cr1608201103.htm">Amanh&atilde; na Folha</a><BR></B>
<B><a href="/fsp/corrida/cr1608201104.htm">5 Minutos</a><BR></B>
<B><a href="/fsp/corrida/cr1608201105.htm">+Colunas</a><BR></B>
<B><a href="/fsp/corrida/cr1608201106.htm">Frases do dia</a><BR></B>

<B><a href="/fsp/corrida/cr1608201107.htm">Folha.com</a><BR></B>

<BR><BR>
<table width=400><tr><td width=350>
<A Name = "ribeirao"><img src="/fsp/images/ribeirao.gif" border=0></A>
</td>
<td width=50>
<A HREF="#top"><img src="/fsp/images/topfsp.gif" border=0></A> <BR>
</td></tr></table>

<B><a href="/fsp/ribeirao/ri1608201101.htm">Recreativa sofre roubo durante matin&ecirc;</a><BR></B>
<DD><a href="/fsp/ribeirao/ri1608201102.htm">Clube pretende reavaliar loca&ccedil;&atilde;o de seu sal&atilde;o</a><BR>

<B><a href="/fsp/ribeirao/ri1608201103.htm">Novo camel&oacute;dromo sair&aacute; com ao menos um ano de atraso</a><BR></B>
<B><a href="/fsp/ribeirao/ri1608201104.htm">Toque de recolher s&oacute; vale ap&oacute;s Festa do Pe&atilde;o</a><BR></B>
<B>Sa&uacute;de:<a href="/fsp/ribeirao/ri1608201105.htm"> Sindicato dos propagandistas rejeita proposta da Prefeitura de Ribeir&atilde;o</a><BR></B>

<B><a href="/fsp/ribeirao/ri1608201106.htm">Dois ju&iacute;zes de Ribeir&atilde;o recebem escolta</a><BR></B>
<B>Bicicletas roubadas:<a href="/fsp/ribeirao/ri1608201107.htm"> Adolescente de  17 anos se apresenta &agrave; Pol&iacute;cia Civil</a><BR></B>
<B>Parque:<a href="/fsp/ribeirao/ri1608201108.htm"> Com carrapatos, Maurilio Biagi &eacute; fechado por um dia</a><BR></B>

<B>P&oacute;s-acidente:<a href="/fsp/ribeirao/ri1608201109.htm"> Depois de cirurgia no p&eacute;, D&aacute;rcy Vera volta ao trabalho</a><BR></B>
<B>Tr&acirc;nsito:<a href="/fsp/ribeirao/ri1608201110.htm"> Promotoria entra com a&ccedil;&atilde;o para que Transerp pare de multar</a><BR></B>

<BR><BR>
<table width=400><tr><td width=350>
<A Name = "equilibrio"><img src="/fsp/images/equilibrio.gif" border=0></A>

</td>
<td width=50>
<A HREF="#top"><img src="/fsp/images/topfsp.gif" border=0></A> <BR>
</td></tr></table>

<B>Outras ideias - Anna Veronica Mautner:<a href="/fsp/equilibrio/eq1608201101.htm"> Mudan&ccedil;as no cotidiano</a><BR></B>
<B><a href="/fsp/equilibrio/eq1608201102.htm">Tudo em tr&ecirc;s tempos</a><BR></B>
<B><a href="/fsp/equilibrio/eq1608201103.htm">Comente, pergunte</a><BR></B>
<B>Roda e avisa:<a href="/fsp/equilibrio/eq1608201104.htm"> Produtos, servi&ccedil;os e ideias para o corpo e o esp&iacute;rito</a><BR></B>

<B><a href="/fsp/equilibrio/eq1608201105.htm">&Eacute; uma tristeza</a><BR></B>
<DD><a href="/fsp/equilibrio/eq1608201106.htm">Frases</a><BR>
<DD><a href="/fsp/equilibrio/eq1608201107.htm">&Eacute; depress&atilde;o ou melancolia?</a><BR>
<DD>An&aacute;lise:<a href="/fsp/equilibrio/eq1608201108.htm"> Uma bela vis&atilde;o do apocalipse</a><BR>
<DD><a href="/fsp/equilibrio/eq1608201109.htm">Produtividade melanc&oacute;lica</a><BR>

<B><a href="/fsp/equilibrio/eq1608201110.htm">Bonsai-terapia</a><BR></B>
<DD><a href="/fsp/equilibrio/eq1608201111.htm">Cuide do seu</a><BR>
<B>Neuro - Suzana Herculano-Houzel:<a href="/fsp/equilibrio/eq1608201112.htm"> Palavras, palavrinhas e palavr&otilde;es</a><BR></B>
<B>Rosely Say&atilde;o:<a href="/fsp/equilibrio/eq1608201113.htm"> Crian&ccedil;a n&atilde;o sabe brincar</a><BR></B>


<!-- Aqui termina a parte autom&aacute;tica ---->

<!-- Come&ccedil;a o Rodap&eacute;  --->



<BR><BR>



</td></tr></table>

</table>

Someone?

luis.nando · 08-21-2011, 11:03 AM

Here is an example of a specific page:

Code:

<!-- Página criada com o WebAssist 4.0 / Para uso do Universo Online e parceiros / WA4EPA036@UOL -->
<html>
<head>
<title>Folha de S.Paulo - Dilma corta gastos de ministros aliados e poupa &aacute;reas do PT - 21/08/2011</title>
<meta name="section" content="Folha de S.Paulo - Poder">
<meta name="title" content="Dilma corta gastos de ministros aliados e poupa &aacute;reas do PT">
<meta name="date" content="2h30 21/08/2011">
<meta http-equiv="Content-Type" content="text/html; charset=ISO-8859-1">
<meta http-equiv="Pragma" content="no-cache">
<meta http-equiv="Expires" content="Thu, 01 Jan 1970 00:00:00 GMT">
<meta http-equiv="Cache-Control" content="no-store">
<script language="javascript" type="text/javascript" src="http://www1.folha.uol.com.br/folha/furniture/ads/banners.js"></script>
</head>

<BODY BACKGROUND="images/fbrasil.gif" TEXT="#000000" LINK="#000000" VLINK="#888888" ALINK="#FFFF00" style="margin:0 auto; width: 600px; background:#fff;">

<!--BARRA_DO_UOL-600-->
<table width="600" border="0" cellpadding="0" cellspacing="0">
<tr align="center"><td><script language="javascript" type="text/javascript" src="http://barra.uol.com.br/b/barrain.js"></script></td></tr>
</table>
<!--/BARRA_DO_UOL-600-->

<a href="/fsp/inde21082011.shl"><IMG SRC="../images/linkfsp.gif" border=0></A>
<a href="/fsp/indices/inde21082011.htm"><IMG SRC="../images/linkindice.gif" border=0></A><BR>

<!--BANNERS-->
<table width="600" border="0" cellpadding="0" cellspacing="0">
<tr align="center" valign="middle"><td height="70">
<script language="javascript" type="text/javascript"><!--
folha_ads_show( 'jornal.brasil' , '468x60', '1' ) ;
//--></script>
</td></tr>

</table>
<!--/BANNERS-->

<br>

<TABLE BORDER=0 WIDTH=570 cellpadding=0 cellspacing=0>
<TR><TD ALIGN=RIGHT><font size=1>S&atilde;o Paulo, domingo, 21 de agosto de 2011</font>
<IMG SRC="images/brasil.gif" hspace=10></TD></TR></TABLE>

<TABLE width=600 cellpadding=0 cellspacing=0>
<TR><TD WIDTH=100> </TD>
<TD align=right><IMG SRC="images/brabar.gif" WIDTH=500><BR>
</td></tr></table>

<table width = 500>
<tr><td width=100></td>
<td width=400>
<!--NOTICIA-->
<!--DATA:21/08/2011-->
<!--TITULO:Dilma corta gastos de ministros aliados e poupa &aacute;reas do PT--><a href="po2108201101.htm">Texto Anterior</a> | <a href="po2108201103.htm">Pr&oacute;ximo Texto</a> | <a href="inde21082011.htm">&Iacute;ndice</a> | <a href="http://tools.folha.com.br/feedback?url=referrer">Comunicar Erros</a>

<BR><BR>
<!--TITLE--><font size=5><b>
Dilma corta gastos de ministros aliados e poupa &aacute;reas do PT
</b></font><br><br><!--/TITLE-->

<!--LINE--><b>
Investimentos de petistas cresceram 13,7%, mas pastas de outros partidos investiram 4,8% menos que em 2010<br>
<br>
Impacto desigual do aperto fiscal contribui para alimentar tens&atilde;o na base de apoio ao governo no Congresso</b><br>
<!--/LINE-->
<br>

<!--Fotografia/Auto/Inicio-->

<!--FOTO-->
<table width="350"><tr>
<td><font size="-2">Apu Gomes/Folhapress</font><br><img src="../images/n2108201101.jpg" BORDER="0" ></td>
<td valign="bottom"></td>
</tr></table><font size="-1"><i>Obra em Jandira feita com recursos do Minist&eacute;rio do Turismo, mas sem nenhuma rela&ccedil;&atilde;o com a &aacute;rea</i></font>
<br><br>
<!--/FOTO-->
<!--Fotografia/Auto/Final-->

<!--BYLINE--><b>

GUSTAVO PATU</b><br>

<!--/BYLINE-->
<!--ORIGIN-->
<font size=-1>

DE BRAS&Iacute;LIA
</font><br><br>
<!--/ORIGIN-->

O controle de gastos promovido pelo governo Dilma 
Rousseff poupou minist&eacute;rios 
controlados pelo PT e atingiu 
com mais for&ccedil;a os que est&atilde;o 
nas m&atilde;os dos outros partidos 
que apoiam o governo, contribuindo para alimentar a 
tens&atilde;o na base de sustenta&ccedil;&atilde;o do Pal&aacute;cio do Planalto.<BR>

Uma an&aacute;lise detalhada 
das contas do Tesouro Nacional mostra que, nas dez pastas entregues no in&iacute;cio do governo a PMDB, PR, PSB, PP, 
PDT, e PC do B, os investimentos ca&iacute;ram 4,8% no primeiro semestre deste ano.<BR>
O desempenho contrasta 
com o dos 13 minist&eacute;rios da 
cota petista: em conjunto, 
eles investiram 13,7% a mais 
do que na primeira metade 
do ano eleitoral de 2010, sem 
considerar as cifras modestas do apartid&aacute;rio Itamaraty 
e das secretarias especiais 
vinculadas &agrave; Presid&ecirc;ncia.<BR>
Embora sejam teoricamente priorit&aacute;rios para o 
Executivo federal, os investimentos -obras de infraestrutura e compras de equipamentos destinadas a ampliar 
a capacidade produtiva da 
economia- viraram o principal alvo do ajuste fiscal.<BR>
Trata-se do &uacute;nico grande 
grupo de despesas federais 
que sofreu redu&ccedil;&atilde;o real neste 
ano, depois de considerada a 
varia&ccedil;&atilde;o da infla&ccedil;&atilde;o.<BR>

H&aacute; raz&otilde;es t&eacute;cnicas para a 
queda: s&atilde;o gastos n&atilde;o obrigat&oacute;rios e sujeitos a atrasos. 
Mas s&atilde;o raz&otilde;es pol&iacute;ticas que 
explicam o aperto desigual 
na Esplanada.<BR>
Pelo modelo de reparti&ccedil;&atilde;o 
de poder iniciado no governo 
Lula e refor&ccedil;ado por Dilma, o 
PT ocupa pastas de mais relevo, como Fazenda, Planejamento, Sa&uacute;de e Educa&ccedil;&atilde;o.<BR>

Os demais partidos ficam 
com a maior parte das verbas 
que movimentam as negocia&ccedil;&otilde;es com o Congresso.<BR>
Minist&eacute;rios como Cidades 
(comandado pelo PP), Integra&ccedil;&atilde;o Nacional (PSB), Turismo (PMDB) e Esporte (PC do 
B) concentram a&ccedil;&otilde;es inclu&iacute;das por deputados e senadores no Or&ccedil;amento por meio 
de emendas parlamentares.<BR>
S&atilde;o, na maioria, obras paroquiais t&iacute;picas de prefeituras, como a recupera&ccedil;&atilde;o de 
ruas e a constru&ccedil;&atilde;o de quadras esportivas, mas igualmente classificadas como investimentos -e v&iacute;timas preferenciais do corte de gastos.<BR>

N&atilde;o por acaso, o governo 
promete agora liberar R$ 1,7 
bilh&atilde;o em emendas para atenuar a insatisfa&ccedil;&atilde;o dos partidos e facilitar as pr&oacute;ximas vota&ccedil;&otilde;es no Congresso.<BR>
Entre os minist&eacute;rios controlados por partidos aliados, dois registraram alta significativa nos investimentos 
neste ano, mas ambos passaram por crises e trocaram recentemente de m&atilde;os.<BR>
O PR foi varrido dos Transportes ap&oacute;s acusa&ccedil;&otilde;es de 
corrup&ccedil;&atilde;o e desligou-se da 
base governista. O PMDB teve de substituir o bombardeado Wagner Rossi na Agricultura, na semana passada.<BR>
Uma das pastas petistas 
que mais investiram &eacute; a Educa&ccedil;&atilde;o. Seu titular, Fernando 
Haddad, quer ser candidato 

&agrave; Prefeitura de S&atilde;o Paulo nas 
elei&ccedil;&otilde;es de 2012 e conta com 
programas para a cria&ccedil;&atilde;o e a 
expans&atilde;o de escolas e universidades.<BR>
Entre as pastas petistas, 
apenas o Desenvolvimento 
Agr&aacute;rio teve queda expressiva do investimento.<BR>


<BR><BR>Texto Anterior: <a href="po2108201101.htm">Painel</a><BR>Pr&oacute;ximo Texto: <a href="po2108201103.htm">Turismo destina R$ 352 mi a cidades que n&atilde;o t&ecirc;m turistas</a><BR><a href="inde21082011.htm">&Iacute;ndice</a> | <a href="http://tools.folha.com.br/feedback?url=referrer">Comunicar Erros</a>

</p>
<!--/NOTICIA-->
</td></tr></table>

<br>
<table width="600" border="0" cellpadding="0" cellspacing="0">
<tr>
<td align="center">
<hr>
<font size="1" face="arial">Copyright Empresa Folha da Manh&atilde; S/A. Todos os direitos reservados. &Eacute; proibida a reprodu&ccedil;&atilde;o do conte&uacute;do desta p&aacute;gina em qualquer meio de comunica&ccedil;&atilde;o, eletr&ocirc;nico ou impresso, sem autoriza&ccedil;&atilde;o escrita da <a href="mailto:pesquisa@folhapress.com.br">Folhapress</a>.</font>

</td>
</tr>
</table>
</body>

</html>

Starson17 · 08-22-2011, 11:11 AM

Quote:

Originally Posted by luis.nando

I guess I have to change something on the soup.findAll() function.

Yes, you have to make soup.findAll() find the links to your articles. Teh code you posted is looking for tags that have class attributes of 'section-headline', 'story' or 'story headline'.

1) find the links on your pages.
2) Figure out how to identify them with BeautifulSoup
3) Use Python string handling to build the article links

If you have problems ask questions here, but start by finding each of the links to articles on your page that you want parse_index to identify, and figure out how to locate them all by tag name, class attribute, etc. If you explain in words, we can help you write the code.

fluzao · 09-27-2011, 09:04 AM

please check: https://www.mobileread.com/forums/sho....php?t=148578&

08-13-2011, 01:08 PM	#1
luis.nando Member Posts: 22 Karma: 20 Join Date: Aug 2011 Device: Kindle 3	Request: Folha de Sao Paulo (Brazil) from UOL portal It would be very nice if someone could create a recipe for the complete content of Folha de Sao Paulo offered by the UOL (www.uol.com.br/fsp) portal, I would do it but I do not know how to handle the download when there is no rss feed. Someone?

Similar Threads
Thread	Thread Starter	Forum	Replies	Last Post
Upgrade recipe for Folha de São Paulo and Estadão with cover	euleralves	Recipes	4	03-31-2011 01:02 AM
Request Feature Request: A developer portal.	Dingoinde	enTourage Archive	2	04-26-2010 07:43 PM
Hello from Sao Paulo, Brazil	jglerner	Introduce Yourself	8	02-17-2010 01:33 PM
Hi from Sao Paulo!	lorisgirl	Introduce Yourself	4	03-18-2009 12:08 PM
Paulo Coelho gives 'em for free	ricdiogo	News	4	01-26-2008 10:57 AM

08-16-2011, 07:29 PM	#3
luis.nando Member Posts: 22 Karma: 20 Join Date: Aug 2011 Device: Kindle 3	Talking to a really noob here... where can i find instructions?

09-27-2011, 09:04 AM	#7
fluzao Member Posts: 15 Karma: 10 Join Date: Apr 2011 Device: Kindle	please check: https://www.mobileread.com/forums/sho....php?t=148578&

Advert

Advert