Python: Download list of CSVs inside of javascript script in web

Question

I want to download a list of csv with a python script.

http://meteo.navarra.es/estaciones/descargardatos_estacion.cfm?IDEstacion=251

I've used this code to locate the file urls

import urllib.request as urllib2
from bs4 import BeautifulSoup

# Fetch URL
url = 
'http://meteo.navarra.es/estaciones/descargardatos_estacion.cfm? 
IDEstacion=251'
request = urllib2.Request(url)
request.add_header('Accept-Encoding', 'utf-8')

# Response has UTF-8 charset header,
# and HTML body which is UTF-8 encoded
response = urllib2.urlopen(request)

# Parse with BeautifulSoup
soup = BeautifulSoup(response,"html.parser")
print(soup)

Those CSVs urls are inside a javascripts script

<script type="text/javascript">
<!--

var d = new dTree('d');
d.add(0,-1,'<b>Ficheros de datos</b>');
d.add(1,0,'AncÃn INTIA','','','','/js/dtree/img/folder.gif');



    
    d.add(10,1,'Datos diarios','','','','/js/dtree/img/folder.gif');
    
    
        
        d.add(1000,10,'AncÃn INTIA_2001.csv','/_data/datos_estaciones/estacion_251/datos diarios/ancÃn intia_2001.csv');
        
        
        
        d.add(1001,10,'AncÃn INTIA_2002.csv','/_data/datos_estaciones/estacion_251/datos diarios/ancÃn intia_2002.csv');
        
        
        
        d.add(1002,10,'AncÃn INTIA_2003.csv','/_data/datos_estaciones/estacion_251/datos diarios/ancÃn intia_2003.csv');
        
        
        
        d.add(1003,10,'AncÃn INTIA_2004.csv','/_data/datos_estaciones/estacion_251/datos diarios/ancÃn intia_2004.csv');
                    
-->

I've tried to use request and soup to find the dTree but i cant get to access the tree attributes.

Note: beautifulsoup will only return the contents of a script element as text — Martin Evans
– Martin Evans, Commented Nov 10, 2021 at 16:39

Martin Evans · Accepted Answer · 2021-11-10 16:52:10Z

beautifulsoup will only return the contents of a script element as text, you will need to extract the entries yourself from inside. This could be done using a regular expression to extract the .add lines. Each text line could be converted into a Python list using literal_eval and then you could take the last element.

For example:

import urllib.request as urllib2
from bs4 import BeautifulSoup
import re
from ast import literal_eval

# Fetch URL
url = 'http://meteo.navarra.es/estaciones/descargardatos_estacion.cfm?IDEstacion=251'

request = urllib2.Request(url)
request.add_header('Accept-Encoding', 'utf-8')

# Response has UTF-8 charset header, and HTML body which is UTF-8 encoded
response = urllib2.urlopen(request)

# Parse with BeautifulSoup
soup = BeautifulSoup(response,"html.parser")

re_add = re.compile("add\((.*?\.csv')\);")
csv_files = []

for script in soup.find_all('script', type="text/javascript"):
    if script.string and '.csv' in script.string:
        for entry in re_add.findall(script.string):
            csv_files.append(literal_eval(f'[{entry}]')[-1])

print('\n'.join(csv_files))

Giving you entries:

/_data/datos_estaciones/estacion_251/datos diarios/ancÃn intia_2001.csv
/_data/datos_estaciones/estacion_251/datos diarios/ancÃn intia_2002.csv
/_data/datos_estaciones/estacion_251/datos diarios/ancÃn intia_2003.csv
/_data/datos_estaciones/estacion_251/datos diarios/ancÃn intia_2004.csv
/_data/datos_estaciones/estacion_251/datos diarios/ancÃn intia_2005.csv
/_data/datos_estaciones/estacion_251/datos diarios/ancÃn intia_2006.csv
/_data/datos_estaciones/estacion_251/datos diarios/ancÃn intia_2007.csv
/_data/datos_estaciones/estacion_251/datos diarios/ancÃn intia_2008.csv
/_data/datos_estaciones/estacion_251/datos diarios/ancÃn intia_2009.csv
/_data/datos_estaciones/estacion_251/datos diarios/ancÃn intia_2010.csv
/_data/datos_estaciones/estacion_251/datos diarios/ancÃn intia_2011.csv
/_data/datos_estaciones/estacion_251/datos diarios/ancÃn intia_2012.csv
/_data/datos_estaciones/estacion_251/datos diarios/ancÃn intia_2013.csv
/_data/datos_estaciones/estacion_251/datos diarios/ancÃn intia_2014.csv
/_data/datos_estaciones/estacion_251/datos diarios/ancÃn intia_2015.csv
/_data/datos_estaciones/estacion_251/datos diarios/ancÃn intia_2016.csv
/_data/datos_estaciones/estacion_251/datos diarios/ancÃn intia_2017.csv
/_data/datos_estaciones/estacion_251/datos diarios/ancÃn intia_2018.csv
/_data/datos_estaciones/estacion_251/datos diarios/ancÃn intia_2019.csv
/_data/datos_estaciones/estacion_251/datos diarios/ancÃn intia_2020.csv

Collectives™ on Stack Overflow

Python: Download list of CSVs inside of javascript script in web

1 Answer 1

Comments

Your Answer

Hot Network Questions

Collectives™ on Stack Overflow

1 Answer 1

Comments

Your Answer

Sign up or log in

Post as a guest

Related