Torna indietro   Hardware Upgrade Forum > Software > Programmazione

"Made with Europe": il cloud sovrano e sicuro secondo Google Cloud
"Made with Europe": il cloud sovrano e sicuro secondo Google Cloud
Google Cloud punta su un modello sviluppato insieme ai partner europei. Gemini arriva negli ambienti cloud dedicati, mentre nuove tecnologie consentono di controllare dati, chiavi crittografiche e continuità operativa. La visione di Enrico Letta e i progetti industriali di Thales, S3NS e degli altri partner
NVIDIA RTX Spark, arrivano i desktop compatti per l'IA: fino a 128 GB di memoria unificata
NVIDIA RTX Spark, arrivano i desktop compatti per l'IA: fino a 128 GB di memoria unificata
NVIDIA amplia la famiglia RTX Spark con desktop compatti basati sul chip N1X, dotati di 20 core CPU, 6.144 core GPU e fino a 128 GB di memoria unificata. I primi modelli ASUS e MSI sono disponibili da oggi, con prezzi a partire da 4.399 dollari. L'obiettivo è offrire una piattaforma Windows sempre attiva per gaming, creazione di contenuti e soprattutto intelligenza artificiale locale.
HP OmniBook 3 con Snapdragon X: autonomia da record nella fascia d'ingresso
HP OmniBook 3 con Snapdragon X: autonomia da record nella fascia d'ingresso
Lo Snapdragon X arriva nella fascia d’ingresso con HP OmniBook 3: oltre 17 ore di autonomia, una tastiera comoda e porte ben distribuite, ma anche 8 GB di RAM saldata, una GPU modesta e i compromessi di Windows su ARM. Vediamo a chi si rivolge questo notebook da 14 pollici e se il prezzo è giustificato
Tutti gli articoli Tutte le news

Vai al Forum
Rispondi
 
Strumenti
Old 22-08-2019, 09:07   #1
$te
Senior Member
 
L'Avatar di $te
 
Iscritto dal: Aug 2006
Messaggi: 1262
[Python] Script per scaricare solo testo di un sito

Buongiorno,

pensavo di aver vita facile su internet: ho cercato e ricercato ma non trovo nulla che mi aiuta.

Avrei bisogno qualcosa di "semplice": uno script (pensavo in python, ma sono aperto ad altri linguaggi) per "scaricare" il testo di un sito web.

Quindi, a partire da una lista di siti web (anche 100 o più), per ogni sito devo avere (il top sarebbe su excel) tutto il testo contenuto nelle varie pagine (quindi non solo nella home).

Dopo, sarò io, penso in excel, a fare le mie analisi su questo testo.

Ho visto vari esempi con scrapy (Python), ma non riesco a fare quello che vorrei.

Avete dei consigli?

Grazie!
$te è offline   Rispondi citando il messaggio o parte di esso
Old 22-08-2019, 10:08   #2
Kaya
Senior Member
 
Iscritto dal: Apr 2005
Messaggi: 3302
non ho tempo per approfondire ma io farei uso di curl e poi un parser poi del file scaricato

quindi in step
prepari una lista di siti web
for line in lista
curl $line output $nomesito
parserizza il file di output per trovare i tag <a href>
ripeti quanto sopra per una seconda volta (altirmenti rischi di andare all'infinto)
end
tutti i file che hai in output poi li butti in un csv (anche se non capisco il senso)
Kaya è offline   Rispondi citando il messaggio o parte di esso
Old 22-08-2019, 12:28   #3
$te
Senior Member
 
L'Avatar di $te
 
Iscritto dal: Aug 2006
Messaggi: 1262
Quote:
Originariamente inviato da Kaya Guarda i messaggi
non ho tempo per approfondire ma io farei uso di curl e poi un parser poi del file scaricato

quindi in step
prepari una lista di siti web
for line in lista
curl $line output $nomesito
parserizza il file di output per trovare i tag <a href>
ripeti quanto sopra per una seconda volta (altirmenti rischi di andare all'infinto)
end
tutti i file che hai in output poi li butti in un csv (anche se non capisco il senso)
Grazie per la risposta!

Non ho mai usato curl..

Quello che adesso sono riuscito a fare, usando scrapy, è semplicemente scaricare il body di un sito web:

import scrapy

class HeadphonesSpider(scrapy.Spider):

Codice HTML:
    name = "prova"

    def start_requests(self):
        urls = [
        'https://sito.it',
       
        ]

        for url in urls:
            yield scrapy.Request(url=url, callback=self.parse)

    def parse(self, response):
        body_urls = response.css('body').extract()
        with open('urls.txt', 'w') as f:
            for u in body_urls:
                f.write(u + "\n-------\n")

Tuttavia, in questo caso mi piacerebbe almeno riuscire a togliere tutti i vari tag..per pulire un po il testo salvato
$te è offline   Rispondi citando il messaggio o parte di esso
Old 22-08-2019, 13:16   #4
$te
Senior Member
 
L'Avatar di $te
 
Iscritto dal: Aug 2006
Messaggi: 1262
Quote:
Originariamente inviato da Kaya Guarda i messaggi
non ho tempo per approfondire ma io farei uso di curl e poi un parser poi del file scaricato

quindi in step
prepari una lista di siti web
for line in lista
curl $line output $nomesito
parserizza il file di output per trovare i tag <a href>
ripeti quanto sopra per una seconda volta (altirmenti rischi di andare all'infinto)
end
tutti i file che hai in output poi li butti in un csv (anche se non capisco il senso)
Il mio obbiettivo finale è quello di avere un excell in cui nella prima colonna c'è il sito web in questione e nella colonna seguente tutto il testo, e questo per più siti.
Spero di essermi spiegato bene.

Grazie
$te è offline   Rispondi citando il messaggio o parte di esso
Old 22-08-2019, 15:29   #5
Kaya
Senior Member
 
Iscritto dal: Apr 2005
Messaggi: 3302
Quote:
Originariamente inviato da $te Guarda i messaggi
Grazie per la risposta!

Non ho mai usato curl..

Quello che adesso sono riuscito a fare, usando scrapy, è semplicemente scaricare il body di un sito web:

import scrapy

class HeadphonesSpider(scrapy.Spider):

Codice HTML:
    name = "prova"

    def start_requests(self):
        urls = [
        'https://sito.it',
       
        ]

        for url in urls:
            yield scrapy.Request(url=url, callback=self.parse)

    def parse(self, response):
        body_urls = response.css('body').extract()
        with open('urls.txt', 'w') as f:
            for u in body_urls:
                f.write(u + "\n-------\n")

Tuttavia, in questo caso mi piacerebbe almeno riuscire a togliere tutti i vari tag..per pulire un po il testo salvato
Il problema di fondo in cui ti trovereai, è quello per cui all'interno di una pagina web ormai il testo "puro" è veramente minimale e il resto è tanta "porcheria" per i tuoi fini (tag div, script javascript, ecc ecc).

Comunque credo che qua trovi la risposta: https://stackoverflow.com/questions/...t-text-extract
Kaya è offline   Rispondi citando il messaggio o parte di esso
Old 23-08-2019, 10:03   #6
$te
Senior Member
 
L'Avatar di $te
 
Iscritto dal: Aug 2006
Messaggi: 1262
Quote:
Originariamente inviato da Kaya Guarda i messaggi
Il problema di fondo in cui ti trovereai, è quello per cui all'interno di una pagina web ormai il testo "puro" è veramente minimale e il resto è tanta "porcheria" per i tuoi fini (tag div, script javascript, ecc ecc).

Comunque credo che qua trovi la risposta: https://stackoverflow.com/questions/...t-text-extract
Grande!!! Adesso ci sono quasi:

Codice HTML:
import scrapy
from bs4 import BeautifulSoup

class HeadphonesSpider(scrapy.Spider):

    name = "prova"

    def start_requests(self):
        urls = [
        'https://sito1.it',
        'https://sito2.it'
        ]

        for url in urls:
            yield scrapy.Request(url=url, callback=self.parse)

    def parse(self, response):
        body_urls = response.css('body').extract()     
        new_body = str(body_urls)
        soup = BeautifulSoup(new_body, 'html.parser')
        just_text = soup.get_text()
        just_text= just_text.replace('\\n',' ')
        
        with open('urls.csv', 'w') as f:
            for u in body_urls:
                f.write(just_text + "\nBLABLA")
f.close()
Adesso ho solo due problemini:
1 - nel file csv, non viene scritto tutto solo in una cella..ma in 3-4 tipo..e non capisco come mai
2 - nell'esempio ho messo due siti internet, ma alla fine mi controlla solo nel primo sito

Pero, ho fatto passi da giganti, grazie!!
$te è offline   Rispondi citando il messaggio o parte di esso
Old 23-08-2019, 11:07   #7
Kaya
Senior Member
 
Iscritto dal: Apr 2005
Messaggi: 3302
Per il primo punto faccio una ipotesi:
nel testo che prendi sono presenti , e ; .
Soluzione: fai una sostituzione nel testo dei doppia apici (") con un escape (\") e poi metti tutto il testo che ottieni tra doppi apici. In questo modo quanto importi lo considera un unico campo

Per il secondo punto non sono in grado di aiutarti
Kaya è offline   Rispondi citando il messaggio o parte di esso
Old 11-09-2019, 17:46   #8
$te
Senior Member
 
L'Avatar di $te
 
Iscritto dal: Aug 2006
Messaggi: 1262
Quote:
Originariamente inviato da Kaya Guarda i messaggi
Per il primo punto faccio una ipotesi:
nel testo che prendi sono presenti , e ; .
Soluzione: fai una sostituzione nel testo dei doppia apici (") con un escape (\") e poi metti tutto il testo che ottieni tra doppi apici. In questo modo quanto importi lo considera un unico campo

Per il secondo punto non sono in grado di aiutarti
alla fine, ho già una buona parte di quello che volevo, grazie mille!
Riesco quindi ad andare in una pagina, prendere il testo e togliere i vari tag!

Ora, sto cercando come fare per ottenere tutte le pagine di un sito web, per poi avviare lo script. Purtroppo, vedo che non tutti posseggono un sitemap (o magari sbaglio?) che renderebbe il lavoro molto piu facile...
$te è offline   Rispondi citando il messaggio o parte di esso
Old 31-10-2019, 11:33   #9
$te
Senior Member
 
L'Avatar di $te
 
Iscritto dal: Aug 2006
Messaggi: 1262
Quote:
Originariamente inviato da $te Guarda i messaggi
alla fine, ho già una buona parte di quello che volevo, grazie mille!
Riesco quindi ad andare in una pagina, prendere il testo e togliere i vari tag!

Ora, sto cercando come fare per ottenere tutte le pagine di un sito web, per poi avviare lo script. Purtroppo, vedo che non tutti posseggono un sitemap (o magari sbaglio?) che renderebbe il lavoro molto piu facile...
Ho scoperto che basta aggiungere un follow=True per ottenere tutte le pagine di un sito web, perfetto!!
$te è offline   Rispondi citando il messaggio o parte di esso
Old 13-12-2019, 15:05   #10
$te
Senior Member
 
L'Avatar di $te
 
Iscritto dal: Aug 2006
Messaggi: 1262
Riscrivo..perché adesso avrei bisogno di analizzare le pagine di un sito, ma solo quelle in inglese (se esiste la versione in inglese).

Il problema è che se no mi ritrovo ad analizzare siti multilingua (con più di 5 lingue) e quindi di un contenuto identico ma in lingue differenti.

Sto utilizzando scrapy, nel setting.py si può settare la lingua di default dello spyder, ma questo significa solo che partirà dalle pagine in inglese, per poi continuare con le altre lingue.

Come posso fare?

Grazie
$te è offline   Rispondi citando il messaggio o parte di esso
 Rispondi


"Made with Europe": il cloud sovrano e sicuro secondo Google Cloud "Made with Europe": il cloud sovrano e...
NVIDIA RTX Spark, arrivano i desktop compatti per l'IA: fino a 128 GB di memoria unificata NVIDIA RTX Spark, arrivano i desktop compatti pe...
HP OmniBook 3 con Snapdragon X: autonomia da record nella fascia d'ingresso HP OmniBook 3 con Snapdragon X: autonomia da rec...
Nuova Dacia Spring, del modello precedente resta solo il nome: più grande, più efficiente e ora prodotta in Europa Nuova Dacia Spring, del modello precedente resta...
BOOX Picco: l'ebook reader minuscolo è una genialata, e si può attaccare allo smartphone BOOX Picco: l'ebook reader minuscolo è un...
Il rover NASA Perseverance ha un problem...
SpaceX: il lancio di Starship e possibil...
GTA VI controllato con il pensiero: Neur...
Ubisoft nella tempesta: 166 licenziament...
RDMA over USB4, Microsoft mette insieme ...
I data center uccidono anche a centinaia...
Jensen Huang, un despota sotto la giacca...
Google AI Ultra include ora YouTube Prem...
Hai una scheda video NVIDIA? Scarica sub...
NVIDIA, la California avvia un'indagine:...
Aptera ce l'ha fatta: dopo anni di attes...
Chlorophyll Engine fa paura ai tripla A:...
Black Friday Amazon, questa bici elettri...
Moore Threads prepara Lushan, una GPU co...
Black Friday Amazon, gli occhiali smart ...
Chromium
GPU-Z
OCCT
LibreOffice Portable
Opera One Portable
Opera One 106
CCleaner Portable
CCleaner Standard
Cpu-Z
Driver NVIDIA GeForce 546.65 WHQL
SmartFTP
Trillian
Google Chrome Portable
Google Chrome 120
VirtualBox
Tutti gli articoli Tutte le news Tutti i download

Strumenti

Regole
Non Puoi aprire nuove discussioni
Non Puoi rispondere ai messaggi
Non Puoi allegare file
Non Puoi modificare i tuoi messaggi

Il codice vB è On
Le Faccine sono On
Il codice [IMG] è On
Il codice HTML è Off
Vai al Forum


Tutti gli orari sono GMT +1. Ora sono le: 23:47.


Powered by vBulletin® Version 3.6.4
Copyright ©2000 - 2026, Jelsoft Enterprises Ltd.
Served by www3v