Programma per contare il numero di occorrenze delle varie parole all'interno di un testo

Tempo fa ho trovato dei Cd con i testi integrali di grandi capolavori del passato. Metterli su internet non è possibile. Forse si violerebbero eventuali diritti del traduttore o della casa editrice che anni fa pubblicò i CD da cui ho ripreso le opere, ma sarei lietissimo di inviare ad ogni iscritto che me lo richieda i relativi file, di cui sotto trovate l’elenco.
Perché? Che senso ha avere un libro intero in formato Word?
Non certo per leggerlo. La carta è più comoda, si può leggere sdraiati o in autobus, allora che vantaggi ci sono ad avere un testo in un formato gestibile dal proprio computer?
Intanto è un "onore" che possiamo rendere allo scrittore.
Pensate – per fare un esempio – alle "Storie" di Erodoto. Scritte 2400 anni fa in greco, furono copiate a mano per 2.000 anni, poi stampate in tutte le lingue del mondo. Ora il file pesa meno di una vignetta in .jpg. Farla arrivare nelle mani di un altro è un attimo, ad un costo zero, mentre un tempo era un’azione che richiedeva mesi di lavoro a generazioni di monaci-copisti.
A parte l’"onore", un testo in Word è molto di più di un semplice volume inerte da ribattere tutto a macchina, è il DNA puro, sono le parole già dattiloscritte. Ecco che a questo punto quelle parole si trasformano in deliziosi strumenti – che non avete mai pensato di usare in questo modo – e che sono a vostra disposizione per giocarci.
Con i capolavori si possono fare vari tipi di manipolazioni e analisi incrociate. Alcuni interventi possono essere oltremodo seri, altri estremamente divertenti.
C’è un gusto sottile a rendere attuale un racconto del Decamerone di Boccaccio, o ad analizzare – aiutati dal computer – un testo come "Il VANGELO o "Le storie" di Erodoto.
Come?
Si possono fare due tipi di operazioni diverse: le parodie e le analisi della frequenza delle parole. Vediamo degli esempi. Se si ha il file con "I promessi sposi" dentro la schermata di Word, basta usare il comando "modifica/sostituisci". Si sceglie: "trova" Renzo, e "sostituisci con" Renzo. Questa semplice operazione – sostituisci una parola con se stessa – ci indica il numero di OCCORENZE della parola, la quantità di volte che è presente. Dopo averlo fatto anche con Lucia, finalmente si può sapere chi è il vero protagonista del romanzo, se il maschietto o la femminuccia.
Si può far trovare dal computer ogni punto del libro di Erotodo in cui si parla di "Sparta" e "spartani", isolare e salvare questi brani e si avrà il giudizio di Erodoto su uno degli stati più potenti della Grecia.
Studiando le "occorrenze" delle parole si possono ottenere informazioni. Ho tentato di ottenere un’interpretazione trasversale del Vangelo – io che sono un laico - realizzando una statistica dei termini più usati in quello di Marco, che è il più antico e il più breve.
Ho tentato di ottenere un’interpretazione trasversale anche di un classico fra i libri di Storia: il "De bello gallico" di Giulio Cesare.
Ma si possono anche tentare operazioni più acute e più creative, ad esempio le parodie.
Su queste pagine troverete anche il link diretto verso alcuni esempi di parodie.Il procedimento è semplice, e si basa ancora una volta sul comando modifica/sostituisci.Sono partito da una novella del Boccaccio e ho tentato di ricavarne un brano di satira politica, semplicemente cambiano i nomi dei personaggi del racconto. Nella parodia la storia diventa quella di Dell’Utri e Previti che rubano un porco a Berlusconi.
Altro esempio: un estratto da: "Don Chisciotte ", anche questo con i nomi sostituiti. Sono due pagine che narrano di come il cavaliere e il suo scudiero, infilatisi in un bosco, sentono un rumore misterioso. Silvio Berlusconi, il Cavaliere – l’equivalente moderno del Don Chisciotte, che affronta i "comunisti" come fossero Mulini a vento - vorrebbe andare a vedere, il suo scudiero Sancho Dell’Utri ha così paura che si aggrappa alla gamba del suo padrone e non la abbandona per nessun motivo, neppure per i bisogni fisiologici.
Si può fare parodia anche senza essere obbligati alla satira politica. Ho "lavorato" un brano de "Il Castello" di Kafka, compiendo un’unica, semplice sostituzione: dove era scritto "aiutanti" ora si legge "stagisti". Sembra pochissimo eppure il testo - trattato così - diventa di schiacciante attualità. Diventa la storia di una precaria Katia detta K. nei suoi primi giorni di lavoro come "Agrimensore" (termine arcaico per "geometra"), però con contratto Co. Co. Co..
Un altro esempio semplicissimo di parodia, l'ho realizzato sostituendo al termine "perla", un altro oggetto rotondo, creato sempre da un animale, ma con una diversa origine e funzione: la rotula.

Tornando agli scopi per cui sto sperimentando questa "offerta" di libri originali direttamente in Word, l'operazione mi interessa perchè - se mi richiedete un libro - io intanto scoprirò se la cosa interessa e quali volumi incuriosiscono di più, il che sarà già un dato interessante.

Ultime novità per i libri gratis in formato digitale

Questa che avete letto sopra era la situazione mesi fa, nel frattempo sono arrivate due ottime notizie: l'amico Stefano B. mi ha fatto avere altri 400 file con capolavori. Alcuni li ho raggruppati, ad esempio ho creato un "superfile zip" con le 40 più celebri commedie di Shakespeare.
Incredibile come un banale CD possa contenere tanta letteratura.
La seconda buona notizia merita un file a parte, un carteggio che troverete in coda. In sostanza ora è gratuitamente disponibile un eccellente programma scritto in Java da una lettrice (semplicissimo da usare), che potete scaricare dal sito alla pagina:
http://www.ilpalo.com/parodie/programma-analisi-testi-occorrenze-parole.zip
Io l'ho usato per analizzare vari libri, con dati interessanti circa Il Satyricon di Petronio e Il Robinson Crusue di Defoe.
Se con questi libri producete qualcosa - sia essa una parodia o un’analisi - potete inviarmi i risultati e io sarò lieto di pubblicarli on line sul mio sito www.ilpalo.com/parodie, dove trovate sia esempi di parodie che di studi sulla frequenza di parole. Se non siete pratici di file compressi in .zip, specificatelo nella email di richiesta e vi mando direttamente il file in word in .doc, pesa di più ma comporta un’operazione di decompressione in meno.
La email a cui richiedere il file con il libro è fr.cascioli@tin.it

Ecco i testi disponibili (sotto ci sono le istruzioni e il carteggio che spiega e illustra il nuovo programma semplice e gratuito per analizzare quello che desiderate).

Ecco invece l’interessante carteggio con l’autrice del programma di analisi testuale:

Il carteggio è iniziato così:

«…RAFFAELLA: - Sono un consulente informatico con l'hobby dell'informatica, nel senso che al lavoro faccio ciò che devo, mentre a casa ciò che mi piace!

Non avevo mai pensato ad utilizzare in questo modo i testi elettronici in mio possesso. Comunque ora che mi hai dato l'idea... Fra l'altro, leggendo sul tuo sito la descrizione del metodo che utilizzi per contare il numero di occorrenze delle varie parole all'interno di un testo, mi è venuta l'idea di realizzare un programmino che automatizzi il tutto.

FRANCESCO: - Mi scrivi che un programmino sarebbe ideale: io me li faccio in access e poi mi levo a mano dalle classifiche tutte le non stop words, cioè: gli, un, una, con, delle, ecc.
Non sono un informatico, non so programmare, abbozzo lo stesso un'ipotesi di programma. L'ideale sarebbe una macro che fa questo:
parte dal file di testo; sostituisce ogni segno di punteggiatura con NULLA; rende tutto minuscolo; sostituisce il segno di spazio della barra spaziatrice con un a capo; trasforma tutte le righe, ognuna con una sola parola, in tabella; elimina tutte le non stop words, cioè: gli, un, una, con, delle, che sono contenute in un file a parte; passa la tabella a un programma, che fa una query e trova i duplicati; e fornisce le occorrenze dei duplicati.

Se ci riesci - con calma, appena avrai tempo - ti farai un ammiratore della tua programmazione! Giuro!

Ancora auguri e grazie

RAFFAELLA: - È pronto e te lo mando. Sono partita da un programmino trovato su internet che crea un file eseguibile a partire dal programma Java in modo che possa essere eseguito direttamente da Windows.

FRANCESCO: - Ti ringrazio molto, un programma – realizzato gratis in Java - che permetta l'analisi della frequenza di parole in un testo, è ottimo per analisi e parodie, ed è fantastico che una lettrice delle mailing list, l'abbia fatto gratis di sua spontanea volontà. Non è bello tutto questo?

RAFFAELLA: - Credo che sia la parte migliore di Internet... la possibilità di dare/ricevere aiuto per il semplice piacere di farlo senza aspettarsi niente in cambio. Negli anni trascorsi da quando ho iniziato a navigare in Internet ho spesso ricevuto aiuto/consigli gratuiti da perfetti sconosciuti che a volte sono diventati ottimi amici e a volte non ho più avuto occasione di risentire. Aiutare a mia volta qualcuno mi sembra quindi il semplicemente il modo migliore di ripagare gli aiuti ricevuti... una specie di "Catena di Sant'Antonio" della solidarietà.
Se poi quando avrai più tempo avessi dei suggerimenti per miglioramenti o introduzione di nuove funzionalità... non farti problemi a comunicarmelo: io adoro programmare in java... quando ho tempo!). Mi piace lavorare in Java e purtroppo al lavoro ultimamente non ho avuto molte occasioni di utilizzarlo. Se capita lo faccio a casa, vivo in provincia di Cuneo ai piedi delle montagne da cui nasce il Po. Ovviamente se riscontri problemi o difetti nel software non esitare a dirmelo.

FRANCESCO: - Anche io ci ho lavorato. Ho incrementato il numero delle parole “non stop” da cancellare. Ora il file che contiene le parole poco interessanti, è più ricco di quello di partenza. Sono 4.000 termini, tra cui tutte le forme del verbo essere e avere, e 2000 numeri. L’ho usato su vari capolavori, con dati interessanti circa Il Satyricon di Petronio e Il Robinson Crusue di Defoe. 

Clicca qui per scaricare zippato (peso 47 k ) il programma per contare il numero di occorrenze delle varie parole all'interno di un testo

http://www.ilpalo.com/parodie/programma-analisi-testi-occorrenze-parole.zip

INSTALLAZIONE del programma per contare il numero di occorrenze delle parole

=============

Caro lettore di questa pagina web, non ho idea di quali siano le caratteristiche del tuo sistema, quindi ti elenco alcune possibilità sperando che almeno una funzioni.
Ti consiglio di provarle nell'ordine in cui le elenco perché la prima possibilità è la più semplice!

1) Copia in una stessa cartella il file allegato "contaOcc.exe" ed il file "swl.dat".

   Avvia il file contaOcc.exe facendo doppio clic sull'icona.

   Se il programma si avvia senza problemi, OK abbiamo terminato l'installazione.

   Se invece non dà segni di vita... allora prosegui!

2) Se sei arrivato fino a qui... allora significa che dobbiamo installare la Java Virtual Machine (JVM per gli amici). Puoi scaricarla dal sito della Sun (è completamente gratuita, ma un tantino pesantuccia, purtroppo). L'indirizzo è il seguente:

http://java.com/it/

Si è scelto di scaricare la versione 5.0 di Java Runtime Environment (dimensione del file: 15.1 MB).

Clicca sul pulsante a destra: "Java Software Download"

Segui le istruzioni e scarica il file sul tuo pc.

Doppio click sul file scaricato per installarlo.

A questo punto puoi riprovare il punto 1 e dovrebbe funzionare senza problemi.

ESECUZIONE

==========

Una volta installato il programma l'utilizzo è molto "elementare".

E' pero' necessario che il file "swl.dat" si trovi sempre nella stessa cartella del programma altrimenti non funziona!

Per elaborare un file è sufficiente:

- Utilizzare il bottone "Seleziona file" e scegliere il file da elaborare (ATTENZIONE: deve necessariamente essere in formato TXT, non DOC, PDF o altro!);

- Utilizzare il bottone "Elabora" per effettuare il calcolo (questa fase può richiedere un po' di tempo, a seconda delle dimensioni del file e della potenza del pc utilizzato);

- Utilizzare il bottone "Salva risultati" e scegliere il nome del file di destinazione.

Una volta salvato il file può essere aperto con un normale editor di testo, anche con Word, oppure, se hai Excel puoi importare il file di testo con "formato delimitato da ;", in questo modo puoi avere in due colonne separate la parola ed il corrispondente numero di occorrenze calcolato.

Il bottone "Lista Stop Word" consente di aggiornare la lista delle stop word utilizzata dal programma (attualmente sono 4000 tra parole e numeri).

Utilizzando il pulsante Aggiungi puoi inserire nuove parole nella lista (il sistema ordina sempre la lista automaticamente in ordine alfabetico).

Selezionando una o più righe e premendo il pulsante rimuovi è possibile eliminare una o più parole dalla lista.

Con il pulsante "Salva" si aggiorna il file delle Stop Word.

NOTA: La lista delle stop word è contenuta nel file "swl.dat" che può eventualmente essere editato direttamente utilizzando un normale editor di testo. E' sufficiente inserire una parola per riga (seguendo l'esempio delle parole già inserite). Non è necessario rispettare l'ordine alfabetico, perché comunque il sistema le riordina automaticamente al primo avvio!

Ci sono ovviamente ancora molte possibilità di miglioramento (ad esempio introdurre la possibilità di decidere se utilizzare o meno la lista di stop word, dare la possibilità di scegliere fra liste diverse, salvare in altri formati es. XML.... ). Questo è ciò che mi viene in mente al momento, ma è probabile che utilizzandolo si potrebbero avere idee migliori delle mie per migliorare il programma.

Resto quindi a disposizione per suggerimenti, richieste di modifiche, segnalazione di errori...

Raffaella Ventaglio

vraffy@email.it

Esempi di analisi: