Perl o awk / egrep da file di grandi dimensioni?

thepurple · #1 (**permalink**) 11-17-2008

Hi esperti.

In un thread ho chiesto come grep la stringa dal file di esempio al di sotto -

Purtroppo lo script non ha dato buon risultato (che perdere molte stringhe). Essa può essere accaduto ho fatto ti ha dato il buon contenuto del file

Questo è stato lo script -
"$ perl -00nle 'print join "\ n", / <fullOperation> (.*?):.*< fullResult >(.*?);/ s' nomefile.txt"

Ora per lei convinience incollare i contenuti da qui l'inizio del file -

Output del file potrebbe essere sotto -

CREATE
RESP: -3010

DELETE
RESP: 0

CREATE
RESP: 911364896

GET
RESP: 0

SET
RESP: 911265678

<? xml version \u003d'1 .0 'encoding \u003d' ISO-8859-1 'standalone \u003d' no '?>
<LogItems>
<log logid\u003d"83efeae5190811100759420954">
<category> Upstream.CAI </ category>
<operation> Login </ operazione>
<target> CAI </ target>
<instance> </ esempio>
<utente> </ utente>
<context> </ context>
<fullOperation> LOGIN: server1: eri4ema </ fullOperation>
<starttime> 20081110075942,366900 </ starttime>
<stoptime> 20081110075942,424451 </ stoptime>
<fullResult> RESP: 3001; </ fullResult>
<status> SOCCOMBENTE </ status>
</ log>
<log logid\u003d"83efeae5190811100759480955">
<category> Upstream.CAI </ category>
<operation> Login </ operazione>
<target> CAI </ target>
<instance> </ esempio>
<utente> </ utente>
<context> </ context>
<fullOperation> LOGIN: server1: eri4ema; </ fullOperation>
<starttime> 20081110075948,375669 </ starttime>
<stoptime> 20081110075948,375923 </ stoptime>
<fullResult> RESP: 3007; </ fullResult>
<status> SOCCOMBENTE </ status>
</ log>
<log logid\u003d"83efeae5190811100759580956">
<category> Upstream.CAI </ category>
<operation> Login </ operazione>
<target> CAI </ target>
<instance> </ esempio>
<utente> server1 </ utente>
<context> SOG </ context>
<fullOperation> LOGIN: server1 :*******;</ fullOperation>
<starttime> 20081110075958,354986 </ starttime>
<stoptime> 20081110075958,355238 </ stoptime>
<fullResult> RESP: 0; </ fullResult>
<status> SUCCESSO </ status>
</ log>
</ LogItems>

<? xml version \u003d'1 .0 'encoding \u003d' ISO-8859-1 'standalone \u003d' no '?>
<LogItems>
<log logid\u003d"83efeae5190811100802020957">
<category> Upstream.CAI </ category>
<operation> ArrivareProspettiPartner </ operazione>
<target> ESUB </ target>
CODICE <instance> \u003d 432350114484630 </ esempio>
<utente> server1 </ utente>
<context> SOG </ context>
<fullOperation> GET: ESUB: CODICE, 432350114484630; </ fullOperation>
<starttime> 20081110080202,185236 </ starttime>
<stoptime> 20081110080202,834500 </ stoptime>
<fullResult> RESP: 11000003; IGNOTI SUBSCRIBER; </ fullResult>
<status> SOCCOMBENTE </ status>
</ log>
</ LogItems>

<? xml version \u003d'1 .0 'encoding \u003d' ISO-8859-1 'standalone \u003d' no '?>
<LogItems>
<log logid\u003d"83efeae5190811100802120958">
<category> Upstream.CAI </ category>
<operation> ArrivareProspettiPartner </ operazione>
<target> DSUB </ target>
<instance> </ esempio>
<utente> server1 </ utente>
<context> SOG </ context>
<fullOperation> GET

SUB: MDN, 989352375449; </ fullOperation>
<starttime> 20081110080212,352053 </ starttime>
<stoptime> 20081110080213,376720 </ stoptime>
<fullResult> RESP: 0: MDN, 989352375449: CODICE, 432350114484630: PAESE, FI: LANG, fi: PRE, 0: SUBNAME, ISERVA: MMS, 1; </ fullResult>
<status> SUCCESSO </ status>
</ log>
</ LogItems>

<? xml version \u003d'1 .0 'encoding \u003d' ISO-8859-1 'standalone \u003d' no '?>
<LogItems>
<log logid\u003d"83efeae5190811100802350959">
<category> Upstream.CAI </ category>
<operation> ArrivareProspettiPartner </ operazione>
<target> ACCOUNTINFORMATION </ target>
<instance> </ esempio>
<utente> server1 </ utente>
<context> SOG </ context>
<fullOperation> GET: ACCOUNTINFORMATION: SubscriberNumber, 989352375449; </ fullOperation>
<starttime> 20081110080235,264165 </ starttime>
<stoptime> 20081110080235,555880 </ stoptime>
<fullResult> RESP: -3010;; </ fullResult>
<status> SOCCOMBENTE </ status>
</ log>
<log logid\u003d"83efeae5190811100802450960">
<category> Upstream.CAI </ category>
<operation> Elimina </ operazione>
<target> EDSUB </ target>
<instance> </ esempio>
<utente> server1 </ utente>
<context> SOG </ context>
<fullOperation> CANC: EDSUB: CODICE, 432350114484630: MDN, 989352375449: PRE, 0

EST, TUTTI; </ fullOperation>
<starttime> 20081110080245,012208 </ starttime>
<stoptime> 20081110080245,857994 </ stoptime>
<fullResult> RESP: 0; </ fullResult>
<status> SUCCESSO </ status>
</ log>
<log logid\u003d"83efeae5190811100802510961">
<category> Upstream.CAI </ category>
Crea <operation> </ operazione>
<target> EDSUB </ target>
<instance> </ esempio>
<utente> server1 </ utente>
<context> SOG </ context>
<fullOperation> CREATE: EDSUB: CODICE, 432350114484630: KI, 1C9B39AAF3931D60C064F6E8FBB5B1E6: MDN, 98935237544 9: PRE, 0

EST, TUTTI; </ fullOperation>
<starttime> 20081110080251,089898 </ starttime>
<stoptime> 20081110080251,489396 </ stoptime>
<fullResult> RESP: 911364896; </ fullResult>
<status> SOCCOMBENTE </ status>
</ log>
<log logid\u003d"83efeae5190811100802540962">
<category> Upstream.CAI </ category>
<operation> ArrivareProspettiPartner </ operazione>
<target> ESUB </ target>
CODICE <instance> \u003d 432350114484630 </ esempio>
<utente> server1 </ utente>
<context> SOG </ context>
<fullOperation> GET: ESUB: CODICE, 432350114484630; </ fullOperation>
<starttime> 20081110080254,000313 </ starttime>
<stoptime> 20081110080254,697545 </ stoptime>
<fullResult> RESP: 0: MDN, 989352375449: CODICE, 432350114484630: T11, 1: T21, 1: T22, 1: B16, 1: T62, 1: BAIC, 0: BAOC, 0: BOIC, 0: BIRO, 0 : Boro, 0: BOIH, 0: BOS4, 0: CLIP, 1: CLIR, 0: CFB, 1: CFNR, 1: CFNA, 1: CFU, 1: HOLD, 1: CW, 1: MPTY, 1: BAICS , 0,0: BAOCS, 0,0: BOICS, 0,0: PRE, 0; </ fullResult>
<status> SUCCESSO </ status>
</ log>
<log logid\u003d"83efeae5190811100802570963">
<category> Upstream.CAI </ category>
Imposta <operation> </ operazione>
<target> DSUB </ target>
<instance> </ esempio>
<utente> server1 </ utente>
<context> SOG </ context>
<fullOperation> SET

SUB: MDN, 989352375449; </ fullOperation>
<starttime> 20081110080257,888204 </ starttime>
<stoptime> 20081110080257,999121 </ stoptime>
<fullResult> RESP: 911265678; </ fullResult>
<status> SOCCOMBENTE </ status>
</ log>
</ LogItems>

thepurple · #2 (**permalink**) 11-17-2008

al di sotto dei comandi eseguire. Ma non sempre la corretta produzione. Tuttavia, è di 3 minuti per file di 35MB. Ma io ho 900MB di file

egrep '<fullOperation> CANC | <fullOperation> SET | <fullOperation> CREARE | <fullOperation> ARRIVARE | <fullResult> RESP'

Uscita era -

<fullOperation> GET: ESUB: MDN, 989371072136; </ fullOperation>
<fullResult> RESP: 0: MDN, 989371072136: CODICE, 432350022011344: LastName, 989371072136: FirstName ,2008-11-08_16_10: PAESE, IR: LANG, fa: PRE, 1: SUBNAME, ISERVA: MMS, 0; </ fullResult >
<fullResult> RESP: 0; </ fullResult>
<fullResult> RESP: 0; </ fullResult> -> Resp.: arriva il doppio

La produzione va -
GET
Resp.: 0

radoulov · #3 (**permalink**) 11-17-2008

Sì,
il campione di dati nel precedente minaccia era diverso (ero assumendo tag separati da vuoto (vuoto) linee).
Prova questo:

Codice:

perl -nle'BEGIN {$/="</log>";$,="\n";$\="\n\n"}
  print /<fullOperation>(.*?):.*<fullResult>(.*?:.*?)[:;]/s
  ' infile

thepurple · #4 (**permalink**) 11-17-2008

Oaoo Greate il suo lavoro. Voglio mettere il file in uscita.

i corse come di seguito. Ma output.txt contiene qualche stringa che non corrisponde con la produzione originale nel mio schermo

perl -NLE 'BEGIN {$/\u003d"</ Accedi >";$,\u003d" \ n "; $ \ \u003d" \ n \ n ") print / <fullOperation> (.*?):.*< fullResult> ( .*?:.*?)[:;]/ s' 2008-11-11.0.log > Output.txt

radoulov · #5 (**permalink**) 11-17-2008

Ciò è strano, potrebbe postare un esempio di quelle stringhe?

thepurple · #6 (**permalink**) 11-17-2008

Opss mi dispiace amici .. Ha funzionato. In realtà ho messo il nome sbagliato.

Comunque, spero di poter mettere 'N' il numero di nomi di file con il perl script.

perl -NLE 'BEGIN {$/\u003d"</ Accedi >";$,\u003d" \ n "; $ \ \u003d" \ n \ n ") print / <fullOperation> (.*?):.*< fullResult> ( .*?:.*?)[:;]/ s' logfile1 logflie2 ... logfileN

radoulov · #7 (**permalink**) 11-17-2008

È possibile.

Più di UNIX e Linux Forum Argomenti potreste trovare utili
Filo	Thread Starter	Forum	Risposte	Ultimo Post
ricerca ")" con egrep - egrep: errore di sintassi	sagarjani	UNIX for Dummies Domande & Risposte	7	10-14-2008 08:30 AM
egrep / grep risultato di più file	tvrman	Shell scripting e di programmazione	3	08-07-2008 09:29 AM
Egrep cheat sheet ovunque? Cerchi un senso di egrep-c	leelm	UNIX for Dummies Domande & Risposte	2	01-11-2008 03:37 PM
perl - la copia di file	BG_JrAdmin	Shell scripting e di programmazione	1	12-13-2007 09:50 PM
Caricamento dei file Perl	sstevens	UNIX e avanzata per utenti esperti	16	02-24-2004 03:03 PM

Thread Tools	Cerca in questo Thread
Visualizza Versione stampabile Invia questa pagina	Cerca in questo Thread: Ricerca Avanzata
Modalità di visualizzazione	Vota questo thread
Passa alla modalità lineare Hybrid Mode Switch to Threaded Mode	Vota questo thread: