Jeg har en fil, der er 20 til 80 + MB i størrelse, der er en vis type af logfil.

Det logger en af vores processer, og denne proces er multi-threaded. Derfor er logfilen er lidt noget rod. Her er et eksempel:

Den logfil udseende: "DATO TID - THREAD ID - Detaljer", og en ny fil, der oprettes for hver dag
Nu, her, hvor det bliver at være en smerte ... Jeg har brug for at trække linjer fra "Starting Session" til "Ending Session" for hver Tråd ID, og dump dem til separate filer. MEN, den Tråd ID kan blive gentaget i løbet af en dag - men normalt ikke i mange timer.

En session kan vare fra 30 sekunder til 4 minutter eller deromkring (~ 1200 linjer) i logfil, og der kan være op til 20 samtidige sessioner.

Nu har jeg noget, der virker - selv ganske langsomt. Jeg ender flerfilssøgning og sedding filen igen og igen. Når filen bliver store, det tager et kolossalt tid. Jeg håber, at nogen her kan hjælpe mig med at optimere denne. Hvis det er muligt, vil jeg gerne bruge bash.

Tak,
Eric

Her er den kode jeg har, der virker, men er _slow_

    if [[ -e "$log_file" ]]
    then
        echo "parsing: "$log_file
        grep "starting session" $log_file | while read line 
        do
            thread=`echo $line | cut -d' ' -f4`
            sessiontype=`echo $line | cut -d' ' -f6`
            sessionnumber=`echo $line | cut -d' ' -f7`

            echo "  first line of session: "${line:0:25}"..."
            line2=`echo  - $thread - $sessiontype $sessionnumber shutting down`
            echo "  last line of session: "${line2:0:25}"..."
            sed -n "/$line/,/$line2/p" $log_file | grep " - $thread - ">session.$thread.$sessiontype.$sessionnumber
        done
    ....

file: session.BD0.Order.123 20090409 000122 - BD0 - Bestil 123 starter session 20090409 000122 - BD0 - Forarbejdning 1 20090409 000122 - BD0 - Flere Processing 20090409 000124 - BD0 - Forarbejdning 2 20090409 000125 - BD0 - Flere Processing 20090409 000126 - BD0 - Bestil 123 lukke file: session.DD1.Cancel.345 20090409 000125 - DD1 - Annuller 345 starter session 20090409 000125 - DD1 - Forarbejdning 20090409 000126 - DD1 - Forarbejdning 2 .. .. .. 20090409 000143 - DD1 - Annuller 345 lukke file: session.11F.Query.543 20090409 000127 - 11F - Query 543 starter session 20090409 000127 - 11F - Forarbejdning .. .. 20090409 000135 - 11F - Query 543 lukke file: session.EF0.Order.234 20090409 000123 - EF0 - Bestil 234 starter session 20090409 000124 - EF0 - Forarbejdning 20090409 000125 - EF0 - Forarbejdning 20090409 000140 - EF0 - Bestil 234 lukke

Hvis man antager den første linje i en session afsluttes med "start session", kan du prøve denne (ikke testet):

awk '{
  !a[$4]{a[$4]=$4; n[$4]="session."$4"."$6"."$7}
  a[$4]{print > n[$4]}
' file

Undskyld, jeg burde have været mere specifik. Den starter session linier alle ende med noget lignende:

20090409 000122 - BD0 - Bestil 123 starter session med kunden 12-port 34
20090409 000123 - EF0 - Bestil 234 starter session med klienten 347 port 38
...

Og både klient og havnen er dynamiske værdier.

Yeah, I'm getting fejl - jeg kører dette under cygwin, så jeg ikke har let adgang til nawk.

Prøv denne --
$ Sort-k 4 logfil | awk 'NR \u003d\u003d 1 (prev \u003d $ 4; txt \u003d "session." $ 4 "." $ 6 "." $ 7; printf ( "% s \ n% s", txt, $ 0); getliine) (if (prev! ~ $ 4) (txt \u003d "session." $ 4 "." $ 6 "." $ 7; printf ( "% s \ n% s", txt, $ 0); prev \u003d $ 4) else (print 0 $; prev \u003d $ 4)) '

vil give noget som dette --

session.11F.Processing.
20090409 000127 - 11F - Processing20090409 000.127 - 11F - Forarbejdning
20090409 000127 - 11F - Query 543 starter session
session.BD0.More.Processing
20090409 000122 - BD0 - Mere Processing20090409 000.125 - BD0 - Flere Processing
20090409 000126 - BD0 - Bestil 123 lukke
20090409 000122 - BD0 - Bestil 123 starter session
20090409 000122 - BD0 - Forarbejdning 1
20090409 000124 - BD0 - Forarbejdning 2
session.DD1.Cancel.345
20090409 000125 - DD1 - Annuller 345 starter session20090409 000.125 - DD1 - Forarbejdning
20090409 000126 - DD1 - Forarbejdning 2
session.EF0.Order.234
20090409 000123 - EF0 - Bestil 234 starter session20090409 000.124 - EF0 - Forarbejdning
20090409 000125 - EF0 - Forarbejdning


skål,
Devaraj Takhellambam

Prøv denne her:

awk '
{if !($4 in a){a[$4]=$4; n[$4]="session."$4"."$6"."$7}}
{if ($4 in a) {print > n[$4]}}
' file