Eu tenho um arquivo que é de 20 - 80 + MB de tamanho que é um determinado tipo de arquivo de log.

Ele registra um dos nossos processos e este processo é multi-threaded. Assim, o arquivo de log é um tipo de confusão. Aqui está um exemplo:

O logfile algo parecido com: "DATA HORA - Thread ID - Detalhes", e um novo arquivo é criado para cada dia
Agora, aqui é onde fica a ser uma dor ... Eu preciso tirar as linhas de "Iniciar sessão" para "Terminar Sessão" para cada Thread ID, e despejar a estes ficheiros separados. No entanto, o Thread ID pode ser duplicada ao longo de um dia - mas geralmente não por muitas horas.

Uma sessão pode durar de 30 segundos a 4 minutos ou mais (~ 1200 linhas) no logfile, e pode haver até 20 sessões simultâneas.

Agora, tenho algo que funciona - embora muito lentamente. Eu acabar grepping e sedding o arquivo mais e mais. Quando o arquivo ficar grande, ela tem uma enorme quantidade de tempo. Estou esperando que alguém aqui pode me ajudar a otimizar isso. Se possível, gostaria de usar bash.

Obrigado,
Eric

Aqui é o código que tenho que funciona, mas é _slow_

    if [[ -e "$log_file" ]]
    then
        echo "parsing: "$log_file
        grep "starting session" $log_file | while read line 
        do
            thread=`echo $line | cut -d' ' -f4`
            sessiontype=`echo $line | cut -d' ' -f6`
            sessionnumber=`echo $line | cut -d' ' -f7`

            echo "  first line of session: "${line:0:25}"..."
            line2=`echo  - $thread - $sessiontype $sessionnumber shutting down`
            echo "  last line of session: "${line2:0:25}"..."
            sed -n "/$line/,/$line2/p" $log_file | grep " - $thread - ">session.$thread.$sessiontype.$sessionnumber
        done
    ....

dossier: session.BD0.Order.123 20090409 000122 - BD0 - Ordem 123 iniciando sessão 20090409 000122 - BD0 - Tratamento 1 20090409 000122 - BD0 - Mais Processamento 20090409 000124 - BD0 - Tratamento 2 20090409 000125 - BD0 - Mais Processamento 20090409 000126 - BD0 - Ordem 123 desligando dossier: session.DD1.Cancel.345 20090409 000125 - DD1 - Cancelar 345 iniciando sessão 20090409 000125 - DD1 - Transformação 20090409 000126 - DD1 - Tratamento 2 .. .. .. 20090409 000143 - DD1 - Cancelar 345 desligando dossier: session.11F.Query.543 20090409 000127 - 11F - Consulta 543 iniciar sessão 20090409 000127 - 11F - Transformação .. .. 20090409 000135 - 11F - Consulta 543 desligando dossier: session.EF0.Order.234 20090409 000123 - EF0 - Ordem 234 iniciando sessão 20090409 000124 - EF0 - Transformação 20090409 000125 - EF0 - Transformação 20090409 000140 - EF0 - Ordem 234 desligando

Assumindo que a primeira linha de uma sessão termina com "iniciar sessão", você pode tentar isso (não testado):

awk '{
  !a[$4]{a[$4]=$4; n[$4]="session."$4"."$6"."$7}
  a[$4]{print > n[$4]}
' file

Desculpe, eu deveria ter sido mais específico. A todas as linhas iniciando sessão terminará com algo como:

20090409 000122 - BD0 - Ordem 123 iniciando sessão com cliente 12 porto 34
20090409 000123 - EF0 - Ordem 234 iniciando sessão com 347 cliente porto 38
...

E tanto o cliente eo porto são dinâmicos valores.

Sim, eu estou recebendo erros - Estou executando este título cygwin, então não tenho acesso fácil a nawk.

tente isso --
$ Sort-k 4 logfile | awk 'NR \u003d\u003d 1 (prev \u003d $ 4; txt \u003d "sessão." $ 4 "." $ 6 "." $ 7; printf ( "% s \ n% s", txt, $ 0); getliine) (if (prev! ~ $ 4) (txt \u003d "sessão." $ 4 "." $ 6 "." $ 7; printf ( "% s \ n% s", txt, $ 0); prev \u003d $ 4) else (print $ 0; prev \u003d $ 4)) '

vai dar algo parecido com isto --

session.11F.Processing.
20090409 000127 - 11F - Processing20090409 000127 - 11F - Transformação
20090409 000127 - 11F - Consulta 543 iniciar sessão
session.BD0.More.Processing
20090409 000122 - BD0 - Mais Processing20090409 000125 - BD0 - Mais Processamento
20090409 000126 - BD0 - Ordem 123 desligando
20090409 000122 - BD0 - Ordem 123 iniciando sessão
20090409 000122 - BD0 - Tratamento 1
20090409 000124 - BD0 - Tratamento 2
session.DD1.Cancel.345
20090409 000125 - DD1 - Cancelar 345 começando session20090409 000125 - DD1 - Transformação
20090409 000126 - DD1 - Tratamento 2
session.EF0.Order.234
20090409 000123 - EF0 - Ordem 234 começando session20090409 000124 - EF0 - Transformação
20090409 000125 - EF0 - Transformação


felicidades,
Devaraj Takhellambam

Experimente um presente:

awk '
{if !($4 in a){a[$4]=$4; n[$4]="session."$4"."$6"."$7}}
{if ($4 in a) {print > n[$4]}}
' file