Parsing 286 caracteres de longitud de cadena

ppat7046 · #1 (**Enlace permanente**) 04-21-2009

Hola Amigos,

Que tengo. Txt que tiene 13.000 registros.
Cada registro es de 278 caracteres de largo.

Estoy utilizando a continuación el código para extraer la cadena y lleva casi 10 minutos.
Cualquier sugerencia por favor.

cat filename.txt | while read línea
hacer

f1 \u003d `echo $ line | awk '(print substr ($ 1,1,9))'`
f2 \u003d `echo $ line | awk '(print substr ($ 1,10,20))'`
f3 \u003d `echo $ line | awk '(print substr ($ 1,30,50))'`
f4 \u003d `echo $ line | awk '(print substr ($ 1,80,10))'`
f5 \u003d `echo $ line | awk '(print substr ($ 1,90,50))'`
f6 \u003d `echo $ line | awk '(print substr ($ 1,140,10))'`
f7 \u003d `echo $ line | awk '(print substr ($ 1,150,50))'`
f8 \u003d `echo $ line | awk '(print substr ($ 1,200,10))'`
f9 \u003d `echo $ line | awk '(print substr ($ 1,210,50))'`
F10 \u003d `echo $ line | awk '(print substr ($ 1,260,10))'`
f11 \u003d `echo $ line | awk '(print substr ($ 1,270,8))'`
f12 \u003d `echo $ line | awk '(print substr ($ 1,278,8))'`

s1 \u003d `echo $ f1" | "$ f2" | "$ f3" | "$ f4" | "$ f5" | "`
s2 \u003d `echo $ f6" | "$ f7" | "$ f8" | "`
s3 \u003d `echo $ f9" | "$ F10" | "`
s4 \u003d `echo $ f11" | "$ f12»

echo $ s1 $ s2 $ s3 $ s4>> FinalResult.txt
hecho

vgersh99 · #2 (**Enlace permanente**) 04-21-2009

nawk-f fieldwidth.awk filename.txt> FinalResul.txt

fieldwidth.awk:

Código:

function setFieldsByWidth(   i,n,FWS,start,copyd0) {
  # Licensed under GPL Peter S Tillier, 2003
  # NB corrupts $0
  copyd0 = $0                             # make copy of $0 to work on
  if (length(FIELDWIDTHS) == 0) {
    print "You need to set the width of the fields that you require" > "/dev/stderr"
    print "in the variable FIELDWIDTHS (NB: Upper case!)" > "/dev/stderr"
    exit(1)
  }

  if (!match(FIELDWIDTHS,/^[0-9 ]+$/)) {
    print "The variable FIELDWIDTHS must contain digits, separated" > "/dev/stderr"
    print "by spaces." > "/dev/stderr"
    exit(1)
  }

  n = split(FIELDWIDTHS,FWS)

  if (n == 1) {
    print "Warning: FIELDWIDTHS contains only one field width." > "/dev/stderr"
    print "Attempting to continue." > "/dev/stderr"
  }

  start = 1
  for (i=1; i <= n; i++) {
    $i = substr(copyd0,start,FWS[i])
    start = start + FWS[i]
  }
}

#Note that the "/dev/stderr" entries in some lines have wrapped.

#I then call setFieldsByWidth() in my main awk code as follows:
BEGIN {
  #FIELDWIDTHS="7 6 5 4 3 2 1" # for example
  # adjust the FIELDWIDTHS values as you see fit.
  FIELDWIDTHS="9 21 51 11 51 11 51 11 51 11 9 9" # for example
  OFS="|"
}
!/^[  ]*$/ {
  saveDollarZero = $0 # if you want it later
  setFieldsByWidth()
  # now we can manipulate $0, NF and $1 .. $NF as we wish
  # print $0 OFS
  print $1,$2,$3,$4,$5,$6,$7,$9,$10,$11,$12
  next
}

JerryHone · #3 (**Enlace permanente**) 04-21-2009

Un simple

método es la creación de script parse.awk

Código:

{
f1=substr($1,1,9);
f2=substr($1,10,20);
f3=substr($1,30,50);
f4=substr($1,80,10);
f5=substr($1,90,50);
f6=substr($1,140,10);
f7=substr($1,150,50);
f8=substr($1,200,10);
f9=substr($1,210,50);
f10=substr($1,260,10);
f11=substr($1,270,8);
f12=substr($1,278,8);

OFS="|";
print f1,f2,f3,f4,f5,f6,f7,f8,f9,f10,f11,f12;
print "\n";
}

cfajohnson · #4 (**Enlace permanente**) 04-22-2009

Código:

awk '{
 print  substr($1,1,9) "|" \
        substr($1,10,20) "|" \
        substr($1,30,50) "|" \
        substr($1,80,10) "|" \
        substr($1,90,50) "|" \
        substr($1,140,10) "|" \
        substr($1,150,50) "|" \
        substr($1,200,10) "|" \
        substr($1,210,50) "|" \
        substr($1,260,10) "|" \
        substr($1,270,8) "|" \
        substr($1,278,8)
}' filename.txt > FinalResult.txt

amitmathapati · #5 (**Enlace permanente**) 04-22-2009

PPL Hola ..

lo que si tengo la línea como esta
A BCD

lo que indica que el primer campo es f1 \u003d A, f2 \u003d f3 \u003d BCD
es decir, segundo campo de 6 caracteres en blanco. Así que ahora si uso el script de arriba, no soy capaz de obtener los campos en este caso.
¿Puede sugerir, por favor, en ese caso cómo hacerlo?

Cheers Amit

cfajohnson · #6 (**Enlace permanente**) 04-22-2009

Usar $ 0 en lugar de $ 1 (que es lo que debería haber utilizado):

Código:

awk '{
 print  substr($0,1,9) "|" \
        substr($0,10,20) "|" \
        substr($0,30,50) "|" \
        substr($0,80,10) "|" \
        substr($0,90,50) "|" \
        substr($0,140,10) "|" \
        substr($0,150,50) "|" \
        substr($0,200,10) "|" \
        substr($0,210,50) "|" \
        substr($0,260,10) "|" \
        substr($0,270,8) "|" \
        substr($0,278,8)
}' filename.txt > FinalResult.txt

ppat7046 · #7 (**Enlace permanente**) 04-22-2009

Gracias a todos por su respuesta.

Solía sugerencia proporcionada por cfajohnson y ahora tiene sólo 20 secconds para analizar los 800.000 registros.

Muchas gracias,
Prashant

Más UNIX y Linux Foro Temas usted puede encontrar útiles
Hilo	Hilo para principiantes	Foro	Respuestas	Último mensaje
Analizar el Informe de archivo de la Generación (String analizar y división)	umar.shaikh	Programación de scripts de shell y	8	03-02-2009 01:38 AM
analizar el campo de longitud fija con Yacc / bisonte	sungita	Programación de Alto Nivel	1	01-27-2009 11:27 AM
Leer una cadena con espacios y encontrar la longitud de la cadena	dayamatrix	UNIX for Dummies Preguntas y Respuestas	2	11-13-2008 10:08 AM
Parsing un registro de longitud variable	Barb	UNIX for Dummies Preguntas y Respuestas	17	10-01-2004 09:37 AM
Analizar los datos y mantener toda la longitud de la variable	app4dxh	Programación de scripts de shell y	3	11-22-2002 12:04 PM

Herramientas de hilo	Buscar en este Hilo
Mostrar Versión para imprimir Enviar esta página	Buscar en este Hilo: Búsqueda avanzada
Modos de visualización	Vota a este hilo
Cambiar a modo lineal Modo híbrido Cambiar a modo de línea	Vota a este hilo:


	Powered by