Szia



Csinálok folyamat átalakítására minden érték a legfontosabb oszlopa ki egy sorba, pl



Key col1 col2

1 1 1

1 2 1

1 1 3

1 3 1

2 1 1

2 1 2



Hogy mit csinálok a szkriptet alakítják át ezt az adatokat



1 (fő) | 1:2:1:3 (Minden col1 értékek), 1:1:3:1 (összes col2 értékek)

2 (key) | 1:1,1:2

Ennek elérése érdekében én használ, miközben két hurok és 4 Ha mást hurkok

Most az én termelés az oszlopok száma is 4, és a rekordok száma a bemeneti fájl 0,2 millió (2 lac), és ezt a szkriptet vesz több, mint 3 óra futtatásához.

Van ötlete, hogyan minimalizálja az átfutási idő?

Nincs hiba ellenőrzés! Nem teljes!

Használó hash, ezt kell szuper gyors!

#! /opt/third-party/bin/perl

open(FILE, "<", "r");

while(<FILE>) {
  next if(/^$/);
  chomp;
  my @arr = split(/ /);
  my @val = split(/,/, $fileHash{$arr[0]});
  $val[0] .= (":" . $arr[1]);
  $val[1] .= (":" . $arr[2]);
  $val[0] .= ("," . $val[1]);
  $val[0] =~ s/,:/,/;
  $val[0] =~ s/^://;
  $fileHash{$arr[0]} = $val[0];
}

close(FILE);

foreach my $k ( keys %fileHash ) {
  print "$k $fileHash{$k}\n";
}

exit 0

Szia,

Ez kell az OK gombra.

bemenet:

1 1 1

1 2 1

1 1 3

1 3 1

2 1 1

2 1 2

3 1 1

4 2 1

4 1 3

1 3 1

2 1 1

2 1 2

2|1:1:1:1|1:1:1:1
3|1|1
4|2:1|2:1
1|1:2:1:3:3|1:2:1:3:3

awk '
{
if (NF>1)
{
	col[$1]=$1
	if (col1[$1]=="")
		col1[$1]=$2
	else
		col1[$1]=sprintf("%s:%s",col1[$1],$2)
	if (col2[$1]=="")
		col2[$1]=$2
	else
		col2[$1]=sprintf("%s:%s",col2[$1],$2)
}
}
END{

for (i in col)
	print i"|"col1[i]"|"col2[i]
}' filename