Έχω ένα τεράστιο αρχείο με πάνω από 1million καταχωρήσεις σε αυτό.
Μοιάζει κάπως έτσι:

USER0001 | DEVICE001 | VAR1
USER0001 | DEVICE001 | VAR2
USER0001 | DEVICE001 | VAR3
USER0001 | DEVICE001 | VAR4
USER0001 | DEVICE001 | VAR5
USER0001 | DEVICE001 | VAR6
USER0001 | DEVICE002 | VAR1
USER0001 | DEVICE002 | VAR2
USER0001 | DEVICE002 | VAR3
USER0001 | DEVICE002 | VAR4
USER0001 | DEVICE002 | VAR5
USER0002 | DEVICE003 | VAR1
USER0002 | DEVICE003 | VAR2
USER0002 | DEVICE003 | VAR3
USER0002 | DEVICE003 | VAR4
USER0002 | DEVICE003 | VAR5
USER0002 | DEVICE004 | VAR1
USER0002 | DEVICE004 | VAR2
USER0002 | DEVICE004 | VAR3
USER0002 | DEVICE004 | VAR4
USER0002 | DEVICE004 | VAR5
USER0003 | DEVICE005 | VAR1
USER0003 | DEVICE005 | VAR2
USER0003 | DEVICE005 | VAR3
USER0003 | DEVICE005 | VAR4
USER0003 | DEVICE005 | VAR5
USER0003 | DEVICE005 | VAR6
USER0003 | DEVICE006 | VAR1
USER0003 | DEVICE006 | VAR2
USER0003 | DEVICE006 | VAR6


Θα ήθελα ένα τρόπο για την παραγωγή της μόνο uniq veriables σε μια ενιαία γραμμή σαν αυτό:

USER0001 | DEVICE001 | VAR1 | VAR2 | VAR3 | VAR4 | VAR5 | VAR6
USER0001 | DEVICE002 | VAR1 | VAR2 | VAR3 | VAR4 | VAR5
USER0002 | DEVICE003 | VAR1 | VAR2 | VAR3 | VAR4 | VAR5
USER0002 | DEVICE004 | VAR1 | VAR2 | VAR3 | VAR4 | VAR5
USER0003 | DEVICE005 | VAR1 | VAR2 | VAR3 | VAR4 | VAR5 | VAR6
USER0003 | DEVICE006 | VAR1 | VAR2 | VAR6


Είναι αυτό εφικτό με awk ή θα χρειαστεί να χρησιμοποιήσετε perl array;

nawk 'BEGIN {FS="|"}END{for(r in _)print r FS _[r]}{idx=$1 FS $2;_[idx]=_[idx]?_[idx] FS $3:$3}' myFile

εντάξει αυτό είναι φοβερό, ποτέ δεν αναμένεται να αποτελέσει μία ναυτιλιακή!
Ι βέβαιος ότι θα ήθελε να μάθει πώς προσδιορίζεται nawk ήταν το καλύτερο εργαλείο για αυτή τη δουλειά.

Γνωρίζω ότι μπορώ να rtfm και το σχήμα αυτό, αλλά αν είναι δυνατόν, εγώ σίγουρος ότι θα εκτιμήσουν τον τρόπο με τον οποίο η μετάφραση του FS και idx παίξει σε αυτή την τελική λύση

Ή είναι ότι εκτός του τομέα των εν λόγω φόρουμ;

awk -F "|" '{arr[$1"|"$2]=arr[$1"|"$2]"|"$3} END {for(i in arr) print i"|" arr[i]}' filename

open FH,"<a.txt";
while(<FH>){
	tr/\n//d;
	my @tmp=split("[|]",$_);
	$key=$tmp[0]."|".$tmp[1];
	if(exists $hash{$key}){
		$hash{$key}=sprintf("%s|%s",$hash{$key},$tmp[2]);
	}
	else{
		$hash{$key}=$tmp[2];
	}
}
close FH;
for $key (sort keys %hash){
	print $key,"|",$hash{$key},"\n";
}