Hej makt användare

I grund och botten är denna tråd en fortsättning på den tidigare :

Att Connection noder för diagram

Men jag ska förklara det igen.

Jag har här följande uppgifter:

fil1
aa A
aa B
aa C
bb X
bb Y
bb Z
cc O
cc P
cc Q
. .
. .
. .
. .

och jag vill göra dem till en anslutning noder så här:
fil2

A AA A
A aa B
A aa C
B aa C
B aa B
C aa C
X bb X
X bb Y
X bb Z
Y bb Z
Y bb Y
Z bb Z
. . .
. . .
. . .
. . .

Jag gjorde detta förhållande, att skapa ett diagram. Filen har mer än 6.000.000 rader.
För mindre filer (100,000 lines), har jag använt detta följande skript i föregående tråd:

gå-o 1,2 0 2,2 -1 1 -2 1 fil1 fil1 | nawk '! a [$ 3 $ 2 $ 1]; (a [$ 1 $ 2 $ 3 ]++}'
gå-o 1,2 0 2,2 -1 1 -2 1 fil1 fil1 | nawk '$ 1 <$ 3 (print; nästa) (print $ 3, $ 2, $ 1)' | sort-u
nawk "
NR \u003d\u003d Bildrutnr (c \u003d a [$ 1], a [$ 1] \u003d c? C "" $ 2: $ 2; nästa)
(C \u003d a [$ 1]
if (c) (
split (c, b)
för (k i b) (
p \u003d $ 2 <b [k]? $ 2 "" $ 1 "" b [k]: b [k] "" $ 1 "" $ 2
if (! d [p] + +) print p
)
)
)
"Fil1 fil1
För liten fil, kan dessa tre typer av skript skapar nätverket endast på mindre än 10 minuter. För filer med mer än 6.000.000 rader, även efter en dag fanns det inget resultat alls . Finns det något snabbare sätt att göra det?


Några förslag, hur man skapar fil2 genom perl eller awk? Tx