こんにちはすべて、

私は1つのシェルスクリプトを書いている。このスクリプトの出力ファイルのSQL出力している。

そのファイルには、私は複数のエントリ（重複行）を行っている行を抽出したい。
例えば、出力ファイルは、次の方法のようになります。

\u003d\u003d\u003d\u003d\u003d\u003d\u003d\u003d\u003d\u003d\u003d\u003d\u003d\u003d\u003d\u003d\u003d\u003d\u003d\u003d\u003d\u003d\u003d\u003d\u003d\u003d\u003d\u003d\u003d\u003d\u003d\u003d\u003d\u003d\u003d\u003d\u003d\u003d\u003d\u003d\u003d\u003d\u003d\u003d\u003d\u003d\u003d\u003d\u003d\u003d \u003d\u003d\u003d\u003d\u003d\u003d\u003d\u003d\u003d\u003d\u003d\u003d\u003d
<SH12_MC30_CE_VS_NY_HIST_T>
\u003d\u003d\u003d\u003d\u003d\u003d\u003d\u003d\u003d\u003d\u003d\u003d\u003d\u003d\u003d\u003d\u003d\u003d\u003d\u003d\u003d\u003d\u003d\u003d\u003d\u003d\u003d\u003d\u003d\u003d\u003d\u003d\u003d\u003d\u003d\u003d\u003d\u003d\u003d\u003d\u003d\u003d\u003d\u003d\u003d\u003d\u003d\u003d\u003d\u003d \u003d\u003d\u003d\u003d\u003d\u003d\u003d\u003d\u003d\u003d\u003d\u003d\u003d
397 44847
400 33653
401 46455
\u003d\u003d\u003d\u003d\u003d\u003d\u003d\u003d\u003d\u003d\u003d\u003d\u003d\u003d\u003d\u003d\u003d\u003d\u003d\u003d\u003d\u003d\u003d\u003d\u003d\u003d\u003d\u003d\u003d\u003d\u003d\u003d\u003d\u003d\u003d\u003d\u003d\u003d\u003d\u003d\u003d\u003d\u003d\u003d\u003d\u003d\u003d\u003d\u003d\u003d \u003d\u003d\u003d\u003d\u003d\u003d\u003d\u003d\u003d\u003d\u003d\u003d\u003d
<SH12_MC30_CE_VS_NY_HIST_T_BKP>
\u003d\u003d\u003d\u003d\u003d\u003d\u003d\u003d\u003d\u003d\u003d\u003d\u003d\u003d\u003d\u003d\u003d\u003d\u003d\u003d\u003d\u003d\u003d\u003d\u003d\u003d\u003d\u003d\u003d\u003d\u003d\u003d\u003d\u003d\u003d\u003d\u003d\u003d\u003d\u003d\u003d\u003d\u003d\u003d\u003d\u003d\u003d\u003d\u003d\u003d \u003d\u003d\u003d\u003d\u003d\u003d\u003d\u003d\u003d\u003d\u003d\u003d\u003d
397 44847
398 40107
399 39338
400 33653


この出力では、重複行のみの数値です。このファイルの行の値を想定し、それらの行は、重複する行を分離すると考えている。だから私は、うち1つ以上のエントリをしているが、この数字に関連しているファイルからにしてください。

誰も私のコマンドを教えてくださいすることができますか？
事前に感謝します。

よろしく、
Raghu 。

cat file1 file2 | \
   grep -v -e '^='  -e '^<' | \
   awk '{ arr[$0]++} END{ for (i in arr) { if(arr[i]>1) { print i}  }}' > newfile

このしてみてください

#!/bin/ksh
sort $1 > sortedfile
nawk '{ while (getline < sortedfile >0); array[n++]=$0; compare and remove non dup record here}'

こんにちは、ジム、


私ウルコマンドの2行目まで理解できなかった。
私は、 Awkの部分を理解することができませんでした。 Becoz私dontは、 Awkの機能を知っている。
しかし、それも取り組んでいる。非常には、ご利用いただきありがとうございます。 ' Awkの'がいいです。
Awkの代わりにそれを得るにはaother道を譲ることができます。

ありがとう＆よろしく、
Raghunadh 。

nawk '/^[0-9]/ {a[$0]++} END {for (i in a) if (a[i]>1) print i}' myOutputFile

こんにちはvgersh99 、

非常にウル返信いただきありがとうございます。
' nawk 'コマンドニースIDです。しかし、私は' Awkの' dont機能を知っている。ですから私は誰にこのコマンドを説明するカント私のスクリプトにしてこのコマンドを入れた。だから、私の代わりに'のAwkの'と'コマンドを提供してくださいすることができますnawk ' 。


事前のおかげで、

よろしく、
Raghu 。

私は最後に出力形式を処理するのAwkのみ使用されます。は特に気を付けの位置決めが必要になりますこれは、カットのコマンドでも、行われる可能性がある。

> cat file9
===============================================================
<SH12_MC30_CE_VS_NY_HIST_T>
===============================================================
397 44847
400 33653
401 46455
===============================================================
<SH12_MC30_CE_VS_NY_HIST_T_BKP>
===============================================================
397 44847
398 40107
399 39338
400 33653

> grep "^[0-9]" file9 | sort | uniq -cd
      2 397 44847
      2 400 33653

> grep "^[0-9]" file9 | sort | uniq -cd | awk '{print $2" "$3}'
397 44847
400 33653

> grep "^[0-9]" file9 | sort | uniq -cd | tr -s " " | cut -d" " -f3-4
397 44847
400 33653

> grep "^[0-9]" file9 | sort | uniq -d 
397 44847
400 33653