Shell Programming and Scripting

Headword=Gloss1,Gloss2,Gloss3

a=b,c,b
d=p,q,p
e=z,y,g,z,g,y

a=b,c
d=p,q
e=g,y,z

آبادِیوں=आबादिओं,आबादियों
آبادی=जनसंख्या,आबादी
آبجیکشن=ऑबजेक्शन,ऑब्जेक्शन
آبلا=अबला,उबला
آبو=आबू,आबो
آتشک=आतशक,आतिशक
آتم=आतम,आतम,आत्म,आत्म
آتون=आतून,आतोन
آتیں=आतीं,आतें,आतें,आतीं
آجا=आ जा,आजा
آجاتی=आ जाती,आजाती
آجانا=आ जाना,आजाना
آجکل=आज कल,आजकल
آخری=अंतिम,आख़री
آد=आद,आद,आदि

{
for (I=1;I<NF;I++)
{
for (J=I+1;J<=NF;J++)
{
if ($I == $J ) { print $I": " $0 }
}
}
}

#! /usr/bin/perl

use warnings;
use strict;

my ($line, @lr, %hindi_words);
open I, "< file.txt";
while ($line = <I>) {
    chomp ($line);
    undef %hindi_words;
    @lr = split ('=', $line);
    for (split(',', $lr[1])) {
        $hindi_words{$_} = 1;
    }
    print "$lr[0]=", join(',', keys(%hindi_words)), "\n";
}
close I;

awk -F "[=,]" '{delete a
                printf $1 "="
                for (i=2;i<=NF;i++) a[$i]
                for (i in a) printf i ","
                printf RS}' infile |sed 's/,$//'