The UNIX and Linux Forums  
Hej og Velkommen fra USA til UNIX og Linux Forums! Tak for dit besøg og deltager i vores globale samfund.

Go Back   UNIX og Linux Forums > Top Forums > UNIX for dummyer Spørgsmål & svar
Remove Duplicate lines from File Fjern Dubler linjer fra fil
.
google unix.com

Forums Registrer Forum ReglerLinksAlbums FAQ Members List Kalender Søgning Dagens Stillinger Mark Forums Read


UNIX for dummyer Spørgsmål & svar Hvis du ikke ved, hvor man skal sende en UNIX-eller Linux-spørgsmål, efter det her. Alle UNIX og Linux newbies velkommen!

Mere UNIX og Linux Forum Emner du måske kan finde Helpful
Tråd Thread Starter Forum Svar Last Post
Fjern duplikateksemplaret linjer i logfiler karthikn7974 Shell Programmering og Scripting 4 03-21-2009 06:41 PM
Fjern alle forekomster af dobbeltposter fra fil vukkusila Shell Programmering og Scripting 3 12-12-2007 07:50 AM
hvordan du fjerner duplikateksemplar linjer fredao Shell Programmering og Scripting 3 12-13-2006 12:51 PM
Dupliker linjer i filen guptan UNIX for Advanced & Ekspertsøgning Brugere 3 05-18-2006 06:28 AM
Fjern Dubler Lines i File Den Tiack Ein Shell Programmering og Scripting 5 01-12-2006 08:30 AM

Closed Thread
Side 1 af 2 1 2
English Japanese Spanish French German Portuguese Italian Dutch Swedish Russian Norwegian Hungarian Hebrew Danish Bulgarian Greek Powered by Powered by Google
 
LinkBack Thread Tools Søg denne tråd Rate Thread Display Modes
  #1 (permalink)  
Old 08-30-2007
Nysif Steve Nysif Steve is offline
Registreret Bruger
  
 

Join Date: Aug 2007
Beliggenhed: Albany, NY
Stillinger: 26
Fjern Dubler linjer fra fil
Jeg har en logfil "logreport", der indeholder flere linjer som ses nedenfor:

04:20:00 / usr / lib / SNMP / snmpdx: [ID 702911 daemon. fejl] Agent snmpd syntes død, men reagerede på ping
06:38:08 / usr / lib / SNMP / snmpdx: [ID 702911 daemon. fejl] Agent snmpd syntes død, men reagerede på ping
07:11:05 / usr / lib / SNMP / snmpdx: [ID 702911 daemon. fejl] Agent snmpd syntes død, men reagerede på ping


Jeg vil gerne redigere rapporten til fjerne poster denne rapport kopiere begivenheder. Jeg forsøger at producere en produktion tæt på det, der ses nedenfor:

04:20:00 / usr / lib / SNMP / snmpdx: [ID 702911 daemon. fejl] Agent snmpd syntes død, men reagerede på ping
Denne fejl blev gengivet 2 gange
  #2 (permalink)  
Old 08-30-2007
Ilan ilan is offline
Registreret Bruger
  
 

Join Date: Jul 2007
Stillinger: 101
du kan bruge Entydige.

kan være noget lignende dette:
for jeg i `mere logreport | sortere | Entydige« do echo "no.of tid & I:` grep-c $ i logreport «" gjort

-Ilan
Sidst redigeret af Ilan; 08-30-2007 på 03:49 PM..
  #3 (permalink)  
Old 08-30-2007
radoulov's Avatar
radoulov radoulov is online now Forum Staff  
narkoman
  
 

Join Date: Jan 2007
Beliggenhed: Варна, България / Milano, Italia
Indlæg: 2.878
Code:
awk '{x[substr($0,9)]++;y[substr($0,9)]=$1}END{
	for(i in x)
printf "%s\nThis Error was reproduced %d times\n",y[i]i,x[i]
}' logfile
Som altid vil bruge nawk eller / usr/xpg4/bin/awk på Solaris.
  #4 (permalink)  
Old 08-31-2007
Nysif Steve Nysif Steve is offline
Registreret Bruger
  
 

Join Date: Aug 2007
Beliggenhed: Albany, NY
Stillinger: 26
Hvad er outputtet fra denne? Jeg kan ikke få det til at køre korrekt.

Code:
awk '{x[substr($0,9)]++;y[substr($0,9)]=$1}END{
	for(i in x)
printf "%s\nThis Error was reproduced %d times\n",y[i]i,x[i]
}' logfile
  #5 (permalink)  
Old 08-31-2007
radoulov's Avatar
radoulov radoulov is online now Forum Staff  
narkoman
  
 

Join Date: Jan 2007
Beliggenhed: Варна, България / Milano, Italia
Indlæg: 2.878
Citat:
Oprindeligt Indsendt af Nysif Steve View Post
Hvad er outputtet fra denne? Jeg kan ikke få det til at køre korrekt.
Hvad er output du?

Code:
zsh 4.3.2% cat file
04:20:00 /usr/lib/snmp/snmpdx: [ID 702911 daemon.error] Agent snmpd appeared dead but responded to ping
06:38:08 /usr/lib/snmp/snmpdx: [ID 702911 daemon.error] Agent snmpd appeared dead but responded to peng
07:11:05 /usr/lib/snmp/snmpdx: [ID 702911 daemon.error] Agent snmpd appeared dead but responded to ping
04:20:00 /usr/lib/snmp/snmpdx: [ID 702911 daemon.error] Agent snmpd appeared dead but responded to pong
06:38:08 /usr/lib/snmp/snmpdx: [ID 702911 daemon.error] Agent snmpd appeared dead but responded to ping
07:11:05 /usr/lib/snmp/snmpdx: [ID 702911 daemon.error] Agent snmpd appeared dead but responded to pong
zsh 4.3.2% awk '{x[substr($0,9)]++;y[substr($0,9)]=$1}END{
for(i in x)
printf "%s\nThis Error was reproduced %d times\n",y[i]i,x[i]
}' file
07:11:05 /usr/lib/snmp/snmpdx: [ID 702911 daemon.error] Agent snmpd appeared dead but responded to pong
This Error was reproduced 2 times
06:38:08 /usr/lib/snmp/snmpdx: [ID 702911 daemon.error] Agent snmpd appeared dead but responded to peng
This Error was reproduced 1 times
06:38:08 /usr/lib/snmp/snmpdx: [ID 702911 daemon.error] Agent snmpd appeared dead but responded to ping
This Error was reproduced 3 times
  #6 (permalink)  
Old 08-31-2007
cassj's Avatar
cassj cassj is offline VIP Member  
Supporter
  
 

Join Date: Jul 2003
Beliggenhed: Interweb
Posts: 109
Jeg forsøgte radoulov's script og det virker for mig. Jeg havde en stikprøve logfil på mit skrivebord kaldet "logfile.log" med disse angivelser:

Code:
04:20:00 /usr/lib/snmp/snmpdx: [ID 702911 daemon.error] Agent snmpd appeared dead but responded to ping
06:38:08 /usr/lib/snmp/snmpdx: [ID 999999 daemon.error] Agent snmpd appeared dead but responded to DING
07:11:05 /usr/lib/snmp/snmpdx: [ID 702911 daemon.error] Agent snmpd appeared dead but responded to ping
09:20:00 /usr/lib/snmp/snmpdx: [ID 999999 daemon.error] Agent snmpd appeared dead but responded to DING
10:38:08 /usr/lib/snmp/snmpdx: [ID 702911 daemon.error] Agent snmpd appeared dead but responded to ping
11:11:05 /usr/lib/snmp/snmpdx: [ID 999999 daemon.error] Agent snmpd appeared dead but responded to DING
Jeg cd'd til mit skrivebord, og derefter brugte jeg radoulov's script med mindre ændring for at tilføje "\" til slutningen af hver linje, så jeg kunne kopiere og indsætte det til bash kommandolinjen.

Code:
awk '{x[substr($0,9)]++;y[substr($0,9)]=$1}END{\
for(i in x) \
printf "%s\nThis Error was reproduced %d times\n",y[i]i,x[i]\
}' logfile.log
Tryk tilbagevenden og Voila!:

Code:
10:38:08 /usr/lib/snmp/snmpdx: [ID 702911 daemon.error] Agent snmpd appeared dead but responded to ping
This Error was reproduced 3 times
11:11:05 /usr/lib/snmp/snmpdx: [ID 999999 daemon.error] Agent snmpd appeared dead but responded to DING
This Error was reproduced 3 times
Nice job radoulov!
  #7 (permalink)  
Old 09-05-2007
psiva_arul's Avatar
psiva_arul psiva_arul is offline
Registreret Bruger
  
 

Join Date: Jul 2007
Beliggenhed: Bangalore, Indien
Stillinger: 97
Hi All,

Jeg har en nedenfor tekstfil som er adskilt af "|". Denne fil har to rækker hver eneste rækken har tre værdier (file_header, file_header og invoice_detail). som denne

file_header | GEES-EU | 343 | 2007-08-29T07: 10:51 | SSPF | 12 | 2008 | 0 | 0 | værdipapirafviklingssystem | |
invoice_header | 39478-198192-2 | 250489 | BRIDGEWATER108 | 2007-08-28T00: 00:00 | 1 | Standard | Modtagelse Invoic
invoice_detail | 39478-198192-2 | 2 | ITEM | 1 | 1 | 1 | AUG-07 | 5896.45820.000.00.00.000000.000 | Annonce | 856974521 | 257ZA | zas78

file_header | GEAS-EU | 343 | 2007-08-29T07: 10:51 | SSPF | 12 | 2008 | 0 | 0 | værdipapirafviklingssystem | |
invoice_header | 35818-198192-2 | 250489 | BRIDGEWATER108 | 2007-08-28T00: 00:00 | 1 | Standard | Modtagelse Invoic
invoice_detail | 1235-198192-2 | 2 | ITEM | 1 | 1 | 1 | AUG-07 | 17.121504.45820.000.00.00.000000.000 | Annonce | 123456789 | 257ZA | zas78

Forventet effekt:
\u003d\u003d\u003d\u003d\u003d\u003d\u003d\u003d\u003d\u003d\u003d\u003d\u003d

Jeg vil skære ovenstående 11th kolonne fra ovenstående inpu fil (vi er nødt til at skære det 11. kolonne fra invoice_detail træk.

856974521
123456789

Thanks in advance,

Tak,
Siva.P
Bangalore.
Closed Thread
Side 1 af 2 1 2

Bogmærker

Tags
linux, sendmail

« fjernelse af en linje fra en fil og derefter placere i en anden fil | Kombinere finde, grep og gzip »
Thread Tools Søg denne tråd
Søg denne tråd:

Avanceret søgning
Display Modes Bedøm denne tråd
Hybrid Mode Hybridtilstand
Bedøm denne tråd:

Udstationering Regler
Du kan ikke post nye tråde
Du kan ikke post svar
Du kan ikke post vedhæftede filer
Du kan ikke redigere dine indlæg
BB-kode er På
Smilies er På
[IMG] koden er På
HTML-koden er Slukket
Trackbacks er På
Pingbacks er På
Refbacks er På



Alle tidspunkter er GMT -4. Den tid er nu 01:47 PM.

The UNIX and Linux Forums - Learn UNIX and UNIX Commands RSS Feeds -- Kontakt os -- UNIX og Linux Forums - Læs UNIX og UNIX-kommandoer -- Arkiv -- Top

Powered by: vBulletin, Copyright © 2000 - 2006, Jelsoft Enterprises Limited. Oversættelser Powered by .
vBCredits v1.4 Copyright © 2007 - 2008, PixelFX Studios
UNIX og Linux Forums Content Copyright © 1993-2009. Alle rettigheder Reserved.Ad Management ved RedTyger

Content Relevant webadresser ved vBSEO 3.2.0