The UNIX and Linux Forums  

Go Back   UNIX og Linux Forums > Top Forums > UNIX for Dummies Spørsmål og svar
Remove Duplicate lines from File Fjern Dupliserte linjer fra fil
.
google unix.com

Forums Registrer Forum RulesLenkerAlbum FAQ Medlemsliste Kalender Søke Dagens innlegg Marker forumene som lest


UNIX for Dummies Spørsmål og svar Hvis du er usikker på hvor du skal legge inn en UNIX-eller Linux-spørsmålet, legger den her. Alle UNIX og Linux newbies velkommen!

Mer UNIX og Linux Forum Emner Du kan finne nyttig
Tråd Tråd startet Forum Svar Siste innlegg
Fjern duplikatinnhold linjer i loggfiler karthikn7974 Shell programmering og Skripting 4 03-21-2009 06:41
Fjern alle forekomster av duplikatinnhold poster fra filen vukkusila Shell programmering og Skripting 3 12-12-2007 07:50
hvordan du fjerner duplikat linjer fredao Shell programmering og Skripting 3 12-13-2006 12:51
Dupliserte linjer i filen guptan UNIX for Advanced & ekspertbrukere 3 05-18-2006 06:28
Fjern Dupliserte Lines i File Den Tiack Ein Shell programmering og Skripting 5 01-12-2006 08:30

Closed Thread
Side 1 av 2 1 2
English Japanese Spanish French German Portuguese Italian Dutch Swedish Russian Norwegian Hungarian Hebrew Danish Bulgarian Greek Powered by Powered by Google
 
LinkBack Thread Tools Søk i denne tråden Rate Thread Visningsmoduser
  #1 (permalink)  
Old 08-30-2007
Nysif Steve Nysif Steve is offline
Registrert bruker
  
 

Bli Dato: Aug 2007
Bosted: Albany, NY
Innlegg: 26
Fjern Dupliserte linjer fra fil
Jeg har en loggfil "logreport" som inneholder flere linjer som vist under:

04:20:00 / usr / lib / SNMP / snmpdx: [ID 702911 demonen. feil] Agent snmpd dukket opp døde, men svarte på ping
06:38:08 / usr / lib / SNMP / snmpdx: [ID 702911 demonen. feil] Agent snmpd dukket opp døde, men svarte på ping
07:11:05 / usr / lib / SNMP / snmpdx: [ID 702911 demonen. feil] Agent snmpd dukket opp døde, men svarte på ping


Jeg ønsker å redigere rapporten til å fjerne innlegg som rapporterer dupliser hendelser. Jeg prøver å lage en utgang nær det som er sett under:

04:20:00 / usr / lib / SNMP / snmpdx: [ID 702911 demonen. feil] Agent snmpd dukket opp døde, men svarte på ping
Denne feilen ble gjengitt 2 ganger
  #2 (permalink)  
Old 08-30-2007
Ilan ilan is offline
Registrert bruker
  
 

Bli Dato: juli 2007
Innlegg: 101
du kan bruke Unike.

kan være slik:
for i in `mer logreport | sort | Unike`; do echo "Antall tid og i:` grep-c $ i logreport `"; gjort

-Ilan
Sist endret av Ilan; 08-30-2007 på 03:49..
  #3 (permalink)  
Old 08-30-2007
radoulov's Avatar
radoulov radoulov is offline Forum Staff  
stoffmisbruker
  
 

Bli Date: Jan 2007
Beliggenhet: Варна, България / Milano, Italia
Innlegg: 2915

Code:
awk '{x[substr($0,9)]++;y[substr($0,9)]=$1}END{
	for(i in x)
printf "%s\nThis Error was reproduced %d times\n",y[i]i,x[i]
}' logfile

Som alltid bruke nawk eller / usr/xpg4/bin/awk på Solaris.
  #4 (permalink)  
Old 08-31-2007
Nysif Steve Nysif Steve is offline
Registrert bruker
  
 

Bli Dato: Aug 2007
Bosted: Albany, NY
Innlegg: 26
Hva er utdataene fra dette? Jeg kan ikke få det til å kjøre riktig.


Code:
awk '{x[substr($0,9)]++;y[substr($0,9)]=$1}END{
	for(i in x)
printf "%s\nThis Error was reproduced %d times\n",y[i]i,x[i]
}' logfile
  #5 (permalink)  
Old 08-31-2007
radoulov's Avatar
radoulov radoulov is offline Forum Staff  
stoffmisbruker
  
 

Bli Date: Jan 2007
Beliggenhet: Варна, България / Milano, Italia
Innlegg: 2915
Sitat:
Originally Posted by Nysif Steve View Post
Hva er utdataene fra dette? Jeg kan ikke få det til å kjøre riktig.
Hva er output du får?


Code:
zsh 4.3.2% cat file
04:20:00 /usr/lib/snmp/snmpdx: [ID 702911 daemon.error] Agent snmpd appeared dead but responded to ping
06:38:08 /usr/lib/snmp/snmpdx: [ID 702911 daemon.error] Agent snmpd appeared dead but responded to peng
07:11:05 /usr/lib/snmp/snmpdx: [ID 702911 daemon.error] Agent snmpd appeared dead but responded to ping
04:20:00 /usr/lib/snmp/snmpdx: [ID 702911 daemon.error] Agent snmpd appeared dead but responded to pong
06:38:08 /usr/lib/snmp/snmpdx: [ID 702911 daemon.error] Agent snmpd appeared dead but responded to ping
07:11:05 /usr/lib/snmp/snmpdx: [ID 702911 daemon.error] Agent snmpd appeared dead but responded to pong
zsh 4.3.2% awk '{x[substr($0,9)]++;y[substr($0,9)]=$1}END{
for(i in x)
printf "%s\nThis Error was reproduced %d times\n",y[i]i,x[i]
}' file
07:11:05 /usr/lib/snmp/snmpdx: [ID 702911 daemon.error] Agent snmpd appeared dead but responded to pong
This Error was reproduced 2 times
06:38:08 /usr/lib/snmp/snmpdx: [ID 702911 daemon.error] Agent snmpd appeared dead but responded to peng
This Error was reproduced 1 times
06:38:08 /usr/lib/snmp/snmpdx: [ID 702911 daemon.error] Agent snmpd appeared dead but responded to ping
This Error was reproduced 3 times
  #6 (permalink)  
Old 08-31-2007
cassj's Avatar
cassj cassj is offline VIP Member  
Støttespiller
  
 

Bli Dato: juli 2003
Beliggenhet: Interweb
Innlegg: 109
Jeg prøvde radoulov's script og det fungerer for meg. Jeg hadde en prøve loggfilen på skrivebordet som heter "logfile.log" med disse oppføringene:


Code:
04:20:00 /usr/lib/snmp/snmpdx: [ID 702911 daemon.error] Agent snmpd appeared dead but responded to ping
06:38:08 /usr/lib/snmp/snmpdx: [ID 999999 daemon.error] Agent snmpd appeared dead but responded to DING
07:11:05 /usr/lib/snmp/snmpdx: [ID 702911 daemon.error] Agent snmpd appeared dead but responded to ping
09:20:00 /usr/lib/snmp/snmpdx: [ID 999999 daemon.error] Agent snmpd appeared dead but responded to DING
10:38:08 /usr/lib/snmp/snmpdx: [ID 702911 daemon.error] Agent snmpd appeared dead but responded to ping
11:11:05 /usr/lib/snmp/snmpdx: [ID 999999 daemon.error] Agent snmpd appeared dead but responded to DING

Jeg cd'd til skrivebordet mitt, og jeg brukte radoulov's script med liten modifikasjon for å legge "\" til slutten av hver linje, slik at jeg kunne kopiere og lime den inn til bash kommandolinjen.


Code:
awk '{x[substr($0,9)]++;y[substr($0,9)]=$1}END{\
for(i in x) \
printf "%s\nThis Error was reproduced %d times\n",y[i]i,x[i]\
}' logfile.log

Trykk tilbake og voila!:


Code:
10:38:08 /usr/lib/snmp/snmpdx: [ID 702911 daemon.error] Agent snmpd appeared dead but responded to ping
This Error was reproduced 3 times
11:11:05 /usr/lib/snmp/snmpdx: [ID 999999 daemon.error] Agent snmpd appeared dead but responded to DING
This Error was reproduced 3 times

Nice jobb radoulov!
  #7 (permalink)  
Old 09-05-2007
psiva_arul's Avatar
psiva_arul psiva_arul is offline
Registrert bruker
  
 

Bli Dato: juli 2007
Beliggenhet: Bangalore, India
Innlegg: 97
Hei Alle,

Jeg har en nedenfor tekstfil som er atskilt med "|". Denne filen har to rader hver og rad har tre verdier (file_header, file_header og invoice_detail). som dette

file_header | Gees-EU | 343 | 2007-08-29T07: 10:51 | SSPF | 12 | 2008 | 0 | 0 | SSS | |
invoice_header | 39478-198192-2 | 250489 | BRIDGEWATER108 | 2007-08-28T00: 00:00 | 1 | STANDARD | Kvitteringssideformat Invoic
invoice_detail | 39478-198192-2 | 2 | Element | 1 | 1 | 1 | AUG-07 | 5896.45820.000.00.00.000000.000 | AnnonseSøk | 856974521 | 257ZA | zas78

file_header | GEAS-EU | 343 | 2007-08-29T07: 10:51 | SSPF | 12 | 2008 | 0 | 0 | SSS | |
invoice_header | 35818-198192-2 | 250489 | BRIDGEWATER108 | 2007-08-28T00: 00:00 | 1 | STANDARD | Kvitteringssideformat Invoic
invoice_detail | 1235-198192-2 | 2 | Element | 1 | 1 | 1 | AUG-07 | 17.121504.45820.000.00.00.000000.000 | AnnonseSøk | 123456789 | 257ZA | zas78

Forventet produksjon:
\u003d\u003d\u003d\u003d\u003d\u003d\u003d\u003d\u003d\u003d\u003d\u003d\u003d

Jeg vil klippe ovenfor 11th kolonne fra ovenstående inpu fil (vi trenger å klippe 11th kolonne fra invoice_detail rad.

856974521
123456789

Takk på forhånd,

Takk,
Siva.P
Bangalore.
Closed Thread
Side 1 av 2 1 2

Hugseliste

Tags
linux, sendmail

« fjerner en linje fra en fil og deretter plasseres i en annen fil | Kombinere finne, grep og gzip »
Thread Tools Søk i denne tråden
Søk i denne tråden:

Avansert søk
Visningsmoduser Ranger denne tråden
Hybrid Mode Hybridmodus
Ranger denne tråden:

Innleggsaktivitet Regler
Du kanskje ikke poste nye tråder
Du kanskje ikke poste svar
Du kanskje ikke post vedlegg
Du kanskje ikke redigere innleggene dine
BB-kode er På
Smilefjes er På
[IMG] koden På
HTML-koden Av
Pingbacks er På
Refbacks er På



Alle klokkeslett er GMT -4. Nå er klokken 08:25.

The UNIX and Linux Forums - Learn UNIX and UNIX Commands RSS Feeds -- Kontakt oss -- UNIX og Linux Forums - Lær UNIX og UNIX-kommandoer -- Arkiv -- Topp

Powered by: vBulletin, Copyright © 2000 - 2006, Jelsoft Enterprises Limited. Language Translations Powered by .
vBCredits v1.4 Copyright © 2007 - 2008, PixelFX Studios
UNIX og Linux Forums Content Copyright © 1993-2009. All Rights Reserved.Ad Management by RedTyger

Content Relevant nettadresser av vBSEO 3.2.0