[OPGELOST]Duplikaten verwijderen.

[henkoegema]

Ik heb een tekst file (test1.txt) met (als voorbeeld) de volgende lijnen
a
a
a
a
b
c
c
d
d
d

Hoe kan ik deze tekst file veranderen in test2.txt met de lijnen
a
b
c
d

Ik heb al geprobeerd "sort text1.txt | uniq -u > tekst2.txt" maar dat is niet juist.
Ik wil dus alle duplikaten verwijderen, maar er één van overhouden.

Mvgr.

[Nunslaughter]

Code: [Selecteer]

#!/usr/bin/env python

FILE_IN = 'test1.txt'
FILE_OUT = 'test2.txt'

def main():
    uniques = []
    for line in open(FILE_IN):
        if line not in uniques:
            uniques.append(line)
    fileout = open(FILE_OUT, 'w')
    fileout.write(''.join(uniques))
    fileout.close()

if __name__ == '__main__':
    main()

[henkoegema]

Code: [Selecteer]

#!/usr/bin/env python

FILE_IN = 'test1.txt'
FILE_OUT = 'test2.txt'

def main():
    uniques = []
    for line in open(FILE_IN):
        if line not in uniques:
            uniques.append(line)
    fileout = open(FILE_OUT, 'w')
    fileout.write(''.join(uniques))
    fileout.close()

if __name__ == '__main__':
    main()

Bedankt voor je antwoord.
Het werkt uitstekend.
Dit scheelt me weer een dag werk.

(p.s.  Is het niet mogelijk om het met alleen maar Linux commando's te doen?)

[Nunslaughter]

Dan zal iemand anders moeten helpen, ben daar niet zo erg in thuis.

[gavinspearhead]

Volgens mij moet je die -u weglaten

Code: [Selecteer]

"sort text1.txt | uniq > tekst2.txt"

[henkoegema]

Volgens mij moet je die -u weglaten

Code: [Selecteer]

"sort text1.txt | uniq > tekst2.txt"

Ik heb het getest en je hebt inderdaad gelijk.   

[laudaka]

Als je jezelf typwerk wil besparen kan het zelfs met één Linux commando :

Code: [Selecteer]

sort -u tekst1.txt > tekst2.txtMisschien kwam die -u die je bij uniq had daarvandaan, maar bij uniq betekent -u weer heel wat anders. sort -u betekent dus sorteer het bestand en met de -u haalt sort als extraatje ook nog de dubbele weg.

Maar als je gewoon iets wil hebben wat makkelijk te onthouden is dan is wat gavinspearhead schreef natuurlijk het slimst:

Code: [Selecteer]

sort tekst1.txt | uniq > tekst2.txt
Zelf vind ik dit het lekkerste lezen (het cat commando is hier overbodig, maar ik vind het fijner lezen zo):

Code: [Selecteer]

cat tekst1.txt | sort | uniq > tekst2.txt
Dat waren alle varianten met Linux-commando's  

Veel plezier met vrije en open source software,
Paulus/laudaka

P.S. Als mensen je vaak hebben aangeraden om man pages te lezen maar je die altijd te moeilijk vond. De man page van uniq is één van de makkelijkere man pages, zeker als je een goed Engels hebt. De meeste man pages zijn tegenwoordig afgrijselijk moeilijk om te lezen. Voor iedereen die niet zeker weet wat ik met man pages bedoel: wat je krijgt als je bijvoorbeeld man uniq typt, en waar je dan weer uitkomt door q te typen.

[Johan van Dijk]

Die man pages zijn ook online te vinden: http://manpages.ubuntu.com/
Dat leest soms net wat makkelijker

[laudaka]

En nog meer voor de fans man pages...

Die man pages zijn ook online te vinden: http://manpages.ubuntu.com/
Dat leest soms net wat makkelijker

Dank je Johan, die kende ik nog niet. Het is in het begin wel even wennen, maar wel handig dat je ook man pages van alle versies van Ubuntu kan lezen.

Wat nog een andere mogelijkheid is het pakket "man2html" installeren. Voordeel daarvan is dat de presentatie kaler is, vooral als je een klein scherm hebt erg handig. Je gebruikt ook daar Firefox of een andere webbrowser om man pages te lezen maar je hebt geen internetverbinding nodig om de man pages te kunnen lezen. Er staat dan ook alleen in wat je op eigen computer hebt geïnstalleerd. Verder lijkt de opmaak veel op de manpages pagina die jij aanraadt, Johan. Ook met inhoudsopgave.

En dat is echt genoeg over man pages denk ik. Ik moet me inhouden

[Johan van Dijk]

Nog ééntje dan, om het af te leren.
De URL shortener voor manpages: http://manpg.es/
Bijv. manpg.es/uniq