4000 Zeilen Datei, welches Tool erkennt doppelte Zeilen und löscht sie

[Özil]

hab ne Datei mit 4000 Zeilen, viele davon doppelt, ich müsste das aussortieren, ist das irgendwie möglich

die Datei muss schrumpfen und das doppelte einfach löschen

lg

 

[Smily]

Hört sich doof an. Aber Excel? Wenn jede Zeile exakt gleich ist, dann kann Excel doppelte Zellen löschen.

 

[Özil]

puh excel hab ich letzte mal in der Schule benutzt

aber einen Versuch ist es Wert

 

[rg88]

Notepad++ hat direkt eine Funktion im Edit-Menü um doppelte Zeilen zu löschen

 

[H3llF15H]

Was ein Glück dass auch Erwachsene ins Internet dürfen um eine Suchmaschine zu bedienen.

Dorr solltest Du die Funktion in Excel schnell finden.

 

[Nilson]

Oder wenn du dich in Python einarbeiten willst:

lines_seen = set() # holds lines already seen
outfile = open(outfilename, "w")
for line in open(infilename, "r"):
    if line not in lines_seen: # not a duplicate
        outfile.write(line)
        lines_seen.add(line)
outfile.close()

Schamlos von hier geklaut:
https://stackoverflow.com/questions/1215208/how-might-i-remove-duplicate-lines-from-a-file

 

[Özil]

Notepad++ hat direkt eine Funktion im Edit-Menü um doppelte Zeilen zu löschen

hab ich probiert

da tut sich dann mal gar nix

 

[rg88]

da tut sich dann mal gar nix

was hast du ausgewählt?
Sind die Zeilen wirklich gleich? Leerzeichen zb

also ich glaube gerade entweder bedienst du es falsch oder deine Zeilen sind halt doch nicht identisch.
Ich nutze das Programm seit Jahren mehrfach die Woche um verscheidenste Daten aufzubereiten und das hat imimer funktioniert

Ergänzung (17. April 2023)

kannst mal so ein File hier hochladen? auch in Ausschnitten wär okay

 

[Özil]

ja sind identisch

hab die Datei mit Notepad geöffnet

bearbeiten - zeilenoperation - doppelte löschen

edit:
oh shit die sind nicht gleich die Datums sind nicht identisch

 

[rg88]

Grad nochmal mit der aktuellen Version ausprobiert. Funktioniert einwandfrei. Da muss was mit deiner Datei nicht passen und die Zeilen sind nicht gleich.
Dann wirst aber auch mit jedem anderen Programm ein Problem haben.
Kannst die mal hochladen?

 

[Özil]

ne passt schon mein Fehler, ich muss die ältere Datei nehmen dort sind die Datums korrekt

aber danke wird schon hinhaun hast mir geholfen

 

[rg88]

okay, ja, dachte ich mir. Die Funktion ist halt schon seit so vielen Jahren da und hat eigentlich immer funktioniert