Editor som fixa stora (5GB) txt filer.

Trädvy Permalänk
Medlem
Registrerad
Nov 2011

Editor som fixa stora (5GB) txt filer.

Hej!

Jag ska in och redigera en .txt som är 5GB. Någon som har tips på en editor som fixar det?

SKRIK i trådrubriken redigerat [mod]

Spel och videoredigering: Define XL R2 - ROG Rampage V 10 - 5930K - Corsair H55 - 128 GB Corsair Vengeance LPX 3000 MHz - Samsung 950 PRO 512GB M.2 - MSI 1080 Gaming X - Asus PG278Q - Appleprodukter: Macbook Pro Touch bar 2016 - Mac Mini - iPhone 7 plus - Apple Watch - iPad Pro 10.5 - Apple TV4
Ljud: Bluesound Node2 - Vincent DAC 1 - Vincent SA-31 - Vincent SP-996 x2 - XTZ 99.26 mkII (beryllium mod)
Foto: Canon EOS 1DX mkII - en ryggsäck full med 2.8 L-glas.

Trädvy Permalänk
Medlem
Plats
Halmstad
Registrerad
Nov 2012

https://www.emeditor.com/ 2 sekunder på google..

CPU: i7 3770k @ 4.2ghz + Be Quiet! Dark Rock Pro 3 Moderkort: Asrock Z77 Extreme6 Minnen: Corsair Vengeance Pro 4x4gb 2133mhz GPU: MSI GTX 980 Ti Gaming SSD: 2x Samsung 840 Pro 256gb RAID 0 Nätagg: Corsair AX 850 80+ Gold Chassi: Be Quiet! Silent Base 600

Trädvy Permalänk
Medlem
Registrerad
Nov 2004
Trädvy Permalänk
Medlem
Plats
Göteborg
Registrerad
Jun 2010

Emeditor är det enda som som jag hittat som klarar riktigt stora filer. Ultraedit är bra men det duger inte när filerna blir riktigt stora. Jag har mekat runt en del med en xml-fil på runt 60GB på jobbet och Emeditor var guld värt för det då inget annat kunde öppna filen. Emeditor kan öppna delar av en fil och det går att ställa in om den exempelvis ska öppna den första miljonen rader först eller så. Inte farligt dyr heller.

Trädvy Permalänk
Medlem
Registrerad
Okt 2011

vim borde väl fungera alldeles utmärkt också?

Trädvy Permalänk
Datavetare
Plats
Stockholm
Registrerad
Jun 2011

Testade att generera en textfil på ca 500 MB, gick alldeles utmärkt att editera i Emacs. Tar dock ett par sekunder första gången man vill editera, när emacs-bufferten går från unmodified->modified, vidare editering är dock omedelbar.

På 32-bitars system är gränsen 512MB, på 64-bitars system är gränsen i praktiken obegränsad.

För att snabba upp kan man slå av vissa finesser på stora filer, t.ex. undo och syntax-highlight

(defconst large-file-sz (* 100 1024 1024)) (defun my-large-file-hook () "If a file is over a given size, turn of undo and syntax highlight." (when (> (buffer-size) large-file-sz) (buffer-disable-undo) (fundamental-mode))) (add-hook 'find-file-hook 'my-large-file-hook)

Care About Your Craft: Why spend your life developing software unless you care about doing it well? - The Pragmatic Programmer

Trädvy Permalänk
Medlem
Registrerad
Sep 2014

Vim som är gratis borde funka, det läser bara in aktuell del av en stor fil. Men Vim är väldigt svårt att komma igång med, om man aldrig använt det tidigare bör man undvika det.

Trädvy Permalänk
Medlem
Plats
Linköping
Registrerad
Jun 2013

@MichaelJackson: hur ska man då någonsin kunna börja använda vim

#1: x99 Deluxe-II | i7 6800k | GTX 980 | 64GiB | 950 Pro 512GB | Xonar STX | HD650
#2: Microserver Gen8 | G1610T | 16GiB ECC #3: QNAP TS-639 Pro | 6x4TB Raid6
#4: Intel S2600CP4 | 2x Xeon E5-2670 | 128GiB ECC | UnRAID 6.3.5 | 41TB
Smartphone: LG G5 | Android 6.0 | Shure SE535

Trädvy Permalänk
Medlem
Registrerad
Nov 2012

Off topic:

Vad för slags txt-fil är 5GB? xD

Hemma: Intel Core i5 4690K 4,5GHz | Asus GTX 970 Strix | Asus Z97I-Plus |
Fractal Design Node 304 | Samsung 850 Pro 250GB | 8GB Crucial 1600MHz | Arch Linux
Skola: Macbook Air 11,6" Early 2014 (Fedora 23)
Mobil: OnePlus 2 (CM13)
Citera för svar!

Trädvy Permalänk
Medlem
Registrerad
Okt 2011

loggar från servrar, mätdata från olika mätinstrument osv.. går fort att samla in data om man vill

Trädvy Permalänk
Medlem
Plats
Stockholm
Registrerad
Maj 2009
Skrivet av Hudo:

Off topic:

Vad för slags txt-fil är 5GB? xD

kunddata tex.
har en csv fil på dryga 5m rader som är 9gb stor

Min dator: Silent Base 600 | 1700X @ 3.9Ghz | MSI Gaming X 1080TI | RM750X | 512Gb M2 | 16Gb 3200mhz Ram | S34E790C @ 3440x1440
Tjejens dator: Define r4 | i5 3570k @ 4.2ghz | GTX Titan | 750w Supernova | 240gb SSD | 32gb ram
Citera/Tagga för svar!

Trädvy Permalänk
Medlem
Registrerad
Nov 2011
Skrivet av Oliver91:

Ja, eller så frågar man på sitt favoritforum. Det kan ju också vara så att jag redan googlat, laddat hem några editorer och inte fått det funka och därmed frågar folk som är mer kunniga än mig. Typ sådär som man gör på ett forum..

Tack för tipset dock! Emeditor funkade perfekt!

Spel och videoredigering: Define XL R2 - ROG Rampage V 10 - 5930K - Corsair H55 - 128 GB Corsair Vengeance LPX 3000 MHz - Samsung 950 PRO 512GB M.2 - MSI 1080 Gaming X - Asus PG278Q - Appleprodukter: Macbook Pro Touch bar 2016 - Mac Mini - iPhone 7 plus - Apple Watch - iPad Pro 10.5 - Apple TV4
Ljud: Bluesound Node2 - Vincent DAC 1 - Vincent SA-31 - Vincent SP-996 x2 - XTZ 99.26 mkII (beryllium mod)
Foto: Canon EOS 1DX mkII - en ryggsäck full med 2.8 L-glas.

Trädvy Permalänk
Medlem
Registrerad
Nov 2011
Skrivet av Hudo:

Off topic:

Vad för slags txt-fil är 5GB? xD

Serverloggar i mitt fall.

Spel och videoredigering: Define XL R2 - ROG Rampage V 10 - 5930K - Corsair H55 - 128 GB Corsair Vengeance LPX 3000 MHz - Samsung 950 PRO 512GB M.2 - MSI 1080 Gaming X - Asus PG278Q - Appleprodukter: Macbook Pro Touch bar 2016 - Mac Mini - iPhone 7 plus - Apple Watch - iPad Pro 10.5 - Apple TV4
Ljud: Bluesound Node2 - Vincent DAC 1 - Vincent SA-31 - Vincent SP-996 x2 - XTZ 99.26 mkII (beryllium mod)
Foto: Canon EOS 1DX mkII - en ryggsäck full med 2.8 L-glas.

Trädvy Permalänk
Medlem
Registrerad
Sep 2014
Skrivet av LudvigLindell:

@MichaelJackson: hur ska man då någonsin kunna börja använda vim

Aldrig!

Nja, men Vim är ju meckigt, det är lite konstigt om man aldrig sett en modal editor, som har olika lägen. Sen måste man även förstå input modellen. Så det är en hel del nya tankesätt man måste tillägna sig. Själv tycker jag att Vims inputmodell är väldigt elegant, som är mer av ett språk som funkar så här: operator + antal upprepningar + (eventuellt en operand)

T.ex. om jag vill gå nedåt 4 rader så trycker jag "piltangent ned + 4 + ingen operand", iom att "j" är en förkortning för pil ned, så trycker man typiskt "j4". Om jag vill radera 10 ord, så trycker jag "d4w", dvs "delete" + 10 + "word".

Så det finns olika förkortningar för olika operatorerna. radera, kopiera, klistra in, hitta nästa tecken/ord, etc etc etc. Varje förkortning motsvarar en tangent, typ "d" för delete, etc etc etc

Sen finns det olika förkortningar för operander: stega markören ett steg (bakåt framåt upp ned), stega till slutet av ett ord, stega till början av ett ord, stega till början eller slutet av en rad, en mening, början slutet av ett stycke, hitta nästa bokstav som görs så här: "f" och en bokstav t.ex. "fo" placerar markören på nästa "o", hitta bokstaven bakåt med "t" och en bokstav, etc etc etc. Så det finns MASSOR av olika sätt att flytta markören, hundratals sätt: flytta markören till början av en mening eller slutet, etc. Så varje av dessa är ett kommando, och har en tangent som förkortning.

Sen är det bara att kombinera alla förkortningar på olika sätt med en siffra. Typ, "d5w" betyder "radera 5 ord" eller "5fO" betyder "flytta markören till femte O framåt". Tex, "df2" skulle då "Delete" ända fram till siffran "2" i texten. Dvs, radera allting ända fram till siffran 2 i texten. Och "5df2" skulle radera ända fram till siffran 2, och upprepa det fem gånger i rad.

Folk som kan Vim bra, kan utföra magi med endast några få knapptryckningar. Göra jättekomplicerade editeringar med få tryckningar. Vim är verkligen designat för att editera text. Jag använde Emacs för längesen men gick över till Vim.

Trädvy Permalänk
Medlem
Plats
Linköping
Registrerad
Jun 2013

@MichaelJackson: Haha aj min hjärna

#1: x99 Deluxe-II | i7 6800k | GTX 980 | 64GiB | 950 Pro 512GB | Xonar STX | HD650
#2: Microserver Gen8 | G1610T | 16GiB ECC #3: QNAP TS-639 Pro | 6x4TB Raid6
#4: Intel S2600CP4 | 2x Xeon E5-2670 | 128GiB ECC | UnRAID 6.3.5 | 41TB
Smartphone: LG G5 | Android 6.0 | Shure SE535

Trädvy Permalänk
Medlem
Plats
Stockholm
Registrerad
Dec 2010

Halvt off topic:
Vore det inte smidigare om sensorn/servern/mätinstrumentet/whatever delade upp textloggarna i lite fler filer, tex en om dagen eller en i veckan? Låter väldigt osmidigt att bara smälla ihop allt i ett textdokument på flera GB. Att hitta nånting där inne måste ju vara värre än nålen i höstacken.

MODERMODEM: Asus ROG Strix Z270E Gaming | i7 7700K | Corsair Hydro H110 | Kingston HyperX Savage 32GB DDR4 RAM | Asus R9 290 OC | Crucial BX100 500GB SSD | Phanteks Enthoo EVOLV | SilverStone Strider Evolution 1200W |
NAS 40TB: 8x3TB RAIDz2 | 4x4TB RAIDz1 | ASRock C2550D4I | 32GB ECC RAM | FreeNAS |
LJUD: M-Audio BX8 D2 | ATH-M50 | Focusrite Scarlett 2i2 |

Trädvy Permalänk
Medlem
Plats
Göteborg
Registrerad
Jun 2010
Skrivet av morxy49:

Halvt off topic:
Vore det inte smidigare om sensorn/servern/mätinstrumentet/whatever delade upp textloggarna i lite fler filer, tex en om dagen eller en i veckan? Låter väldigt osmidigt att bara smälla ihop allt i ett textdokument på flera GB. Att hitta nånting där inne måste ju vara värre än nålen i höstacken.

Självklart men det är inte alltid man har kontroll över sånt liksom. Den xml-fil på 60GB jag får äran att jobba med ibland kommer exempelvis från en myndighet i ett annat land och typ en rådump av all data de har. Jag kan inte förmå dem att ändra sina rutiner till något modernare, eller ens svara på mail inom rimlig tid, så det är bara att gilla läget.

Trädvy Permalänk
Forumledare
Registrerad
Okt 2002
Skrivet av MichaelJackson:

Själv tycker jag att Vims inputmodell är väldigt elegant, som är mer av ett språk som funkar så här: operator + antal upprepningar + (eventuellt en operand)

Snarare
   ((multiplikator →) + operator) + (multiplikator →) + rörelse
(se :h operator) där varje multiplikator syftar på det som står till höger om denna.

Som exempel så händer inget om man skulle trycka bara d4 ("ta bort fyra" — fyra vadå?), men d4w är "(ta bort) (fyra ord)". På samma sätt vore 2d4w något i stil med "två gånger ((ta bort) (fyra ord))" (i praktiken kan man se det som att dessa multiplikatorer just multipliceras, så 2d4w är ekvivalent med d8w).

Skrivet av MichaelJackson:

T.ex. om jag vill gå nedåt 4 rader så trycker jag "piltangent ned + 4 + ingen operand", iom att "j" är en förkortning för pil ned, så trycker man typiskt "j4".

4j, inte j4! j är en rörelse (se :h movement) snarare än en operator.


Vad gäller tråden och Vim, så om det väljs som verktyg så kan det vara värt att titta på Faster loading of large files [Vim Wikia] och LargeFile.

Nu med kortare användarnamn, men fortfarande bedövande långa inlägg.

Trädvy Permalänk
Medlem
Registrerad
Sep 2014

Tack för korrigeringen, jag vill inte sprida felaktig information. Men tycker inte du också att Vims modell är ganska elegant?

Trädvy Permalänk
Medlem
Plats
Luleå
Registrerad
Aug 2008
Skrivet av LudvigLindell:

@MichaelJackson: hur ska man då någonsin kunna börja använda vim

De roligaste sättet är nog vim-adventures.

Stationär: i7 6700k @ 4.7GHz | 32GB DDR4 | Asus Impact VIII | 1080ti Waterforce 2.1GHz | Evolv-ITX | Intel 750 400GB + 1TB 850 evo | K70rgb strafe silent | G600 | Acer XB271HU | Qnix 2710
Homelab: I3 6100 | 16GB DDR4 | Node304 | 6x 4TB 7.2k | 850 250GB
Bärbart: Lenovo Carbon X1 | Shield Tablet 32GB| Galaxy S8 |

Trädvy Permalänk
Medlem
Registrerad
Sep 2015
Skrivet av Hudo:

Off topic:

Vad för slags txt-fil är 5GB? xD

Loggar.
Extraktfiler från t ex. databaser eller andra levererande system.

Skickades från m.sweclockers.com

Trädvy Permalänk
Medlem
Plats
Götet, typ
Registrerad
Okt 2004
Skrivet av Hudo:

Off topic:

Vad för slags txt-fil är 5GB? xD

En del program har inte trunkerade loggar, då kan det sluta på det viset.

/M

Trädvy Permalänk
Medlem
Plats
Västsverige
Registrerad
Mar 2011
Skrivet av snajk:

Självklart men det är inte alltid man har kontroll över sånt liksom. Den xml-fil på 60GB jag får äran att jobba med ibland kommer exempelvis från en myndighet i ett annat land och typ en rådump av all data de har. Jag kan inte förmå dem att ändra sina rutiner till något modernare, eller ens svara på mail inom rimlig tid, så det är bara att gilla läget.

Råkar inte vara "den sista sovjetstaten; norge"?

Skickades från m.sweclockers.com

Detta meddelande skrevs på en porrfylld dator, av en elak skitstövel. Det innehåller ingen praktisk eller användbar information, och skrevs faktiskt enbart för att förvilla och föra dej bakom ljuset.

Trädvy Permalänk
Medlem
Plats
Göteborg
Registrerad
Jun 2010

@fizzdan: Nope.