Obrovský txt soubor

FKoudelka

Obrovský txt soubor
« kdy: 25. 11. 2021, 22:43:50 »
Zdravím,
Potřebuju otevřít   cca 20GB velký .txt, nebo aspoň jejho část, abych aspoň viděl jeho strukturu, jestli to stojí za další výzkum.Pokud ne na Windows, tak v linuxu.
Poradíte ?
Dík
P.S. Uniklá hesla z haveibeenpwned. Nějaké tipy jak to použít při validaci hesel v AD ?
« Poslední změna: 25. 11. 2021, 22:47:21 od FKoudelka »


z_sk

Re:Obrovský txt soubor
« Odpověď #1 kdy: 25. 11. 2021, 23:02:11 »
Pozrieť? Pre https://cs.wikipedia.org/wiki/Less_(Unix) žiaden problém.

PanVP

Re:Obrovský txt soubor
« Odpověď #2 kdy: 25. 11. 2021, 23:28:00 »
Prosím o link na stažení nebo to zaheslovat a dát na ulož to.

Re:Obrovský txt soubor
« Odpověď #3 kdy: 25. 11. 2021, 23:31:27 »
No jo, byly doby, kdy třeba Windowsí Notepad zvládal jen 64 kB (Windows 95), pak jen 32 MB (Windows XP)... Na mě kdysi udělal dojem Sublime Text právě i tím, že zvládl v pohodě otevírat soubory klidně několik gigabajtů velké a bylo to pořád rychlé...

_Jenda

  • *****
  • 1 601
    • Zobrazit profil
    • https://jenda.hrach.eu/
    • E-mail
Re:Obrovský txt soubor
« Odpověď #4 kdy: 25. 11. 2021, 23:33:31 »
P.S. Uniklá hesla z haveibeenpwned. Nějaké tipy jak to použít při validaci hesel v AD ?
Já to, resp. obdobný kompilát (https://github.com/berzerk0/Probable-Wordlists), používám jako slovník pro hashcat.


FKoudelka

Re:Obrovský txt soubor
« Odpověď #5 kdy: 26. 11. 2021, 08:32:03 »
Prosím o link na stažení nebo to zaheslovat a dát na ulož to.
Ahoj, běž na https://haveibeenpwned.com/Passwords , nech vyhledat nějaké profláklé heslo a sjeď dolů. Torrent nebo cloudflare, ale jsou to asi jen hashe.
Třeba toto https://downloads.pwnedpasswords.com/passwords/pwned-passwords-sha1-ordered-by-hash-v7.7z
Více info na https://www.troyhunt.com/introducing-306-million-freely-downloadable-pwned-passwords/
« Poslední změna: 26. 11. 2021, 08:34:31 od FKoudelka »

PanVP

Re:Obrovský txt soubor
« Odpověď #6 kdy: 26. 11. 2021, 08:43:53 »

Já myslel, že je máš v plaintextu, protože já mám přeložených asi jen 80%.

Re:Obrovský txt soubor
« Odpověď #7 kdy: 26. 11. 2021, 08:52:41 »
Zobrazit je jednoduché, třeba less. Pro editaci používám vim s pluginem LargeFile (jenom vypne syntax highlighting, undo + nějaké drobnosti). Zvládá editovat txt desítky GB.

Re:Obrovský txt soubor
« Odpověď #8 kdy: 26. 11. 2021, 08:55:39 »
Jsou to hashe (SHA-1 nebo NTLM). Pro integraci do Active Directory hledeje „haveibeenpwned active directory integration“.

Struktura souborů je:
Citace
The downloadable source data delimits the full SHA-1 hash and the password count with a colon (:) and each line with a CRLF.

Karmelos

  • *****
  • 1 042
    • Zobrazit profil
    • E-mail
Re:Obrovský txt soubor
« Odpověď #9 kdy: 26. 11. 2021, 09:15:37 »
Rozdělte si to pomocí příkazu split  na menší a ty pak prohlédněte/zpracujte.

jinak google je váš kamarád, poradí rychle a celkem dobře.

Linux:
Kód: [Vybrat]

Have a look at the split command:

$ split --help
Usage: split [OPTION] [INPUT [PREFIX]]
Output fixed-size pieces of INPUT to PREFIXaa, PREFIXab, ...; default
size is 1000 lines, and default PREFIX is `x'.  With no INPUT, or when INPUT
is -, read standard input.

Mandatory arguments to long options are mandatory for short options too.
  -a, --suffix-length=N   use suffixes of length N (default 2)
  -b, --bytes=SIZE        put SIZE bytes per output file
  -C, --line-bytes=SIZE   put at most SIZE bytes of lines per output file
  -d, --numeric-suffixes  use numeric suffixes instead of alphabetic
  -l, --lines=NUMBER      put NUMBER lines per output file
      --verbose           print a diagnostic to standard error just
                            before each output file is opened
      --help     display this help and exit
      --version  output version information and exit

You could do something like this:

split -l 200000 filename

which will create files each with 200000 lines named xaa xab xac ...

Another option, split by size of output file (still splits on line breaks):

 split -C 20m --numeric-suffixes input_filename output_prefix

creates files like output_prefix01 output_prefix02 output_prefix03 ... each of maximum size 20 megabytes.

Windows:
Kód: [Vybrat]
If you have installed Git for Windows, you should have Git Bash installed, since that comes with Git.

Use the split command in Git Bash to split a file:

    into files of size 500MB each: split myLargeFile.txt -b 500m

    into files with 10000 lines each: split myLargeFile.txt -l 10000

Tips:

    If you don't have Git/Git Bash, download at https://git-scm.com/download

    If you lost the shortcut to Git Bash, you can run it using C:\Program Files\Git\git-bash.exe

That's it!
Gréta je nejlepší.

Karmelos

  • *****
  • 1 042
    • Zobrazit profil
    • E-mail
Re:Obrovský txt soubor
« Odpověď #10 kdy: 26. 11. 2021, 09:25:03 »
Prosím o link na stažení nebo to zaheslovat a dát na ulož to.
Ahoj, běž na https://haveibeenpwned.com/Passwords , nech vyhledat nějaké profláklé heslo a sjeď dolů. Torrent nebo cloudflare, ale jsou to asi jen hashe.
Třeba toto https://downloads.pwnedpasswords.com/passwords/pwned-passwords-sha1-ordered-by-hash-v7.7z
Více info na https://www.troyhunt.com/introducing-306-million-freely-downloadable-pwned-passwords/

Vy myslíte, že podle mě pochybné weby, jako haveibeenpwned.com, nejsou lapadla do něčí (vládní?) databáze hesel pro nějaké budoucí použití?  To jako fakt zadáváte svoje hesla na nějaký web pro "kontrolu"?
Gréta je nejlepší.

Re:Obrovský txt soubor
« Odpověď #11 kdy: 26. 11. 2021, 11:54:50 »
No jo, byly doby, kdy třeba Windowsí Notepad zvládal jen 64 kB (Windows 95), pak jen 32 MB (Windows XP)...

Byvaly doby kdy i programy v linuxu nezvladaly skoro nic...

Re:Obrovský txt soubor
« Odpověď #12 kdy: 26. 11. 2021, 12:22:47 »
Vy myslíte, že podle mě pochybné weby, jako haveibeenpwned.com, nejsou lapadla do něčí (vládní?) databáze hesel pro nějaké budoucí použití?  To jako fakt zadáváte svoje hesla na nějaký web pro "kontrolu"?
Nebavíme se o „nějakém webu“, ale o haveibeenpwned.com, za kterým stojí Troy Hunt, který je v bezpečnostní komunitě poměrně známý a má dobrou reputaci. Navíc tam obvykle nezadáváte heslo, ale e-mail nebo telefon. Pokud použijete stránku s vyhledáváním hesel, s heslem se pracuje pouze v prohlížeči, dál na server jde jenom hash, ze kterého se heslo nedá získat. Navíc tam zadávám heslo, které je unikátní a nezadávám tam žádný další údaj – takže k čemu by někomu bylo samotné heslo?

PanVP

Re:Obrovský txt soubor
« Odpověď #13 kdy: 26. 11. 2021, 14:27:09 »
takže k čemu by někomu bylo samotné heslo

Filipe, Filipe  ::)

Kdybys měl peníze, nabídnu ti bezpečnostní školení  ;D

Re:Obrovský txt soubor
« Odpověď #14 kdy: 26. 11. 2021, 14:40:36 »
takže k čemu by někomu bylo samotné heslo

Filipe, Filipe  ::)

Kdybys měl peníze, nabídnu ti bezpečnostní školení  ;D
Někde je použité heslo WjsVnkLAf4f5tp9CHF. Tak se čiňte.