Obrovský txt soubor

Obrovský txt soubor
« kdy: 25. 11. 2021, 22:43:50 »
Zdravím,
Potřebuju otevřít   cca 20GB velký .txt, nebo aspoň jejho část, abych aspoň viděl jeho strukturu, jestli to stojí za další výzkum.Pokud ne na Windows, tak v linuxu.
Poradíte ?
Dík
P.S. Uniklá hesla z haveibeenpwned. Nějaké tipy jak to použít při validaci hesel v AD ?
« Poslední změna: 25. 11. 2021, 22:47:21 od FKoudelka »


Re:Obrovský txt soubor
« Odpověď #1 kdy: 25. 11. 2021, 23:02:11 »
Pozrieť? Pre https://cs.wikipedia.org/wiki/Less_(Unix) žiaden problém.

PanVP

  • *****
  • 967
    • Zobrazit profil
    • E-mail
Re:Obrovský txt soubor
« Odpověď #2 kdy: 25. 11. 2021, 23:28:00 »
Prosím o link na stažení nebo to zaheslovat a dát na ulož to.

Re:Obrovský txt soubor
« Odpověď #3 kdy: 25. 11. 2021, 23:31:27 »
No jo, byly doby, kdy třeba Windowsí Notepad zvládal jen 64 kB (Windows 95), pak jen 32 MB (Windows XP)... Na mě kdysi udělal dojem Sublime Text právě i tím, že zvládl v pohodě otevírat soubory klidně několik gigabajtů velké a bylo to pořád rychlé...

_Jenda

  • *****
  • 907
    • Zobrazit profil
    • https://jenda.hrach.eu/
    • E-mail
Re:Obrovský txt soubor
« Odpověď #4 kdy: 25. 11. 2021, 23:33:31 »
P.S. Uniklá hesla z haveibeenpwned. Nějaké tipy jak to použít při validaci hesel v AD ?
Já to, resp. obdobný kompilát (https://github.com/berzerk0/Probable-Wordlists), používám jako slovník pro hashcat.


Re:Obrovský txt soubor
« Odpověď #5 kdy: 26. 11. 2021, 08:32:03 »
Prosím o link na stažení nebo to zaheslovat a dát na ulož to.
Ahoj, běž na https://haveibeenpwned.com/Passwords , nech vyhledat nějaké profláklé heslo a sjeď dolů. Torrent nebo cloudflare, ale jsou to asi jen hashe.
Třeba toto https://downloads.pwnedpasswords.com/passwords/pwned-passwords-sha1-ordered-by-hash-v7.7z
Více info na https://www.troyhunt.com/introducing-306-million-freely-downloadable-pwned-passwords/
« Poslední změna: 26. 11. 2021, 08:34:31 od FKoudelka »

PanVP

  • *****
  • 967
    • Zobrazit profil
    • E-mail
Re:Obrovský txt soubor
« Odpověď #6 kdy: 26. 11. 2021, 08:43:53 »

Já myslel, že je máš v plaintextu, protože já mám přeložených asi jen 80%.

Re:Obrovský txt soubor
« Odpověď #7 kdy: 26. 11. 2021, 08:52:41 »
Zobrazit je jednoduché, třeba less. Pro editaci používám vim s pluginem LargeFile (jenom vypne syntax highlighting, undo + nějaké drobnosti). Zvládá editovat txt desítky GB.

Re:Obrovský txt soubor
« Odpověď #8 kdy: 26. 11. 2021, 08:55:39 »
Jsou to hashe (SHA-1 nebo NTLM). Pro integraci do Active Directory hledeje „haveibeenpwned active directory integration“.

Struktura souborů je:
Citace
The downloadable source data delimits the full SHA-1 hash and the password count with a colon (:) and each line with a CRLF.

Pajaha

  • ****
  • 311
    • Zobrazit profil
    • E-mail
Re:Obrovský txt soubor
« Odpověď #9 kdy: 26. 11. 2021, 09:15:37 »
Rozdělte si to pomocí příkazu split  na menší a ty pak prohlédněte/zpracujte.

jinak google je váš kamarád, poradí rychle a celkem dobře.

Linux:
Kód: [Vybrat]

Have a look at the split command:

$ split --help
Usage: split [OPTION] [INPUT [PREFIX]]
Output fixed-size pieces of INPUT to PREFIXaa, PREFIXab, ...; default
size is 1000 lines, and default PREFIX is `x'.  With no INPUT, or when INPUT
is -, read standard input.

Mandatory arguments to long options are mandatory for short options too.
  -a, --suffix-length=N   use suffixes of length N (default 2)
  -b, --bytes=SIZE        put SIZE bytes per output file
  -C, --line-bytes=SIZE   put at most SIZE bytes of lines per output file
  -d, --numeric-suffixes  use numeric suffixes instead of alphabetic
  -l, --lines=NUMBER      put NUMBER lines per output file
      --verbose           print a diagnostic to standard error just
                            before each output file is opened
      --help     display this help and exit
      --version  output version information and exit

You could do something like this:

split -l 200000 filename

which will create files each with 200000 lines named xaa xab xac ...

Another option, split by size of output file (still splits on line breaks):

 split -C 20m --numeric-suffixes input_filename output_prefix

creates files like output_prefix01 output_prefix02 output_prefix03 ... each of maximum size 20 megabytes.

Windows:
Kód: [Vybrat]
If you have installed Git for Windows, you should have Git Bash installed, since that comes with Git.

Use the split command in Git Bash to split a file:

    into files of size 500MB each: split myLargeFile.txt -b 500m

    into files with 10000 lines each: split myLargeFile.txt -l 10000

Tips:

    If you don't have Git/Git Bash, download at https://git-scm.com/download

    If you lost the shortcut to Git Bash, you can run it using C:\Program Files\Git\git-bash.exe

That's it!

Pajaha

  • ****
  • 311
    • Zobrazit profil
    • E-mail
Re:Obrovský txt soubor
« Odpověď #10 kdy: 26. 11. 2021, 09:25:03 »
Prosím o link na stažení nebo to zaheslovat a dát na ulož to.
Ahoj, běž na https://haveibeenpwned.com/Passwords , nech vyhledat nějaké profláklé heslo a sjeď dolů. Torrent nebo cloudflare, ale jsou to asi jen hashe.
Třeba toto https://downloads.pwnedpasswords.com/passwords/pwned-passwords-sha1-ordered-by-hash-v7.7z
Více info na https://www.troyhunt.com/introducing-306-million-freely-downloadable-pwned-passwords/

Vy myslíte, že podle mě pochybné weby, jako haveibeenpwned.com, nejsou lapadla do něčí (vládní?) databáze hesel pro nějaké budoucí použití?  To jako fakt zadáváte svoje hesla na nějaký web pro "kontrolu"?

Re:Obrovský txt soubor
« Odpověď #11 kdy: 26. 11. 2021, 11:54:50 »
No jo, byly doby, kdy třeba Windowsí Notepad zvládal jen 64 kB (Windows 95), pak jen 32 MB (Windows XP)...

Byvaly doby kdy i programy v linuxu nezvladaly skoro nic...

Re:Obrovský txt soubor
« Odpověď #12 kdy: 26. 11. 2021, 12:22:47 »
Vy myslíte, že podle mě pochybné weby, jako haveibeenpwned.com, nejsou lapadla do něčí (vládní?) databáze hesel pro nějaké budoucí použití?  To jako fakt zadáváte svoje hesla na nějaký web pro "kontrolu"?
Nebavíme se o „nějakém webu“, ale o haveibeenpwned.com, za kterým stojí Troy Hunt, který je v bezpečnostní komunitě poměrně známý a má dobrou reputaci. Navíc tam obvykle nezadáváte heslo, ale e-mail nebo telefon. Pokud použijete stránku s vyhledáváním hesel, s heslem se pracuje pouze v prohlížeči, dál na server jde jenom hash, ze kterého se heslo nedá získat. Navíc tam zadávám heslo, které je unikátní a nezadávám tam žádný další údaj – takže k čemu by někomu bylo samotné heslo?

PanVP

  • *****
  • 967
    • Zobrazit profil
    • E-mail
Re:Obrovský txt soubor
« Odpověď #13 kdy: 26. 11. 2021, 14:27:09 »
takže k čemu by někomu bylo samotné heslo

Filipe, Filipe  ::)

Kdybys měl peníze, nabídnu ti bezpečnostní školení  ;D

Re:Obrovský txt soubor
« Odpověď #14 kdy: 26. 11. 2021, 14:40:36 »
takže k čemu by někomu bylo samotné heslo

Filipe, Filipe  ::)

Kdybys měl peníze, nabídnu ti bezpečnostní školení  ;D
Někde je použité heslo WjsVnkLAf4f5tp9CHF. Tak se čiňte.