Málo efektivní detekce spamu na serveru

Málo efektivní detekce spamu na serveru
« kdy: 25. 07. 2023, 07:44:54 »
Ahojte.
Už som fakt že frustrovaný a mierne zúfalý.
20 rokov používam len vlastné mailové servery, momentálne kombo Postfix+Dovecot+Amavis+Clamav+Spamassassin.
Mám nastavené OpenDKIM, DMARC, SPF s tým aj potrebné záznamy v DNS.
V Postfixe mám možno aj desiatku RBL databáz voči ktorým kontrolujem príchodzí mail. Okrem toho, všetko striktne nastavené, EHLO, reverse hostname lookup.
Okrem toho mám celkom bohatý header_regexp a email_from_domain_denied pre špeciálne prípady spammerov ktorí prejdu všetkými kontrolami ale ich mail je vyslovne OTRAVNÉHO charakteru.

Problém je taký, že mám strašne lajdáckych užívateľov ktorí na čistotu svojho mailboxu serú a ja nie som schopný relevante naučiť SPAMASSASSIN naučiť rozoznávať SPAM od HAM.
Prechádza totižto veľmi veľa reklamných mailov ale vyslovene aj phishingových ktoré sú na vlas rovnaké ale vždy z inej domény. Takže to nie som schopný celkom relevantne blokovať ani ručne.
Na druhej strane si myslím, že Spamassassin to nejak stále blbo rozoznáva na základe bayes. Väčšinu vecí, ktoré sa mu podarilo zdetekovať, boli prevažne skrze moje vlastné "score" pravidlá cez ktoré som umelo navýšil celkové scóre. Len veľmi malé percento rozpoznal skrze vlastné, naučené bayes.
Ale to zasa môže byť tým, ako som povedal, že takmer nikto nepresúva SPAM z Inboxu do Junk, kde sa ho je spamassasin schopný naučiť.

Problém je v tom, že VEDENIE (okrem toho že si nedovidí ďalej ako na špičku nosa) ma drbe za to že dostávajú príliš veľa reklamných mailov ale sami nie sú schopní pre to nič spraviť. Ja som na chybe a bodka.

Viete mi prosím vás odporúčiť nejaký postup, službu, software alebo dať tip na niečo čo by pomohlo mailovému systému lepšie bojovať so SPAMom a nebudem musieť kvôli tomu každého naháňať aby si prehadzoval spamy do spam priečinka, kde sa ho spamassasin aj tak nejak nevie poriadne naučiť?
V jeho konfigurácií to nie je. Už som ju 5x skontroloval. Všetko sa ukladá tam kam sa ukladať má ale je to nejaké proste málo efektívne.
Kde robím chybu?

Ďakujem.
« Poslední změna: 25. 07. 2023, 08:26:48 od Petr Krčmář »


Re:Málo efektivní detekce spamu na serveru
« Odpověď #1 kdy: 25. 07. 2023, 08:54:09 »
Firma 150 ludmi, podobne problemy s HOMO-DOMO riesenim ako opisujete. Neustale problemy s filtrami so spamom, staznosti ludi typu:

- omylom som si vymazal email
- kde su moje 7 rokov stare emaily
- preco sa mi nedoruci email
- vzdy musim volat ci dostal dolezity email
- nedostal som dolezity email

Presli sme na Google Business, ziadne problemy, vsetko slape ako ma. Bezproblemova integracia s mobilnymi zariadeniami, 2FA authentikacia. "Nekonecna" velkost postovej schranky. Ziadne starosti s HW a SW. Ako bonus Google Docs, ludia su nauceni robit s gmail-om pri sukromnej poste, len malo ludi bolo nespokojnych s migraciou.

Ale asi toto nechcete pocut, dnes robit vlastnu e-mailovu sluzbu pre firmu je nezmysel.

Re:Málo efektivní detekce spamu na serveru
« Odpověď #2 kdy: 25. 07. 2023, 09:01:30 »
Ahoj,

řídil bych se příslovím "Všeho moc škodí" - narážím především na množství RBL, které používáš - rozhodně bych množství snížil na ty nejkvalitnější.

Já používám následující kombinaci = Hodnocení IP reputace pomocí SenderScore + Spamhaus RBL + Abusix RBL. Koukal jsem i na implementaci Talos RPBL, ale ta implementace s postfixem/spamassassinem je ošemetná, jestli vůbec možná

Problém RBL je ten, že pokud daná IP adresa odesílá spam po troškách, tak se do RBL dostane až po nějaké době, naopak problém RPBL je zase ten že se data aktualizují 1x za den, což může představovat problém v případě kdy se někomu podaří hacknout mailserver a odesílat z něho tísíce spam mailů za minutu - tentýž den má ještě reputaci IP 100%, no druhý den už je reputace 0% a email od něho už nikdo nepříjme, ale furt je tam ta prodleva v aktualizaci, což je nutné vzít v potaz. Spamhaus a Abusix by měli být aktuální vždy.

Pokud dané emaily obsahují vždy skoro stejný obsah, tak by možná stálo za to implementovat filtrování obsahu emailu - Spamassassin už něco podobného má, například když se v emailu často mluví o penězích, tak se aplikuje pravidlo "BILLION_DOLLARS" které přídá pár pěkných bodů do celkového skore. Pokud je v emailech něco specifického, rozhodně bych toho zkusil využít pro filtrování.

Re:Málo efektivní detekce spamu na serveru
« Odpověď #3 kdy: 25. 07. 2023, 11:18:26 »
V dnesnej dobe ked vacsina firiem od tich najmensich (ala jednoclenna sro) az po tie najvacsie korporaty (stovky tisic zamestnancov celosvetovo) pouzivaju riesenia vacsinou od microsoftu, pripadne od google, alebo videl som aj nejakych nasich zakaznikov pouzivat yahoo, nechapem tu neustalu snahu pouzivat DIY riesenia.

Tie DIY riesenia su poruchovejsie na vypadky, su casto krat vo vysledku omnoho viac limitujuce ako riesenia od vyssie spomenutich firiem, su vo vysledku drahsie (casto krat vyzaduju defacto cloveka na plny uvazok ktory tam bude hasit jeden poziar za druhym, pripadne aj viac ludi).
A argumentovat stylom ze ale ja potrebujem pristup k infrastrukure/kodu, su p.covina. Neviem ako google alebo yahoo, ale outlook urcite umoznuje hosting on premise. Ano nemate stale pristup ku kodu, ale daju sa napisat rozne pluginy do outlooku na pripadne pokrytie nejakych aktivit ktore outlook by default neposkytuje - cize vo vysledku netreba mat pristup ku kazdemu jednemu riadku kodu beziacom na firemnom servery.

Re:Málo efektivní detekce spamu na serveru
« Odpověď #4 kdy: 25. 07. 2023, 17:10:09 »
Email byl jedna z největších decentralizovaných služeb na světě. Bad actors jsou realitou všehomíra, akce reakce. Služba je mrtvá, pokud ji nikdo nepoužívá. Většina lidí, zejména kvůli jednoduchosti, používá webmail. Na poli webmailu za 20 let zvítězil, a tedy drží klíčky ke vstupní bráně, FAANG. A FAANG vás, malé email operátory, bude stále více tlačit do rohu. Důvodu jsou různé - bad actors rozesílající nevyžádanou poštu, data mining, business kontrola. V nejbližší době nevidím jinou cestu v případě firem, než si objednat email službu od těchto korporátů, a samozřejmě toto má svá úskalí.

Ano, i já osobně jsem viděl, i dnes, spoustu českých IT firmiček, které si provozovaly vlastní email. Neviděl jsem ale žádnou, která by ten email provozovala dobře, kvalitně a funkčně. Standardem byl právě ve firmě chudák, který pořád sem a tam létal a utíkal řešit jeden malý průser za druhým, a nikdy to nešlo vyřešit dlouhodobě kvalitně. Z mého pohledu to nikdy neplnilo business požadavky. Firma si nevážila času takového člověka (a že vůbec jen dnes provozovat nějakým způsobem email je kumšt a práce), a mě osobně bylo líto času toho člověka, protože určitě by šel ten čas investovat lépe ku spokojenosti všech stran.

Nepletl bych si na sebe zbytečně bič.

No, a tak obligátně, pokud je ve firmě nadkritický počet jedinců s prázdnou hlavou, je čas jít o dům dál.
« Poslední změna: 25. 07. 2023, 17:14:52 od LambdaLover »


Re:Málo efektivní detekce spamu na serveru
« Odpověď #5 kdy: 25. 07. 2023, 18:11:12 »
Máme to u nás podobně a nepřijde mi to taková tragédie. Máte v Postfixu zapnutý Postscreen? Já mám na vstudu DNSBL takto:
Kód: [Vybrat]
...
postscreen_access_list =
        permit_mynetworks
        cidr:/etc/postfix/postscreen_access.cidr

postscreen_blacklist_action = enforce

postscreen_dnsbl_threshold = 2
postscreen_dnsbl_sites =
        zen.spamhaus.org*2
        spam.dnsbl.sorbs.net*1
        bl.spamcop.net*1
        b.barracudacentral.org*1
postscreen_dnsbl_action = enforce

postscreen_greet_action = enforce
...
Také máme stále ještě policyd-spf. Spamassassin  běží až za firewallem a není to ideální. Jeden kolega do nás reje, že bychom měli přejít na rspamd, ale zatím odoláváme. Nepřijde mi, že bychom toho měli zase tak moc. Jeden spam za den nepovažuji za tragedii. Pokud přijde nějaká otravná kampaň, tak do postscreen_access.cidr dávám celé ruské subnety se kterými stejně nepředpokládám komuninkaci...

jjrsk

  • *****
  • 593
    • Zobrazit profil
Re:Málo efektivní detekce spamu na serveru
« Odpověď #6 kdy: 26. 07. 2023, 08:20:29 »
To by mne zajimalo, v cem mas problem ...

Mailserveru adminuju nekolik, u tech vetsich jde o desitky tisic mailu denne, a spamu prochazeji mozna desitky ks, z cehoz jich vetsina skonci v "asi spam". Zadny ubermegaficury nepouzivam.

U 99% toho nedojde vubec na dorucovani. Sem tam nastane nejaky vetsi storm, kdyz si vsimnu, pridam nejake to pravidlo.

Externi databaze nepouzivam vubec.

McFly

  • *****
  • 599
    • Zobrazit profil
    • E-mail
Re:Málo efektivní detekce spamu na serveru
« Odpověď #7 kdy: 26. 07. 2023, 08:43:11 »
Ještě bych nasadil greylisting, pokud nemáte, např. Postgrey. Takový ten surový spam neprochází prakticky vůbec, horší je to se spamem, co leze z outlook.com, gmail.com, ...

Re:Málo efektivní detekce spamu na serveru
« Odpověď #8 kdy: 26. 07. 2023, 09:38:25 »
U nas sa presadilo kompromisne riesenie medzie DYI a FAANG: blacbox VM, ktora sa stara o spam predsadena pred Exchange. (vnutorne je to fakticky to iste o co sa snazite Vy, ale guru na nastavovanie pravidiel sedi vo firme, co sa tym zivi a nie u nas)

Funguje to celkom dobre.

Re:Málo efektivní detekce spamu na serveru
« Odpověď #9 kdy: 26. 07. 2023, 11:17:33 »
Ještě bych nasadil greylisting, pokud nemáte, např. Postgrey. Takový ten surový spam neprochází prakticky vůbec, horší je to se spamem, co leze z outlook.com, gmail.com, ...

Greylisting je dneska už naprosto mrtvá záležitost, všechny cloudový služby používají více IP na doručování, takže normální mail pak vůbec nemusí dorazit, protože se ho snaží doručit pokaždé jiná IP. Naopak proti spamu to taky moc nefunguje, ty spamový servery se vesměs snaží doručovat desítky hodin, takže po prvním neúspěchu se brzy dostaví úspěch s doručením a stejně musí zasáhnout nějaký další mechanizmus.

Re:Málo efektivní detekce spamu na serveru
« Odpověď #10 kdy: 27. 07. 2023, 09:27:31 »
Pokud pouzivas vlastni slepenec, zkus spam filtrovat pomoci Proxmox Mail Gateway. Detailnejsi konfigurace je na 15 minut, zakladni naklikas za 5.

Microsofti blacklisty:
reject_rbl_client dnsbl-1.uceprotect.net
reject_rbl_client dnsbl-2.uceprotect.net
reject_rbl_client dnsbl-3.uceprotect.net

Re:Málo efektivní detekce spamu na serveru
« Odpověď #11 kdy: 28. 07. 2023, 09:07:36 »
Microsofti blacklisty:
reject_rbl_client dnsbl-1.uceprotect.net
reject_rbl_client dnsbl-2.uceprotect.net
reject_rbl_client dnsbl-3.uceprotect.net

Nenenenenene. odkud jsi tuto informaci vzal? Microsoft nikdy nepotvrdil že tyto blacklisty využívá, a už vůbec ne že by je spravoval.

Doporučuju si přečíst asi cokoliv z tohoto výběru :) https://www.google.com/search?client=firefox-b-d&q=uceprotect+scam

Re:Málo efektivní detekce spamu na serveru
« Odpověď #12 kdy: 28. 07. 2023, 09:26:29 »
Jeden kolega do nás reje, že bychom měli přejít na rspamd, ale zatím odoláváme.
Rspamd sam o sobe nebude automagicky zachytavat vic spamu nez Spamassassin.

Krome doporuceni, ktera tu jiz padla, jeste kouknete na DCC anti-spam, nasadil jsem nedavno a docela pomohl i na ceske hromadne spamove kampane typu "zahradni hadice".