Výkonný stroj pro regresní testy

michal

Výkonný stroj pro regresní testy
« kdy: 13. 10. 2013, 00:02:35 »
Zdravim, potreboval by som vykonny work station. Poziadavky su:

min. 96 fyz. jadier. Kedze na tom potrebujem robit regresne testy, potrebujem tam mat naistalovane ako jeden Windows7 a nie ako distibuovany system. Ide o to, ze pracujem s malymi datami (cca 100-150GB), ktore by bol vhodne mat neustale v RAM. Proste nechcem distribuovany system, ktory bude medzi sebou komunikovat cez ethernet. Momentalne mi tam bezi cca 150 vlakien, ale tie musia bezat nad rovnakymi datami. Skusal som to na distribuovanom systeme tzn. cca 20 pocitacov pristupovalo k jednemu dat. ulozisku, ale potom som bol limitovany ethernetom. A niekedy som mal pocit, ze stoj, ktory mal nastarosti management nestihal, nakolko sa jedna o obrovske mnozstvo jednoduchych vypoctov. 

viete o nejakom dodavatelovi takychto "chutoviek"?

p.s. je mi jasne, ze to lacna vec nebude
« Poslední změna: 13. 10. 2013, 22:49:43 od Petr Krčmář »


Pavel 'TIGER' Růžička

Re:vykonny stroj
« Odpověď #1 kdy: 13. 10. 2013, 00:31:34 »
V tomto směru bych se informoval u IBM a jejich dodavatelů. Možná by šel i HP a DELL ...

tadeas

Re:vykonny stroj
« Odpověď #2 kdy: 13. 10. 2013, 02:43:40 »
Urcite to ma byt workstation? Podle popisu mi to pripada jako vykonny server. A to jeste zamereny na CPU a procesni vykon, zadne bezne webhosting-Supermicro. Rozhodne bych se podival po serverovych nabidkach, spis, nez po workstation. Jak pise TIGER, jako prvni bych se informoval u (dodavatelu) IBM.

ivan

Re:vykonny stroj
« Odpověď #3 kdy: 13. 10. 2013, 08:55:00 »
GRID, ale to je distribuovany system.
Vypoctovy vykon sa da prenajat aj na Slovensku (ak ste z EDU sektora, tak SAV, STU, UMB, UNIZA a TUKE maju vypoctove clustre).
Taketo veci (96 fyz. jadier) sa vsak riesia s technologickymi partnermi.
Taketo veci sa nekupuju cez eshop.

Jose D

  • *****
  • 912
    • Zobrazit profil
Re:vykonny stroj
« Odpověď #4 kdy: 13. 10. 2013, 19:34:14 »
viete o nejakom dodavatelovi takychto "chutoviek"?

Ahoj,

děláme podobné věci.

jen par poznamek:
* "potom som bol limitovany ethernetom" - na modernich clusterech se pouzivaji jine interconnect site s uplne jinym vykonem.
* "..windows7.." .. pokud bys to měl napsany distribuovane a na Linuxu, v CZ existují organizace kde by Ti těch 96 jader ale i klidně daleko více uměli pronajmout.

kdyztak vice pres PM.


ToJeJedno

Re:vykonny stroj
« Odpověď #5 kdy: 13. 10. 2013, 20:34:09 »
ehm ehm ehm.... nezartuj.. windows 7 na 96 jadrach :) .... W7 64bit ultimate podporuje maximalne 2 procesory co s beznymi procesormi 48jadier na procesor nemas sancu nijak dosiahnut :)

lobo

Re:vykonny stroj
« Odpověď #6 kdy: 13. 10. 2013, 23:35:48 »
ehm ehm ehm.... nezartuj.. windows 7 na 96 jadrach :) .... W7 64bit ultimate podporuje maximalne 2 procesory co s beznymi procesormi 48jadier na procesor nemas sancu nijak dosiahnut :)
Windows Server 2008 je zalozeny na Win7 a podporuje viacero jadier...

Jimm

Re:Výkonný stroj pro regresní testy
« Odpověď #7 kdy: 14. 10. 2013, 00:02:37 »
Nevidim problem ani s Windows, 48 jadrove procesory intel dela a daji se osadit dva. Samotny system je na to pripraven, jen nevim jestli i 7.

michal

Re:Výkonný stroj pro regresní testy
« Odpověď #8 kdy: 14. 10. 2013, 01:06:25 »
S tymi windows, to mam overene, ze win7 zvladne bez problemov i viac procesorov. Len linecne je to obmedzene na 2 fyz. procesory. To znamena, ze ak zostava ma viac ako 2 fyz. procesory, treba kupit viacero licencii. Co sa tyka kodu, je to napisane pod MS a keby sme to mali prepisovat pod linux, tak to rovno prepisem pre GPU. Pouzivame tesla k20 a to uz je iny  vykon. Lenze prepisanie kodu na inu architekturu stoji strasne vela penazi a este viac casu. Myslim ze ak sa podari nieco postavit, urcite to bude lacnejsie.

michal

Re:Výkonný stroj pro regresní testy
« Odpověď #9 kdy: 14. 10. 2013, 01:10:11 »
A este k tomu prenajmu. Regresne testy sa robia opakovane (idealne denne). Momentalne 1 test trva 400 hodin. Ja by som potreboval dostat sa pod 10 hodin. Ide o to, aby to zbehlo v noci, rano boli vysledky a vecer zase test na novom release. To znamena, musime to vlastnit

anonym

Re:Výkonný stroj pro regresní testy
« Odpověď #10 kdy: 14. 10. 2013, 01:42:49 »
96 jader vychazi jako 8 socketu po 12 jadrech. takove procesory intel sice uvedl (xeon e7-8800 v2), ale jeste je neprodava. i pokud by je prodaval, tak by to nebyla sranda co si jen tak koupis

pokud chces vykon tak musis distribuovat. pokud ti klasicky ethernet nestaci (predpokladam ze si pouzil 1GE) tak bych se kouknul po necem lepsim, primarne tedy infiniband (20g karty se daj na ebayi nakoupit za pakatel)

48 jadrove proceosy se nedelaji. jestli mas na mysli xeon phi tak to je +- ekvivalent zminene tesly

Ivan

Re:Výkonný stroj pro regresní testy
« Odpověď #11 kdy: 14. 10. 2013, 09:00:21 »
viete o nejakom dodavatelovi takychto "chutoviek"?

IBM - ta neco takoveho dokaze dodat na PowerPC architekture uz leta. Nedavno (cca 3 roky) koupili firmu ktera vyrabi masivne paralelni systemy s desitkami Intel(XEON) procesoru.

Popr. SGI dodava NUMA systemy s procerory Itanium.

Shrek

Re:Výkonný stroj pro regresní testy
« Odpověď #12 kdy: 14. 10. 2013, 22:12:51 »
Prepísanie programu stojí strašné peniaze, máte predstavu o cenách za HW v tomto sektore trhu? U nás minulý rok kupovali niečo takéto:
IBM 3750m4: 4 x CPU Intel E5-4600, 256 GB RAM a 16 x SATA HDD 500GB, štandardný servis a M$, cena cca 35 000. Aká asi bude cena za trojnásobný výkon? 

Podrobnejšie informácie ohľadne GRID-u na Slovensku sú na www.sivvp.sk. Výpočtový čas sa dá prenajať za prevádzkové náklady aj pre súkromný sektor. Smola, klastre bežia na Scientific Linux 6.3, Aurel v SAV beží na AIX. Nasadenie M$ bolo zamietnuté v štádiu prípravy projektu. 

Pomalá sieť? Skúšali ste pozrieť na Link aggregation, http://en.wikipedia.org/wiki/Link_aggregation

Skúste podrobnejšie popísať problém, ktorý riešite, možno bude niekto vedieť navrhnúť lepší model spracovania dát pre distribuovaný systém. Existujú rôzne typy projektov (APVV, EU, ... ) pre transfer technológii z oblasti výskumu do praxe, kde by sa to dalo riešiť v spolupráci s akademickým sektorom.


hugo

Re:Výkonný stroj pro regresní testy
« Odpověď #13 kdy: 15. 10. 2013, 09:10:00 »
96 jader vychazi jako 8 socketu po 12 jadrech. takove procesory intel sice uvedl (xeon e7-8800 v2), ale jeste je neprodava. i pokud by je prodaval, tak by to nebyla sranda co si jen tak koupis

pokud chces vykon tak musis distribuovat. pokud ti klasicky ethernet nestaci (predpokladam ze si pouzil 1GE) tak bych se kouknul po necem lepsim, primarne tedy infiniband (20g karty se daj na ebayi nakoupit za pakatel)

48 jadrove proceosy se nedelaji. jestli mas na mysli xeon phi tak to je +- ekvivalent zminene tesly

Nejde o rychlost ethernetu, ale o latenciu, vid http://www.qlogic.com/Resources/Documents/TechnologyBriefs/Adapters/Tech_Brief_Introduction_to_Ethernet_Latency.pdf a http://www.extremenetworks.com/libraries/whitepapers/Using_10GbE_for_Low_Latency_Network_Applications.pdf

Preto je infiband skvely a ethernet sucks :)