Forum
Bildirimler
Hepsini Temizle
Storage
15
Yazılar
7
Üyeler
0
Reactions
835
Görüntüleme
Konu başlatıcı
Merhaba. Profesyonel çözümler konusunda çok yeniyim. Şöyle bir ihtiyacım var. Yeni kurulacak yaklaşık 10 bilgisayarlık bir video işleme ortamı düşünün. Her bir HD kalitesinde video 80 gb kadar yer kaplamakta. Birkaç yüz videoyu da barındırmamız gerekecek. Yaklaşık 20 terabaytlık bir depolama yeterli gibi.
Ancak işin başka bir tarafı bu 80 gb lik videonun deoplamadan bilgisayara transferi 5 dakkayı geçmemeli. Neredeyse SATA arabiriminin sunacağı bir hızdan bahsediyoruz. Elimizdeki gigabit ve profesyonel switchli networkten pc den pc ye en fazla 10 mb ye ulaşabiliyoruz. Belki iyi bir NAS sunucusu bunu 20 ye çıkarır. Ancak saniyede 200 mb lik bir veri transferine ihtiyaç var.
*Hem 20 tb gibi büyük bir depolama, hem network ortamı, hem de yüksek hızlı bir veri transferi.
Bu 3 saydığımdan 2 si birada olunca birtakım çözümler var gibi ama bu 3 ünü biradada talep etmek zor.
Fiberoptik bir netwok mü kurmamız gerekecek, ya da farklı bir kablosuz protokol ile çok yüksek hızlı bağlantı mı kurmamız gerekecek.
Bu probleme sağlıklı çözüm önerileriniz ne olabilir. Bilgileriniz için teşekkürler.
Gönderildi : 03/05/2013 14:32
öncelikle kablosuz seçeneğini masadan kaldırın bence
sata diskler den ziyade sas tercih etmekte fayda var , ayrıca network altyapısıda hali ile güçlü olmak zorunda clientlerin bağlantısı fiber olmasa bile cat6 kablolama ile gigabit portlu cihazlar kullanılabilir
Gönderildi : 03/05/2013 14:52
Synology cihazları ve link agregation ile yapılabilir.
Gönderildi : 03/05/2013 20:33
Depolamadan bilgisayara niye 5 dk ?
daha doğrusu bu bilgisayar client mı yoksa storage e bağlı server mı.
Client tarafından görebileceğiniz en yüksek hız 10 gbit tabi bu zaman maliyet hesabında değer mi ciddi düşünmek lazım gelir. FO HBA'lar ve ethernet ürünleri işinizi görür. Depolama kapasitesi de dert değil HP EVA kabinlere veya Cisco UCS kabinlere EMC desteği ile bakılabilir. Bu kabinlerde storage serverlar arasında 40 gbit (min or ort) haberleşilebilir ancak iş workstation/client tarafı girdi mi değişir orada sınırlar var. Bir client'a 4 FO kablo gitmesi her bünyeye uygun düşmeyebilir. Bu iş montaj işi ise bu işin uzmanı Sun/Sgi gibileri ile çalışmak lazım gelir tabi maliyet farklarını yutkunarak.
'balık vermez, nasıl tutulabildiğine yönlendirir'
****************************************************************
Probleminiz Çözüldüğünde Sonucu Burada Paylaşırsanız. Sizde Aynı Problemi Yaşayanlar İçin Yardım Etmiş Olursunuz. Eğer sorununuz çözüldü ise lütfen "çözüldü" olarak işaretlerseniz diğer üyeler için çok büyük kolaylık sağlayacaktır.
*****************************************************************
Gönderildi : 03/05/2013 22:59
Ben 2 adet synology nas kullanıyorum. Ortamımda sizin işlevinize benzer bir yapıda iş görüyorlar. Hızlarından memnunum fiyat ve performans orantısı çok güzel.
1984 doğumluyum. 4 yaşından bu yana İstanbul’da yaşıyorum. Sırası ile aşağıdaki okullarda eğitim gördüm. Paşaköy ilkokulu (1990-1995) Kartal Zekeriyya Güçer İlköğretim Okulu(1995-1998) Ümraniye Teknik ve Endüstri Meslek Lisesi Bilgisayar Bölümü(1998-2001) Kocaeli Üniversitesi Bilgisayar Programcılığı(2002-2004) Anadolu Ünv. İşletme Fakültesi(2006-2009) Lise yıllarından sonra bir bilgisayar firmasının teknik servisinde mesleğe merhaba dedim. Outsource olarak Citibank ytl ve bina taşınma projesinde yer alarak 8 ay görev yaptım. Bu görevden sonra şu an çalışmakta olduğum yerde bilgi işlem sorumlusu olarak göreve başladım ve 18 yıldır görevimin başındayım.
Gönderildi : 04/05/2013 16:16
Konu başlatıcı
Clientten depolama arası 5 dakika olacak 🙂
Ancak şunu söylemeyi unuttum, clientler ile depolama arası uzaklık şimdilik 15 metre. 1 Gigabit ethernet in sunacağı hızdan daha fazlasına ihtiyacımız var. Ancak 10 gigabit /40 gigabit bağlantılardan söz edilmiş. Vermiş olduğunuz çözümleri araştıracağım, bilgileriniz için sizlere çok teşekkür ediyorum.
Gönderildi : 05/05/2013 01:22
Manavdan karpuz alırken bile kilosuna göre hesap yapılır. Bizim bilişimcilerimizin ise hesap-kitapla pek işi olmaz.
80 GB 5 Dakika ise biraz matematik yapacağız.
5 dakika x 60 saniye = 300 saniye
80 GB x 1024 = 81.920 MB
81.920 MB / 300 saniye = 273 MB/s istiyorsunuz.
273 MB/s rakamını aşağıdaki adrese MB cinsinden yazarak gbit ihtiyacımızı bulalım.
http://www.matisse.net/bitcalc/?input_amount=273&input_units=megabytes¬ation=legacy
Siz kendinizi yormayın diye ben yazdım. 273 MB/s = 2,1 gbit bağlantı istiyor. Yani 2 gbit. Bu sadece network kısmı.
Client tarafından veri gönderirken bu hıza sahip olmalısınız. Daha server tarafına geçmedik. Client tarafında sata 3 teorik hızı 6 gbit/s. HDD mekanik olduğu için pratikte alacağınız hız 150 MB/s olur. Dolayısı ile en başta client tarafında ihtiyaçlar en az Raid 0 yapısına sahip HDD ve dual port gbit ethernet.
Server tarafına geçersek ve eş zamanlı transfer istiyorsak yine küçük bir matematik hesabı yapacağız.
Client sayısı 10 x 273 MB/s = (2730 MB/s) 2.7 GB/s HDD yazma hızına sahip olunması gerekir. Bu teorik rakam. Eş zamanlı yazma random olacağı için 2.7 GB/s HDD yazma hızının üstüne çıkmanız gerekir. HDD yazma pratikte 150 MB/s demiştik. 2730 MB / 150 MB HDD hızı = 19 HDD yapar. Yani 19 HDD. RAID 0 yapısı ile 2,7 GB/s yazma hızı üzerine çıkarsınız. HDD bozulursa veriler uçacağı için RAID 5 yapısı tercih edilecektir ki bu da fazladan 1 HDD ile toplam 20 HDD yapacaktır. Minimum 19 HDD'ye göre istediğiniz 20 TB alan için gereken HDD kapasitesini aşağıdaki linkten hesaplaya bilirsiniz. Siz uğraşmayın diye ben hesapladım. 2 TB'lık 20 Adet disk ile sadece 1 disk bozulmasına karşı tolerans yaparsanız toplam 38 TB alanınız olur.
http://www.raid-calculator.com/default.aspx
1 Client 2 Gbit ise 10 Client = 20 gbit ethernet bağlantısı yapar. Bu durumda server tarafında ihtiyacınız olan 10 gbitlik 2 adet ethernet kartı.
Server ethernetleri CPU yükünü azaltmak için kendi üzerinde işlemci barındırdığı için CPU yükünü azaltacaktır. Burada HDD bant genişliği CPU üzerine yük bindirecektir. Dolayısı ile CPU'nun Xeon tercih edilmesi gerekir.
Server tarafında 10 gbit ethernet olunca switch'te en az 10 gbit 2 adet portu olması gerekir.
Hesap ortada. Marka ve ürün tercihi artık size kalmış.
Gönderildi : 07/05/2013 04:20
Hocam hesap yanlış olmuş. Arkadaşın toplamda 2730 MB/s okuma hızına ihtiyacı var buradaki temel limit ise aktarım değil disk hızlarıdır bu türde bir hız sadece SSD diskler ile yapılabilir buda devasa maliyet demektir. Eklemek isterim SSD diskler bile aynı anda okuma yazma yaparsa hızları oldukça düşüyor, raid gurubundaki disk sayısı fazlalaştırılarak hız elde edilebilir ama yinede devasa.
Arkadaş cihaz başı DAS kullanabilir ama bu seferde ortak çalışma alanı olmayacaktır bu nedenle eninde sonunda NAS cihazlarına dönecektir burada maliyet devreye girecektir.
İşin özünde bu işte zaman uzatılacak daha makul değerlere gelecek ve maalesef teknolojinin pahalı olduğu ortaya çıkacak.
Gönderildi : 07/05/2013 04:36
Hocam hesap yanlış olmuş. Arkadaşın toplamda 2730 MB/s okuma hızına ihtiyacı var buradaki temel limit ise aktarım değil disk hızlarıdır bu türde bir hız sadece SSD diskler ile yapılabilir buda devasa maliyet demektir.
Saniyede neden 2.7 TB ?
Ancak işin başka bir tarafı bu 80 gb lik videonun deoplamadan bilgisayara transferi 5 dakkayı geçmemeli.
Gönderildi : 07/05/2013 05:16
Hocam hesap yanlış olmuş. Arkadaşın toplamda 2730 MB/s okuma hızına ihtiyacı var buradaki temel limit ise aktarım değil disk hızlarıdır bu türde bir hız sadece SSD diskler ile yapılabilir buda devasa maliyet demektir.
Saniyede neden 2.7 TB ?
Ancak işin başka bir tarafı bu 80 gb lik videonun deoplamadan bilgisayara transferi 5 dakkayı geçmemeli.
10 istemci var, ayrıca 60*5=400 yapmaz 300 yapar.
Gönderildi : 07/05/2013 12:59
Konu başlatıcı
Emre bey, detaylı hesaplamalarınız için çok teşekkür ederim.
80 gb lik veri, 5 dakikada cliente gidecek, ancak gerçek hayatta bu transferi sadece 1 client yapacak. Diğer client böyle bir talepte bulunursa , çakışmayacağı varsayılacak, çakışırsa da bantlar bölüşülecek , yavaşlayacak :).
Mevcut gigabit bağlantısının dışına çıkma imkanım da yok gibi gözüküyor. Sanıyorum 5 değil de 10 dakikada transfer gerçekleşse de olur.
Yazmak için sata hızımız yeterli gibi.
Gigabit portun ana çıkış ucundan internete çıkış sağlanırsa, 0,50 g/bit saniyeyi elde edebilirim ama saniyede 70 mb de az 🙂 200 mb gerekli.
Bunun için fiberoptiksiz bir bağlantı çözümü gerekecek, Ertan bey Link aggreationdan bahsetmişti sanırım çözüm bu olabilir.
Gönderildi : 07/05/2013 16:23
Emre bey, detaylı hesaplamalarınız için çok teşekkür ederim.
80 gb lik veri, 5 dakikada cliente gidecek, ancak gerçek hayatta bu transferi sadece 1 client yapacak. Diğer client böyle bir talepte bulunursa , çakışmayacağı varsayılacak, çakışırsa da bantlar bölüşülecek , yavaşlayacak :).
Mevcut gigabit bağlantısının dışına çıkma imkanım da yok gibi gözüküyor. Sanıyorum 5 değil de 10 dakikada transfer gerçekleşse de olur.
Yazmak için sata hızımız yeterli gibi.
Gigabit portun ana çıkış ucundan internete çıkış sağlanırsa, 0,50 g/bit saniyeyi elde edebilirim ama saniyede 70 mb de az 🙂 200 mb gerekli.
Bunun için fiberoptiksiz bir bağlantı çözümü gerekecek, Ertan bey Link aggreationdan bahsetmişti sanırım çözüm bu olabilir.
Dört port link agregation sunucuda yapacaksınız aynı zamanda istemcidede link agregation olacak sonrasında 5-10 sata' 7200 RPM disk bu okuma hızını verebilir.
Gönderildi : 07/05/2013 17:42
Hocam hesap yanlış olmuş. Arkadaşın toplamda 2730 MB/s okuma hızına ihtiyacı var buradaki temel limit ise aktarım değil disk hızlarıdır bu türde bir hız sadece SSD diskler ile yapılabilir buda devasa maliyet demektir.
Saniyede neden 2.7 TB ?
Ancak işin başka bir tarafı bu 80 gb lik videonun deoplamadan bilgisayara transferi 5 dakkayı geçmemeli.
10 istemci var, ayrıca 60*5=400 yapmaz 300 yapar.
Doğru. 300 olarak düzelttim. Teşekkür ederim.
Gönderildi : 07/05/2013 19:58
Emre bey, detaylı hesaplamalarınız için çok teşekkür ederim.
80 gb lik veri, 5 dakikada cliente gidecek, ancak gerçek hayatta bu transferi sadece 1 client yapacak. Diğer client böyle bir talepte bulunursa , çakışmayacağı varsayılacak, çakışırsa da bantlar bölüşülecek , yavaşlayacak :).
Mevcut gigabit bağlantısının dışına çıkma imkanım da yok gibi gözüküyor. Sanıyorum 5 değil de 10 dakikada transfer gerçekleşse de olur.
Yazmak için sata hızımız yeterli gibi.
Gigabit portun ana çıkış ucundan internete çıkış sağlanırsa, 0,50 g/bit saniyeyi elde edebilirim ama saniyede 70 mb de az 🙂 200 mb gerekli.
Bunun için fiberoptiksiz bir bağlantı çözümü gerekecek, Ertan bey Link aggreationdan bahsetmişti sanırım çözüm bu olabilir.
1 Gbit fiberoptiklede aynı transfer oranını alırsınız. Fiberoptik uzun mesafelere data taşıma, manyetik ortamın fazla olup data sinyallerinin bozulacağı alanlarda kullanılır. Link aggregation'un fail-over, load balance çeşitli kullanım alanları vardır. Link aggregation'ı windows tarafında nic team veya linux tarafında nic bonding yapar 1 Gbit'lik dual veya quad port ethernetleri takım yapar kullanırsınız.
1 Gbit = 125 MB/s ama bu saf hızı temsil eder. Data transferinde bu hız EN FAZLA 119 MB/s olur.
Switch'in 802.3ad destekli olduğunu varsayıyorum.
Gönderildi : 07/05/2013 21:09
Merhabalar;
İstanbul Teknik Üniversitesinde geliştirmiş olduğumuz veri depolama ünitelerini, bulut çözümlerimizle beraber kurumlara sunmaktayız. Kendi yaptığımız testler ve ürünümüzü şuan kullanan kurumlardaki testler gösterdi ki, ürünümüz donanım ve performans olarak en büyük markalarla eşit hatta çoğundan daha iyi düzeydedir. Türkiye'de geliştirdiğimiz bu ürünler maliyet açısından emsallerinden çok daha uygundur.
Reklam olabileceğinden firma ismimizi yazmak istemedim. Veri depolama konusunda her türlü ihtiyacınız için bizimle irtibata geçebilirsiniz. Firma ihtiyacı doğrultusundada çözüm üretebilecek tecrübeli bir teknik ekibe sahibiz.
Gönderildi : 10/05/2013 14:37
