2019 sonunda VMware, Bitfusion firmasını satın almıştı. Geçtiğimiz hafta ise yeni ürünlerini vSphere 7 Enterprise Plus lisansa dahil ettiler.

BitFusion FlexDirect nedir?

AI (Yapay Zeka) ve ML (Makine Öğrenmesi) iş yükleri için tasarlanan bir GPU sanallaştırma yazılımı. Sunucular üzerine takılmış ekran kartlarını kümeleyip olabildiğince fazla client’a eriştirerek iş yükünü dağıtmaya yarıyor. Örneğin yazılımınız birden fazla GPU’yu kullanamıyorsa araya FlexDirect koyarak tüm iş yükünü dağıtmanız mümkün. İş yükünden kastımız render veya yüksek grafik kalitesi değil. Bu yüzden sanal masaüstü senaryoları için kullanılamaz. Sanal masaüstü için vSphere ürün ailesindeki Horizon kullanılması gerekiyor.

Peki ne tür senaryolar için bu teknolojiler kullanılıyor? Shazam uygulamasını hepimiz kullanmışızdır. Ortamda çalan şarkıyı dinletip bir uygulama sunucusuna gönderiyorsunuz. Bu uygulama sunucusu ise kaydettiğiniz sesi Google Cloud üzerinde barınan GPU takılı sunuculara gönderiyor. Gönderdiğiniz ses dosyasının içeriği veritabanındaki şarkılardan biriyle uyumluysa çalan şarkının adını öğreniyorsunuz.

Üstteki akış diyagramında görüldüğü gibi Nvidia CUDA kütüphaneleri kullanan uygulamanız BitFusion Client uygulama sunucusuna işlenmesi gereken veriyi gönderir. Bu veri OS/Hypervisor/Network katmanından geçerek GPU takılı Bitfusion Server‘a teslim edilir. İşlenen verinin çıktısı ise yine network üzerinden geri döndürülür.

Bitfusion’da Shazam gibi benzer amaçlar için kullanılabilir. Örneğin üretim hattından hatalı çıkan ürünleri anında tespit etmeniz gerekiyor. Üretim hattına takılmış bir kamera sürekli gelen görüntüyü işliyor ve sizin belirttiğiniz standart haricinde bir ürün çıkarsa kalite kontrol personelini bilgilendiriyor.

Bitfusion Client Nedir?

Sanal sunucu veya container olarak kurulabilir. Nvidia CUDA kütüphaneleri ile yazılmış AI/ML iş yükünü uygulama sunucularından teslim alarak, Bitfusion Server’a gönderilmesini sağlar. Bitfusion Client Linux olmak zorundadır. (Red Hat, Centos, Ubuntu) Bunun yanında vSphere versiyonu ise 6.7 ve üzeri olmalıdır.

Bitfusion Server Nedir?

Bitfusion Server ise kurulumu kolay bir OVA Appliance fakat hostlar vSphere 7 olmak zorunda. Bitfusion Client’tan gelen iş yükünü PCI Passthrough olarak eklenmiş GPU’da işleyerek sonuç gönderiyor.

Üstte GPU’lara ayrı ayrı iş gönderdiğiniz senaryo, altta da Bitfusion kullanılan senaryo yer alıyor. Görüldüğü gibi GPU’ların kendi başına çalıştığı senaryoda GPU’lar uzunca süre boşta beklemiş. Çünkü GPU1’i paylaştığınız kullanıcıların GPU2’ye erişimi yok veya tam tersi. Halbuki arada bu yük dağılımını yapacak bir yazılım olsaydı tek GPU bile sistemi çalıştırmak için yeterliydi.

Peki GPU’yu bu şekilde sanallaştırmak performans kaybına yol açıyor mu? VMware’in yaptığı testlerde neredeyse yok denilebilecek bir farktan bahsedilmiş. Fakat bu testlerin çok düşük gecikmeye sahip Mellanox switch ve ethernet kartlarıyla yapıldığını eklemek gerekir. Dökümanlarda network latency 50 mikrosaniye ve altında olması öneriliyor.

Kimlerin kullanması gerekir ve gereksinimler nelerdir?

– CUDA ile yazılmış bir uygulama kullanıyorsanız,
– Ekran kartlarınız (GPU) CUDA destekleyen bir modelse,
– GPU’larınız efektif bir şekilde kullanılamıyorsa veya yük dağılımını nasıl yapacağınızı bilemiyorsanız,
– Bitfusion Client ile Server arasındaki bağlantıda 10Gbps ve üzerinde hızı 50 mikro saniye ve altında sağlayabiliyorsanız,
– VMware Enterprise Plus lisansına sahipseniz,

Bitfusion FlexDirect hedeflediğiniz AI/ML senaryolarına ulaşmanızı sağlayabilir. Yazıda yanlış anlaşılmamak için bir noktayı daha açıklamam gerekir. FlexDirect sadece size GPU’yu verimli kullanabilmek için bir altyapı sunuyor. NVIDIA CUDA kütüphaneleri kullanarak yazılımı yazmak ise sizin elinizde.