MIT'den bir profesör, herkese açık bulutta bugüne kadar oluşturulmuş en büyük kümeyi kullanarak bilişim sınırlarını zorluyor

Bir matematik felsefesi dersine misafir olursanız büyük ihtimalle "nesnelerden" söz edildiğini duyarsınız. Nesneler, matematik uygulayabileceğiniz her şeyin, örneğin sayıların veya fonksiyonların ya da eğriler gibi matematik hesaplamalarının sonuçlarının temelinde yer alır. L-Functions and Modular Forms Database (LMFDB), nesneler ve nesneler arasındaki bağlantıların ayrıntılı bir atlasıdır. LMFDB, uluslararası araştırmacıların işbirliğinin bir ürünüdür ve Avrupa ile Kuzey Amerika'daki üniversitelerde (MIT de bunların arasındadır) görevli uluslararası bir ekip tarafından yönlendirilmektedir.

Araştırmacılar arasında veri paylaşımı

LMFDB, nesnelerle ilgili verilerin dünyanın dört bir yanındaki fizik, bilgisayar bilimleri ve matematik topluluklarıyla paylaşılmasını kolaylaştırarak bilimsel ilerlemeye katkıda bulunmaktadır. Nesneleri oluşturmak için gereken bazı hesaplamalar o denli karmaşıktır ki, bu hesaplamaların nasıl yapılacağını dünyada sadece birkaç kişi bilmektedir. Diğerleri ise çok kapsamlı hesaplamalar olduğundan bunları yapmak çok uzun sürer ve çok maliyetli bir iştir. Bu yüzden, söz konusu hesaplamaların yalnızca bir kez yapılması tercih edilir.

LMFDB'yi çalıştıran ekip, artan depolama alanı gereksinimlerini karşılayabilecek bir bulut hizmetine ihtiyaç duyuyordu. Araştırmaya net bir bakış açısı kazandırmak için LMFDB'de nesnelerin oluşturulması yaklaşık 1000 yıllık bir hesaplama süresi gerektirdi. Devasa bir sorun olan depolama alanı konusunun dışında, ölçek de ayrı bir problemdi. LMFDB'ye lmfdb.org üzerinden isteyen herkes ulaşabildiğinden, projenin her gün gerçekleştirilen sayısız aramayı destekleyebilecek ölçeğe sahip olması gerekiyordu. Son olarak, LMFDB ortak çalışmaya dayalı bir proje olduğundan, ekibin farklı ülkelerden kullanıcıların kolayca yönetebileceği bir sisteme ihtiyacı vardı.

Altyapıya değil, araştırmaya odaklanmak

Çeşitli bulut çözümlerini inceleyen LMFDB ekibi, yüksek performansı, otomatik olarak ölçeklenebilme özelliği, kullanım kolaylığı ve güvenilirliği nedeniyle Google Cloud'da karar kıldı.

LMFDB'de ve karar sürecinde yer alan, önde gelen araştırmacılardan bir de, MIT'nin matematik profesörlerinden, bilgisayımsal sayı teorisyeni ve baş araştırmacı Andrew V. Sutherland'di.

Sutherland, "Bizler, araştırmamıza odaklanmak isteyen, donanım arızaları veya web sitesi ölçekleme sorunlarıyla uğraşmak istemeyen matematikçileriz," diyor.

Sutherland ve LMFDB ekibinin diğer üyeleri Google Compute Engine (GCE) ve web sunucularını barındırmak için de Google Persistent Disk'te karar kıldı. Çevrimiçi verilerin yarım terabaytı ile daha seyrek erişilen üç terabaytlık veriyi depolamak için MongoDB veritabanları yansıtıldı. Bu kurulum, LMFDB'nin gerektiği şekilde ölçeklenebilmesini ve araştırmacılar ihtiyaç duyduğunda, hesaplama sonuçları ile matematiksel nesneleri hızlı şekilde verebilmesini sağladı. LMFDB, dünyanın farklı yerlerindeki araştırmacıların veritabanını daha kolay ve ortak çalışmaya dayalı şekilde yönetmesine imkan tanıyan çeşitli Google Cloud araçlarından da faydalanmaktadır. Bu araçlar arasında Google Stackdriver, Google Cloud Console ve Google Cloud Load Balancing sayılabilir.

Sutherland'in LMFDB'de gerçekleştirmesi ve depolaması gereken karmaşık bir tablolalama işlemi vardı. Bu o kadar büyük bir işlemdi ki, herkese açık bulutta daha önce yapılan işlemlerin sınırlarını aşan bir hesaplama gücüne ihtiyaç duyuluyordu. Sutherland, bu işlemi gerçekleştirmek için GCE'yi seçti ve öncelikli sanal makinelerle 580.000 çekirdek çalıştırdı. Bu, herkese açık bulutta şimdiye kadar çalıştırılan en büyük yüksek performanslı bilgisayar kümesiydi.

Hesaplama sonucunda, her biri kendi LMFDB girişine sahip 70.000 farklı eğri elde edildi. Bu eğrilerden bir tanesinin bile bulunması, çok sayıda hesaplama döngüsü gerektiren aşırı derecede karmaşık bir görevdir. Sutherland bu görevi on beş boyutlu bir samanlıkta iğne aramaya benzetiyor.

Hesaplama için GCE'yi tercih etmeden önce Sutherland, işlemleri 64 çekirdekli bilgisayarında çalıştırıyordu. Ancak bu bilgisayarda işlemlerin tamamlanması aşırı derecede uzun sürüyordu. Tek alternatifi ise MIT'nin bilgisayar kümelerinden hesaplama zamanı almaktı. Bu zamanı almak zor olabiliyordu, üstelik kullanabileceği yazılım yapılandırmaları da sınırlanmış oluyordu. Sutherland, GCE ile ihtiyaç duyduğu sayıda çekirdek kullanabiliyor, tam olarak hangi işletim sistemi, kitaplık ve uygulamaya ihtiyaç duyuyorsa onları yükleyebiliyor ve ortamı istediği zaman güncelleyebiliyor.

Google Cloud'nin LMFDB'ye sağladığı esneklik sayesinde, öğrencilerden deneyimli araştırmacılara kadar herkes kolayca arama yapıp web arayüzü üzerinden veritabanının içeriğinde gezinebiliyor. Örneğin, Sutherland'in eliptik eğrilerle ilgili dersinde öğrenciler, ev ödevlerini yaparken LMFDB'den yararlanıyor.

Devasa hesaplamalar yaparken maliyeti düşürmek

Çoğu araştırmacı ve eğitim kurumunun karşı karşıya olduğu bütçe kısıtlamaları düşünüldüğünde, Google Cloud, devasa hesaplamaları makul bir maliyetle yapma olanağı sağlamaktadır. Sutherland'in kullandığı, GCE'nin öncelikli sanal makineleri, aşırı derecede karmaşık hesaplamaları yaparken maliyetleri önemli ölçüde düşürmesine olanak tanımaktadır. Bu tam donanımlı örnekler, GCE tarafından yarıda kesilebildiklerinden, normal muadillerine göre yüzde 80'e varan oranda maliyet avantajı sunar. Hesaplamaların yarıda kesilmesinin performansa büyük bir etkisi yoktur. Ortalama olarak, hesaplama saati başına Sutherland'in örneklerinden yalnızca ikisi veya üçü kesintiye uğramış olsa da işin tamamı bitirilene kadar bu örnekler otomatik olarak yeniden başlatılır. Yani kaybedilen zaman çok azdır. Bu küçük kesintilere izin vererek Sutherland devasa hesaplamaları düşük maliyetle ve pratikte herhangi bir gecikme yaşamadan yapabilmektedir.