Dosen di MIT mendorong batas komputasi dengan kluster terbesar yang pernah dibuat di cloud publik

Jika masuk ke kelas filosofi matematika, Anda mungkin akan mendengar diskusi tentang “objek”. Objek pada dasarnya adalah apa pun yang Anda gunakan dalam matematika, seperti angka atau fungsi maupun hasil kalkulasi matematis seperti kurva. L-Functions and Modular Forms Database (LMFDB) adalah peta besar objek yang mendetail dan hubungan antarobjek. LMFDB adalah kolaborasi antara peneliti internasional dan dipandu oleh tim yang berlokasi di berbagai universitas di Eropa dan Amerika Utara, termasuk MIT.

Berbagi data dengan seluruh peneliti

LMFDB mendorong kemajuan sains dengan mempermudah para peneliti untuk berbagi data tentang objek kepada komunitas fisika, ilmu komputer, dan matematika di seluruh dunia. Beberapa kalkulasi untuk membuat objek tersebut sangatlah kompleks sehingga hanya beberapa orang di dunia yang tahu cara melakukannya. Kalkulasi lainnya sangat besar sehingga sebaiknya hanya dijalankan 1 kali karena membutuhkan banyak waktu dan biaya yang mahal untuk melakukannya.

Tim yang menjalankan LMFDB memerlukan layanan cloud yang dapat memenuhi kebutuhan penyimpanan yang terus bertambah. Sebagai gambaran, perlu waktu hampir 1.000 tahun waktu komputasi untuk membuat objek di dalam LMFDB. Selain masalah penyimpanan yang sangat besar, ada juga masalah terkait skala. LMFDB tersedia untuk siapa saja di lmdfb.org, artinya project tersebut perlu diskalakan untuk mendukung penelusuran yang dilakukan setiap hari dengan jumlah tidak terbatas. Terakhir, karena LMFDB adalah project kolaboratif, tim memerlukan sistem yang dapat diatur dengan mudah oleh orang-orang dari berbagai negara.

Berfokus pada riset, bukan infrastruktur

Tim LMFDB mempertimbangkan beberapa solusi cloud dan memilih Google Cloud karena performa yang tinggi, kemampuan meningkatkan skala secara otomatis, kemudahan penggunaan, dan keandalannya.

Salah satu peneliti utama yang terlibat dalam LMFDB dan proses pengambilan keputusan adalah Andrew V. Sutherland, seorang profesor matematika, ahli teori angka komputasi, dan ilmuwan peneliti utama di MIT.

“Kami adalah ahli matematika yang ingin berfokus pada penelitian kami dan tidak perlu mengkhawatirkan kegagalan hardware atau masalah peningkatan skala di situs,” kata Sutherland.

Sutherland dan seluruh tim LMFDB memilih untuk menggunakan Google Compute Engine (GCE) dan Google Persistent Disk untuk menghosting server web dan database MongoDB yang diduplikasikan untuk menyimpan 0,5 terabyte data online dan 3 terabyte data yang lebih jarang diakses. Penyiapan ini memungkinkan LMFDB untuk menyesuaikan dengan kebutuhan dan memberikan hasil komputasi dan objek matematis dengan cepat saat para peneliti memerlukannya. LMFDB juga menggunakan berbagai solusi Google Cloud yang memungkinkan peneliti di berbagai belahan dunia untuk mengelola database secara kolaboratif dengan lebih mudah. Solusi tersebut mencakup Google Stackdriver, Google Cloud Console, dan Google Cloud Load Balancing.

Sutherland memiliki tabulasi yang sangat kompleks yang harus dilakukan dan disimpan di LMFDB, dengan ukuran yang sangat besar sehingga akan memerlukan teknologi komputasi di luar batas kemampuan cloud publik yang telah dilakukan sebelumnya. Untuk melakukannya, dia memilih GCE dan menjalankan 580.000 core dengan Mesin Virtual Preemptive — kluster komputer berperforma tinggi terbesar yang diketahui pernah dijalankan di cloud publik.

Kalkulasi tersebut menghasilkan 70.000 kurva yang berbeda, dengan masing-masing dengan entri LMFDB-nya. Menemukan hanya 1 dari kurva tersebut adalah tugas yang sangat kompleks dan memerlukan jumlah siklus komputasi yang banyak. “Ini seperti mencari jarum di antara tumpukan jerami dengan 15 dimensi,” kata Sutherlands.

Sebelum beralih ke GCE untuk melakukan kalkulasi, Sutherland telah menjalankannya di komputer 64-core miliknya, yang membutuhkan waktu yang sangat lama. Satu-satunya alternatifnya adalah memperoleh waktu komputasi di kluster MIT, yang kadang-kadang sulit didapatkan dan membatasi konfigurasi software yang dapat dia gunakan. Dengan GCE, dia dapat menggunakan sebanyak mungkin core yang diperlukan, menginstal sistem operasi, library, dan aplikasi persis sesuai yang diperlukan dan mengupdate konfigurasinya kapan saja.

Berkat skalabilitas Google Cloud yang diberikan untuk LMFDB, semua orang mulai dari siswa hingga peneliti berpengalaman dapat menelusuri dan melihat kontennya melalui antarmuka web dengan mudah. Misalnya, Sutherland mengajar kelas tentang kurva eliptik dan para siswanya menggunakan LMFDB untuk PR mereka.

Menghemat uang dalam melakukan kalkulasi masif

Dengan anggaran yang terbatas bagi banyak peneliti dan institusi pendidikan, Google Cloud memungkinkan mereka melakukan kalkulasi masif dengan biaya yang wajar. Mesin Virtual Preemptive GCE yang digunakan Sutherland memungkinkan dirinya mengurangi biaya secara drastis saat melakukan kalkulasi yang sangat kompleks. Instance dengan fitur lengkap ini menghabiskan biaya hingga 80 persen lebih sedikit dibandingkan teknologi yang setara karena dapat diinterupsi oleh GCE. Interupsi pada komputasi tidak menyebabkan masalah performa yang besar — rata-rata hanya 2 hingga 3 persen instance yang dia lakukan diinterupsi setiap jam komputasi, dan salah satu skrip otomatis memulai ulang instance hingga seluruh pekerjaannya selesai, jadi hanya sedikit waktu yang hilang. Dengan mengizinkan interupsi kecil ini, dia dapat menjalankan kalkulasi berskala besar dengan biaya yang rendah dan tanpa penundaan.