Peran Memori dalam Perkembangan Kecerdasan Buatan
Di tengah hiruk-pikuk perkembangan kecerdasan buatan, sebagian besar perhatian publik masih diarahkan pada GPU yang dianggap sebagai pusat tenaga komputasi. Namun, ketika para analis dan insinyur menggali lebih dalam bagaimana AI bekerja, ada satu komponen yang kini memegang peranan lebih kritikal: memori.
White paper IDC berjudul “The Importance of Memory in High-Performance Computing and AI” menjelaskan bahwa memori tidak lagi pelengkap sistem, melainkan fondasi kinerja AI modern. AI mengubah kapasitas dan struktur data center. Dalam laporannya, penulis menyebutkan bahwa “AI’s ability to analyze vast amounts of data means datacenters must now handle exponentially larger datasets”. Pernyataan ini merangkum perubahan zaman. AI tidak hanya membutuhkan pemrosesan cepat, tetapi juga kemampuan memindahkan data dalam volume raksasa tanpa henti. Di sinilah memori menjadi batas kemampuan AI.
Komputasi AI dan Triliunan Parameter yang Bergantung pada Memori
Beban kerja AI modern dibangun dari model yang mengandung miliaran sampai triliunan parameter. Setiap parameter itu harus tersimpan dalam memori dan dapat diakses secara paralel. Jeff menekankan bahwa AI memerlukan high bandwidth and low latency memory untuk memindah data secara efisien dari suatu sistem. Alasannya, GPU tidak akan bekerja pada performa optimal jika arus datanya tersendat.
Dengan ukuran model yang terus bertambah, kebutuhan memori bukan hanya soal kapasitas tetapi juga soal kecepatan perpindahan data. Tanpa memori berbandwidth tinggi, model AI tidak dapat dilatih maupun dijalankan secara efisien. Inilah alasan mengapa memori menjadi komponen paling strategis dalam infrastruktur AI.
HBM dan Evolusi Memori Berkecepatan Tinggi
White paper IDC menyoroti HBM atau High Bandwidth Memory sebagai inovasi besar yang menjawab kebutuhan AI. HBM muncul sebagai inovasi kunci yang sangat menentukan perkembangan infrastruktur AI. Alasannya, karena menawarkan bandwidth yang jauh melebihi memori tradisional sambil mempertahankan konsumsi daya yang lebih rendah.
HBM bekerja dengan struktur 3D stacked dies dan melalui teknologi through-silicon vias. Cara kerja ini membuat jalur datanya sangat lebar sehingga proses pemindahan data berlangsung lebih cepat. GPU seperti Nvidia H100 atau AMD MI300 menjadikan HBM komponen wajib untuk mencapai performa optimal. Artinya, industri memori kini harus mengalokasikan kapasitas produksi DRAM untuk memenuhi permintaan HBM yang semakin mendominasi pasar AI.
Memori Efisien dan Efisiensi Energi Data Center
Energi menjadi tantangan terbesar bagi data center modern. White paper IDC mengungkap, pada survei 2024, menemukan bahwa biaya listrik menyumbang 46,3 persen dari total pengeluaran operasional pusat data. Selain itu, konsumsi energi global untuk data center diproyeksikan naik dari 352 TWh pada 2023 menjadi 857 TWh pada 2028.
HBM menjadi solusi karena dengan bandwidth tinggi yang dicapainya, HBM tetap beroperasi pada frekuensi lebih rendah dan menghasilkan efisiensi daya yang signifikan. Jeff menjelaskan bahwa HBM memberikan “significant energy efficiency at high throughput levels” sehingga menjadi pilihan rasional bagi perusahaan yang membangun infrastruktur AI skala besar.
Korelasi AI dan Krisis Memori Konsumer
Sampai pada titik ini, white paper IDC memberi gambaran jelas bahwa AI mendorong produsen memori mempertimbangkan ulang prioritas produksi mereka. HBM dan DRAM server memiliki margin tinggi, permintaan besar, dan peran langsung dalam efisiensi data center. Dampaknya adalah berkurangnya kapasitas yang dialokasikan untuk DRAM konsumer seperti RAM PC DDR5.
Inilah hubungan penting yang sering tidak disadari oleh para pengguna PC. Setiap wafer (lempengan tipis berbahan silikon yang menjadi dasar pembuatan chip seperti DRAM, NAND, prosesor, GPU, dan termasuk HBM) DRAM yang diprioritaskan untuk HBM atau modul server DDR5 RDIMM, berarti satu wafer lebih sedikit yang tersedia untuk DRAM konsumer. Produsen memori hanya memiliki jumlah wafer terbatas, sehingga ketika AI menyedot sebagian besar kapasitas itu, pasar konsumer akan terkena dampaknya.
Efeknya sudah terlihat secara nyata di pasar. Harga RAM PC melonjak drastis dalam satu tahun terakhir. Kit DDR5 32 GB yang tahun lalu berada di kisaran 3,5 juta rupiah kini melonjak ke lebih dari 6 juta hingga mendekati 8 juta rupiah. Kapasitas lebih besar seperti 64 GB sampai 128 GB bahkan mencapai belasan hingga hampir tiga puluh juta rupiah. Bagi pengguna PC, kenaikan ini terasa tiba-tiba, tetapi jika dilihat dari perspektif industri memori global, fenomena ini adalah konsekuensi dari pergeseran prioritas menuju kebutuhan AI.
Ketika Memori Menjadi Penentu Masa Depan AI
Pada bagian akhir white paper, Jeff Janukowicz menyimpulkan bahwa memori kini menjadi salah satu penggerak utama inovasi kecerdasan buatan. “Memori kini menjadi penggerak inovasi AI dan elemen dasar yang memungkinkan lahirnya komputasi generasi berikutnya,” terang Jeff sebagai penegasan bahwa masa depan AI sangat bergantung pada evolusi memori itu sendiri.
Ketergantungan AI pada memori berkapasitas besar dan bandwidth tinggi mengubah cara produsen memori mengalokasikan sumber daya mereka. Saat AI menyerap komponen memori paling bernilai, konsumen PC merasakan efek sampingnya berupa kelangkaan DRAM dan lonjakan harga. Di titik ini, memori bukan lagi komponen murah dalam perakitan komputer. Sebab DRAM telah menjadi pusat gravitasi dari seluruh ekosistem teknologi, mulai dari pusat data raksasa hingga pengguna PC di rumah.
