Ubah atau Muat Dulu: Vendor IT untuk Pengelolaan Data Besar

Sumber: ChatGPT

Pertanyaan yang Menentukan Bentuk Seluruh Alurnya

Memindahkan data dari sistem operasional ke wadah analisis terlihat sebagai pekerjaan teknis yang sederhana. Namun ada satu keputusan di dalamnya yang menentukan bentuk seluruh alur dan sulit diubah kemudian, yaitu apakah data diubah sebelum atau sesudah dimuat.

Perbedaannya bukan sekadar urutan langkah. Mengubah sebelum memuat berarti hanya data yang sudah diolah yang tersimpan. Memuat sebelum mengubah berarti data mentah tetap tersedia dan pengolahan dilakukan sesuai kebutuhan.

Bagi vendor IT untuk pengelolaan data besar dengan teknologi modern, keputusan ini perlu diambil berdasarkan karakteristik data dan kebutuhan analisis, bukan berdasarkan kebiasaan.

Tiga Pendekatan dan Kapan Masing-masing Tepat

Ada tiga pendekatan yang lazim dipakai, dan masing-masing menjawab kebutuhan yang berbeda.

Mengubah sebelum memuat. Data dibersihkan dan diolah di area antara, lalu hanya hasilnya yang disimpan. Pendekatan ini tepat ketika ada kewajiban untuk tidak menyimpan data mentah tertentu, misalnya karena mengandung informasi sensitif yang harus disamarkan lebih dulu. Juga tepat bila kapasitas penyimpanan terbatas dan bentuk laporan sudah pasti.

Memuat sebelum mengubah. Data mentah dimasukkan lebih dulu ke wadah analisis, lalu diolah di sana memanfaatkan kapasitas komputasinya. Pendekatan ini memberi fleksibilitas paling besar karena pertanyaan baru di masa depan masih bisa dijawab dari data mentah yang tersimpan. Konsekuensinya, kebutuhan penyimpanan lebih besar dan tata kelola akses menjadi lebih penting.

Memproses saat data mengalir. Data diolah segera setelah dihasilkan, tanpa menunggu jadwal pemrosesan berkala. Pendekatan ini tepat hanya bila ada keputusan yang memang harus diambil dalam hitungan detik, misalnya penandaan transaksi mencurigakan.

Kesalahan Paling Umum dalam Memilih

Kesalahan yang paling sering terjadi adalah memilih pemrosesan saat mengalir untuk kebutuhan yang sebenarnya tidak menuntutnya.

Pemrosesan berkelanjutan jauh lebih mahal, baik dari sisi infrastruktur maupun dari sisi kerumitan pengelolaan. Ia menuntut penanganan pesan yang datang tidak berurutan, jaminan bahwa data tidak diproses dua kali, dan pemantauan yang berjalan terus-menerus.

Pertanyaan yang perlu diajukan sebelum memilihnya cukup sederhana. Apa yang berubah bila informasi ini baru tersedia satu jam kemudian. Bila jawabannya tidak ada yang berubah, maka pemrosesan berkala sudah memadai dan jauh lebih murah.

Sebaliknya, bila keterlambatan satu jam berarti kerugian yang sudah terjadi tidak bisa dicegah, barulah pemrosesan berkelanjutan sepadan dengan biayanya.

Menjaga Data Tetap Bisa Dipercaya

Alur pemindahan data yang berjalan lancar tidak ada gunanya bila data yang sampai ternyata tidak bisa dipercaya.

Pemeriksaan mutu di titik masuk. Data yang jelas tidak wajar, seperti nilai kosong pada kolom wajib atau format yang tidak sesuai, perlu ditandai atau ditolak sejak awal, bukan dibiarkan mengalir dan ditemukan berminggu-minggu kemudian.

Pencatatan asal-usul. Untuk setiap angka yang muncul di laporan, perlu bisa ditelusuri dari mana asalnya dan pengolahan apa saja yang dilaluinya. Tanpa ini, ketika ada angka yang dipertanyakan, tidak ada cara memverifikasinya.

Pemantauan alur. Kemacetan pada pemindahan data sering tidak menimbulkan tanda yang jelas, karena laporan tetap bisa dibuka dengan data lama. Karena itu keterlambatan pembaruan perlu dipantau secara khusus.

Penanganan pengulangan. Bila sebuah proses pemindahan diulang karena kegagalan, hasilnya tidak boleh menjadi data ganda. Ini perlu dipastikan pada perancangan, bukan diperbaiki setelah ditemukan.

Kapan Alur Data Anda Perlu Ditinjau

Masalah pada alur data biasanya terlihat sebagai ketidakpercayaan terhadap angka, bukan sebagai gangguan teknis.