Sekarang masuk dalam pembahasan utama, yaitu mengenai cara melakukan data cleaning. Untuk pembersihan data yang benar-benar menyeluruh, Anda bisa mengikuti langkah-langkah berikut:

1. Mendeteksi error

Langkah awal yang harus dilakukan adalah memantau notifikasi error atau corrupt. Ada baiknya Anda mencatat titik yang paling sering terjadi error. Dengan begitu, deteksi error bisa dilakukan lebih cepat.

2. Hapus duplikat data atau data yang tidak perlu

Jika sudah menemukan data yang error, corrupt, atau inkonsisten, Anda bisa langsung melakukan tindakan, baik itu perbaikan atau penghapusan. Ini juga berlaku untuk duplikat dan data yang dirasa tidak perlu. Untuk mencegah terjadinya duplikasi data saat Anda menggabungkan beberapa data sources, lakukan standarisasi proses. Dengan begitu, saat terdapat data ganda, sistem secara otomatis akan membuangnya.

3. Perbaiki kesalahan struktur

Anda menemukan penamaan yang aneh, typo, atau penggunaan simbol aneh saat sedang melakukan transfer data? Bisa jadi ada kesalahan struktur pada dataset Anda. Kesalahan struktur tersebut biasanya disebabkan oleh adanya inkonsistensi data.

4. Filter outlier yang tidak diinginkan

Dalam proses pengolahan data, terkadang muncul data yang sekilas tampak tidak sesuai atau terpaut jauh dengan data lain. Inilah yang disebut dengan outlier atau pencilan.

Sah-sah saja menghapus outlier yang ditemukan, tentu saja dengan alasan jelas. Sebab, penyaringan outlier memang bisa membantu performa data yang sedang Anda kerjakan. Meski begitu, perlu diingat bahwa kemunculan outlier bukan berarti teori yang sedang Anda kerjakan salah. Justru sebaliknya, adanya outlier bisa menjadi indikator untuk menentukan validitas data.

5. Tangani data yang hilang

Data yang hilang harus ditangani dengan serius. Sebab, sering kali algoritma tidak akan menerima nilai yang hilang. Untuk menanganinya, Anda bisa mengikuti cara berikut:

• Cara pertama, masukkan nilai yang hilang berdasarkan observasi lain. Cara ini sangat riskan karena mengandalkan asumsi, yang mana bisa mengancam integritas data.
• Cara kedua, buang observasi dengan nilai yang hilang. Namun, langkah ini bisa membuat Anda kehilangan informasi penting.
• Cara terakhir, mengubah bagaimana cara data digunakan agar nilai yang kosong dapat dinavigasikan dengan efektif.

6. Validasi dan lakukan QA

Langkah terakhir data cleaning adalah validasi dan QA (quality assurance). Anda harus bisa memastikan bahwa data bisa diterima dan memang masuk akal. Selain itu, data juga harus sesuai dengan aturan yang ada. Pun dengan teori kerja yang Anda terapkan, apakah terbukti atau justru tidak. Jika tidak, apakah kualitas data berpengaruh? Pertanyaan-pertanyaan tersebut harus terjawab sebagai validasi data Anda.