---

🟢 1. Pendahuluan

📌 Pengertian Data Cleansing dan Data Quality

Dalam sistem Data Warehouse, kualitas data menjadi faktor paling penting karena seluruh analisis, dashboard, laporan, dan pengambilan keputusan bergantung pada data yang digunakan.

📌 Data Cleansing

Data Cleansing adalah proses:

• membersihkan data,
• memperbaiki kesalahan,
• menghapus duplikasi,
• memperbaiki inkonsistensi data.

📌 Data Quality

Data Quality adalah tingkat kualitas data berdasarkan:

• akurasi,
• konsistensi,
• kelengkapan,
• validitas,
• reliabilitas data.

---

🔍 Narasi

Banyak organisasi memiliki data dalam jumlah besar, tetapi:

• tidak konsisten,
• banyak typo,
• format berbeda,
• terdapat data kosong,
• data ganda.

Jika data buruk digunakan dalam analisis:

• laporan menjadi salah,
• dashboard tidak akurat,
• keputusan bisnis keliru.

Karena itu Data Cleansing dan Data Quality menjadi fondasi utama dalam Data Warehouse.

---

🖼️ Ilustrasi Data Quality dan Data Cleaning

6

---

🟢 2. Pentingnya Data Quality

📌 Mengapa Data Quality Penting?

Data berkualitas tinggi diperlukan untuk:

• Business Intelligence,
• dashboard,
• machine learning,
• Artificial Intelligence,
• analisis bisnis,
• pengambilan keputusan.

---

🔍 Narasi

Prinsip penting:

“Garbage In, Garbage Out”

Jika data yang masuk salah, maka:

• analisis salah,
• prediksi salah,
• keputusan salah.

---

📊 Dampak Data Berkualitas Buruk

Dampak	Penjelasan
Laporan Salah	Informasi tidak akurat
Keputusan Keliru	Strategi bisnis gagal
Analisis Tidak Valid	Dashboard menyesatkan
Kerugian Finansial	Kesalahan operasional
Turunnya Kepercayaan	Data tidak dipercaya

---

🖼️ Diagram Dampak Poor Data Quality

7

---

🟢 3. Dimensi Data Quality

📌 Dimensi Utama Data Quality

1. Accuracy
2. Completeness
3. Consistency
4. Validity
5. Uniqueness
6. Timeliness

---

🟡 3.1 Accuracy (Akurasi)

📌 Penjelasan

Data harus benar dan sesuai fakta.

---

🔍 Narasi

Contoh salah:

• tanggal lahir tidak valid,
• nama salah ketik,
• IPK melebihi batas.

---

🟡 3.2 Completeness (Kelengkapan)

📌 Penjelasan

Data harus lengkap dan tidak kosong.

---

📊 Contoh

Nama	Prodi	IPK
Andi	Informatika	3.75
Budi	NULL	3.40

---

🟡 3.3 Consistency (Konsistensi)

📌 Penjelasan

Format data harus seragam.

---

📊 Contoh Inkonsistensi

Data	Masalah
IF	Informatika
SI	Sistem Informasi
S.Informasi	Tidak konsisten

---

🟡 3.4 Validity (Validitas)

📌 Penjelasan

Data harus sesuai aturan.

---

📊 Contoh

Data	Status
IPK 3.75	Valid
IPK 7.00	Tidak valid

---

🟡 3.5 Uniqueness (Keunikan)

📌 Penjelasan

Tidak boleh ada data duplikat.

---

🟡 3.6 Timeliness (Ketepatan Waktu)

📌 Penjelasan

Data harus terbaru dan relevan.

---

🖼️ Diagram Dimensi Data Quality

6

---

🟢 4. Jenis Permasalahan Data

📌 Masalah Umum pada Data

• Missing Value
• Duplicate Data
• Typographical Error
• Inconsistent Data
• Invalid Data
• Outlier

---

🟡 4.1 Missing Value

📌 Penjelasan

Data kosong atau NULL.

---

🔍 Narasi

Data kosong menyebabkan:

• analisis tidak lengkap,
• dashboard salah,
• AI gagal memprediksi.

---

🟡 4.2 Duplicate Data

📌 Penjelasan

Data ganda dalam sistem.

---

📊 Contoh

NIM	Nama
22001	Andi
22001	Andi

---

🟡 4.3 Typographical Error

📌 Penjelasan

Kesalahan penulisan.

---

📊 Contoh

Salah	Benar
Infromatika	Informatika
Sukabmi	Sukabumi

---

🟡 4.4 Inconsistent Data

📌 Penjelasan

Format berbeda untuk data yang sama.

---

🟡 4.5 Invalid Data

📌 Penjelasan

Data tidak sesuai aturan.

---

🟡 4.6 Outlier

📌 Penjelasan

Data ekstrem yang tidak normal.

---

🖼️ Ilustrasi Dirty Data

7

---

🟢 5. Data Cleansing Process

📌 Tahapan Data Cleansing

1. Data Profiling
2. Data Parsing
3. Standardization
4. Matching
5. Deduplication
6. Validation

---

🟡 5.1 Data Profiling

📌 Penjelasan

Menganalisis kondisi data.

---

🟡 5.2 Data Parsing

📌 Penjelasan

Memecah data menjadi bagian kecil.

---

🟡 5.3 Standardization

📌 Penjelasan

Menyamakan format data.

---

🟡 5.4 Matching

📌 Penjelasan

Mencocokkan data yang mirip.

---

🟡 5.5 Deduplication

📌 Penjelasan

Menghapus data ganda.

---

🟡 5.6 Validation

📌 Penjelasan

Memastikan data sesuai aturan.

---

🖼️ Diagram Data Cleansing Process

9

---

🟢 6. Teknik Data Cleansing

📌 Teknik Utama

• Remove Duplicates
• Replace Missing Values
• Standardization
• Data Transformation
• Validation Rules
• Fuzzy Matching

---

📊 Contoh Teknik Cleansing

Masalah	Solusi
NULL	Isi default
Duplikat	Remove duplicates
Typo	Koreksi manual
Format beda	Standardisasi

---

🔍 Narasi

Teknik cleansing dapat dilakukan:

• manual,
• otomatis menggunakan script,
• menggunakan tools ETL.

---

🖼️ Teknik Data Cleaning

6

---

🟢 7. Data Quality dalam ETL

📌 Hubungan ETL dan Data Quality

Data cleansing biasanya dilakukan pada tahap:

• Transform dalam ETL.

---

🔍 Narasi

Pada proses transformasi:

• typo diperbaiki,
• data ganda dihapus,
• format disamakan.

---

🖼️ ETL dan Data Quality

11

---

🟢 8. Data Governance dan Data Quality

📌 Pengertian

Data Governance adalah pengelolaan kebijakan data.

---

🔍 Narasi

Data governance memastikan:

• kualitas data terjaga,
• keamanan data,
• akses data terkontrol,
• standar data konsisten.

---

📊 Komponen Data Governance

Komponen	Fungsi
Policy	Aturan data
Security	Keamanan
Metadata	Informasi data
Quality Control	Pengawasan kualitas

---

🖼️ Diagram Data Governance

8

---

🟢 9. Tools Data Cleansing

📌 Tools Populer

Tools	Fungsi
OpenRefine	Data cleaning
Talend	ETL & cleansing
Pentaho	ETL
Excel	Data preprocessing
Python Pandas	Cleaning otomatis
SQL	Validasi data

---

🔍 Narasi

Dalam dunia industri, cleansing sering dilakukan menggunakan:

• ETL tools,
• Python,
• SQL,
• Big Data platform.

---

🖼️ Ilustrasi Tools Data Cleaning

7

---

🟢 10. Studi Kasus Kampus

📌 Studi Kasus

Universitas memiliki data mahasiswa:

• ganda,
• typo,
• format prodi berbeda.

---

📊 Contoh Data Bermasalah

NIM	Nama	Prodi
22001	Andi	IF
22001	Andi	Informatika
22002	Budi	Infromatika

---

🔍 Solusi

• Hapus duplikat
• Perbaiki typo
• Standardisasi nama prodi

---

🟢 11. Tutorial Praktikum

💻 Praktikum Data Cleansing dengan SQL

📌 Tools

• MySQL
• XAMPP

---

🟡 Langkah 1 — Membuat Database

CREATE DATABASE cleansing_db;

---

🟡 Langkah 2 — Membuat Tabel

CREATE TABLE mahasiswa (
    nim VARCHAR(10),
    nama VARCHAR(100),
    prodi VARCHAR(50)
);

---

🟡 Langkah 3 — Input Data Bermasalah

INSERT INTO mahasiswa VALUES
('22001','Andi','IF'),
('22001','Andi','Informatika'),
('22002','Budi','Infromatika');

---

🟡 Langkah 4 — Standardisasi Data

UPDATE mahasiswa
SET prodi='Informatika'
WHERE prodi='IF';

---

🟡 Langkah 5 — Perbaikan Typo

UPDATE mahasiswa
SET prodi='Informatika'
WHERE prodi='Infromatika';

---

🟡 Langkah 6 — Analisis Data

SELECT prodi, COUNT(*)
FROM mahasiswa
GROUP BY prodi;

---

🖼️ Diagram Tutorial SQL Cleansing

7

---

🟢 12. Best Practice Data Quality

📌 Tips Menjaga Data Quality

• Validasi data sejak input
• Gunakan format standar
• Monitoring kualitas data
• Gunakan ETL otomatis
• Audit data berkala
• Gunakan metadata

---

🟢 13. Latihan Mahasiswa

🎯 Latihan Teori

1. Jelaskan pengertian Data Cleansing!
2. Apa itu Data Quality?
3. Sebutkan dimensi Data Quality!
4. Apa dampak poor data quality?
5. Mengapa data cleansing penting?

---

🎯 Latihan Praktikum

Lakukan cleansing pada:

• data mahasiswa,
• data penjualan,
• data rumah sakit.

Cari:

• typo,
• duplikasi,
• missing value,
• inkonsistensi.

---

🟢 14. Diskusi Kelas

💬 Topik Diskusi

1. Mengapa data berkualitas sangat penting?
2. Apa tantangan menjaga data quality?
3. Bagaimana AI dipengaruhi oleh data buruk?
4. Apakah cleansing manual masih diperlukan?

---

🟢 15. Kesimpulan

📌 Ringkasan

Data Cleansing dan Data Quality merupakan bagian penting dalam pembangunan Data Warehouse.

Dengan data yang bersih:

• analisis lebih akurat,
• dashboard lebih valid,
• Business Intelligence lebih optimal,
• AI dan Machine Learning lebih efektif.

Dalam era Big Data dan AI, kualitas data menjadi aset strategis organisasi modern.