Preprocessing Data Ecoli Menggunakan KNIME (Pra UTS)

Preprocessing Data Ecoli Menggunakan KNIME (Pra UTS)#

Deskripsi Umum#

Proses preprocessing merupakan tahap awal penting sebelum data digunakan untuk analisis atau pemodelan. Pada tahap ini dilakukan pembersihan, pemeriksaan, dan penyeimbangan agar data lebih representatif dan akurat.

Workflow pada KNIME Analytics Platform ini dirancang untuk memproses dataset Ecoli yang tersimpan dalam database PostgreSQL, mencakup tahapan:

  • Import data dari database

  • Eksplorasi dan analisis statistik awal

  • Deteksi dan penanganan outlier

  • Penyeimbangan data menggunakan SMOTE

  • Penanganan missing values

  • Analisis dan verifikasi hasil akhir

Alur Workflow Utama#

Workflow terdiri dari enam tahapan utama:

  1. Koneksi dan pengambilan data dari PostgreSQL

  2. Eksplorasi dan analisis statistik

  3. Deteksi dan analisis outlier

  4. Balancing data menggunakan SMOTE

  5. Penanganan missing values

  6. Analisis akhir dan export hasil

1. Koneksi dan Pengambilan Data#

🔹 Node: PostgreSQL Connector#

Node ini digunakan untuk membuat koneksi antara KNIME dan database PostgreSQL.
Pengguna memasukkan parameter seperti hostname, port, username, password, dan nama database.
Tujuan: memungkinkan pengambilan data langsung dari database tanpa ekspor manual.

image.png

🔹 Node: DB Table Selector#

Node ini berfungsi untuk memilih tabel yang akan digunakan dalam analisis, yaitu tabel Ecoli.
Manfaat: mempermudah pengguna menentukan subset data tertentu dari beberapa tabel yang ada di dalam database.

Lampiran: screenshot pemilihan tabel yang digunakan.

image.png

###🔹 Node: DB Reader Node ini membaca seluruh isi tabel yang telah dipilih dan mengubahnya menjadi tabel internal KNIME.
Output: dataset lengkap yang siap untuk eksplorasi awal.

image.png

2. Eksplorasi dan Analisis Statistik Awal#

🔹 Node: Statistics#

Node ini menghitung statistik deskriptif seperti mean, median, standar deviasi, minimum, maksimum, dan kuartil.
Manfaat: membantu memahami karakteristik dasar data sebelum dilakukan pembersihan.

image.png

🔹 Node: Bar Chart#

Menampilkan visualisasi distribusi kelas dari data original untuk mendeteksi adanya class imbalance.
Tujuan: mengetahui apakah jumlah data antar kelas seimbang atau tidak.

image.png

🔹 Node: Table View#

Menampilkan isi data secara langsung di KNIME, berguna untuk memastikan struktur kolom dan format data sudah sesuai.

image.png

3. Deteksi dan Analisis Outlier#

🔹 Node: Numeric Outliers#

Node ini digunakan untuk mendeteksi nilai ekstrem (outlier) pada kolom numerik menggunakan metode IQR (Interquartile Range).
Nilai di luar rentang Q1–1.5×IQR dan Q3+1.5×IQR dianggap sebagai outlier.
Tujuan: mengidentifikasi data yang menyimpang agar bisa ditangani sebelum analisis lebih lanjut.

image.png

image.png

🔹 Node: Bar Chart#

Menampilkan hasil deteksi outlier dalam bentuk grafik batang.
Manfaat: mempermudah visualisasi seberapa banyak outlier yang muncul pada setiap fitur numerik.

image.png

4. Balancing Data Menggunakan SMOTE#

🔹 Node: SMOTE (Synthetic Minority Over-sampling Technique)#

Node ini berfungsi menyeimbangkan jumlah data antar kelas dengan membuat sampel sintetis baru untuk kelas minoritas.
Proses dilakukan dengan metode k-nearest neighbors, di mana data sintetis dihasilkan di antara sampel minoritas yang berdekatan.

Tujuan: mengatasi ketidakseimbangan kelas agar model tidak bias terhadap kelas mayoritas.

image.png image.png

🔹 Node: Statistics#

Node ini digunakan kembali setelah SMOTE untuk menganalisis perubahan statistik akibat proses oversampling.
Biasanya jumlah baris meningkat karena adanya data sintetis tambahan.

image.png image.png

🔹 Node: Bar Chart#

Menampilkan distribusi kelas setelah SMOTE agar pengguna dapat membandingkannya dengan kondisi awal.
Manfaat: memastikan proses balancing berjalan dengan benar.

image.png

5. Penanganan Missing Values#

🔹 Node: Missing Value#

Setelah proses SMOTE, kadang muncul missing values akibat pembentukan data baru.
Node ini digunakan untuk memperbaiki nilai kosong tersebut dengan metode median imputation.

Alasan penggunaan median: median lebih stabil terhadap outlier dibandingkan mean, sehingga hasil imputasi lebih akurat.

image.png

🔹 Node: Bar Chart#

Menampilkan perbandingan jumlah missing values sebelum dan sesudah proses penanganan.
Tujuan: memastikan seluruh nilai kosong telah tertangani dengan baik.

image.png

6. Analisis Akhir dan Export Hasil#

🔹 Node: Table View#

Menampilkan dataset final yang siap digunakan untuk proses data modeling.

image.png

Hasil Akhir#

Setelah preprocessing dilakukan, diperoleh hasil sebagai berikut:

Aspek

Sebelum Preprocessing

Setelah Preprocessing

Missing Value

Tidak ada

Sudah dibersihkan

Outlier

Ada pada beberapa fitur

Telah ditangani

Distribusi Kelas

Tidak seimbang

Seimbang (SMOTE)

Statistik

Kurang stabil

Stabil dan proporsional

Kualitas Data

Mentah

Siap untuk modeling

Kesimpulan#

Workflow preprocessing data Ecoli di KNIME telah berjalan secara sistematis mulai dari pengambilan data hingga ekspor hasil akhir.
Seluruh tahapan berperan penting dalam meningkatkan kualitas dataset:

✅ Data berhasil diambil langsung dari PostgreSQL
✅ Outlier berhasil dideteksi dan ditangani
✅ Distribusi kelas seimbang setelah SMOTE
✅ Missing values telah diimputasi dengan median
✅ Data final bersih dan siap digunakan untuk analisis lebih lanjut

Workflow KNIME#

image.png

Contents