DATA PREPARATION

 


Data preparation, atau persiapan data, melibatkan proses membersihkan dan mengorganisir data agar siap untuk dianalisis. Langkah ini sangat penting karena kualitas data yang baik merupakan kunci untuk mendapatkan insight yang akurat. Berikut adalah beberapa tugas yang biasa dilakukan dalam proses persiapan data:

1. Pembersihan Data: Mengidentifikasi dan mengoreksi kesalahan atau inkonsistensi dalam data, seperti nilai yang hilang, typo, atau format yang salah.
2. Penanganan Nilai yang Hilang: Menentukan strategi untuk mengatasi nilai yang hilang, misalnya dengan menghapus baris/kolom yang memiliki nilai hilang atau
menggantinya dengan nilai tertentu seperti rata-rata atau median.
3. Transformasi Data: Mengubah data ke dalam format yang lebih sesuai untuk analisis, misalnya mengubah tipe data, normalisasi, atau standarisasi nilai.
4. Pengurangan Dimensi: Mengurangi jumlah variabel/fitur yang digunakan dalam analisis, misalnya melalui seleksi fitur atau ekstraksi fitur.

berikut contoh pada google collab:








Komentar

Posting Komentar

Postingan populer dari blog ini

Cross-Industry Standard Process for Data Mining (CRISP-DM)

Gambar
     Cross-Industry Standard Process for Data Mining (CRISP-DM) adalah metodologi proses yang banyak diadopsi dalam proyek data mining. Metodologi ini menyediakan kerangka kerja yang komprehensif dan terstruktur untuk melakukan proyek data mining. CRISP-DM diakui secara luas dan digunakan dalam berbagai industri karena fleksibilitas dan adaptabilitasnya terhadap berbagai jenis proyek data mining. Metodologi ini terdiri dari enam tahap utama yang bertujuan untuk memandu dari pemahaman awal masalah bisnis hingga penerapan solusi data mining.  Tahapan CRISP-DM 1. Business Understanding (Pemahaman Bisnis) Tahap ini berfokus pada pemahaman masalah bisnis secara mendalam dan formulasi masalah data mining sebagai solusi. Hal ini melibatkan identifikasi tujuan bisnis, tujuan data mining, dan kriteria keberhasilan. 2. Data Understanding (Pemahaman Data) Tahap ini melibatkan pengumpulan data awal, akses ke data, pemahaman terhadap data yang tersedia, dan penilaian kualitas dat...
Baca selengkapnya

Sample, Explore, Modify, Model, dan Assess

Gambar
 SEMMA merupakan singkatan dari Sample, Explore, Modify, Model, dan Assess. Ini adalah metodologi yang dikembangkan oleh SAS Institute untuk melakukan proses data mining yang efektif. SEMMA menyediakan panduan langkah demi langkah untuk memindai data besar dan mengubahnya menjadi pengetahuan yang berharga. Berikut ini adalah penjelasan setiap tahap dalam SEMMA, beserta contohnya. 1. Sample (Sampel) Definisi: Tahap ini melibatkan pemilihan sampel data dari kumpulan data yang lebih besar. Tujuannya adalah untuk membuat kumpulan data yang lebih kecil dan lebih manajemen untuk analisis awal, tanpa mengorbankan representasi statistik dari data tersebut. Contoh: Sebuah perusahaan e-commerce ingin menganalisis perilaku pembelian pelanggan. Dari jutaan transaksi, perusahaan tersebut memilih 10.000 transaksi secara acak dari setiap kategori produk sebagai sampel untuk analisis awal. 2. Explore (Eksplorasi) Definisi: Tahap eksplorasi data melibatkan pemeriksaan awal dari data sampel untuk me...
Baca selengkapnya