KDD dan Data Mining

Posting ini adalah tentang KDD dan Data Mining. Bagi yang merasa aku lagi mabuk saat menulis posting ini, anda salah besar!!! Aku bukan mabuk, aku hanya bukan diriku sendiri (lha!).

Posting ini didasarkan pada buku TA yang sedang aku susun. Dengan semangat berbagi ilmu, berbagi pengetahuan, dan agar aku yang bodoh terlihat sedikit lebih pintar. Wes intine, kalo mau pusing teruskan mbacanya.

Knowledge Discovery and Data Mining

Database sekarang dapat memiliki besar sampai hitungan terrabyte. Dalam data yang besar ini tersembunyi informasi yang bersifat strategik. Tapi dengan banyaknya data, timbul masalah untuk menggali informasi yang berguna dari data.

Banyak perusahaan telah mengumpulkan data berkuantitas besar. Teknik data mining dapat diimplementasikan ke platform software dan hardware yang sudah ada untuk meningkatkan nilai dari sumberdaya informasi yang sudah ada. Implementasi data mining pada client/server berperforma tingi atau komputasi paralel dapat menganalisis database yang besae untuk menjawab pertanyaan seperti,”Klien mana yang paling mungkin merespon surat promosi kami selanjutnya, dan kenapa?”

 

Pengertian

Knowledge Discovery and Data Mining(KDD) adalah proses yang dibantu oleh komputer untuk menggali dan menganalisis sejumlah besar himpunan data dan mengekstrak informasi dan pengetahuan yang berguna. Data mining tools memperkirakan perilaku dan tren masa depan, memungkinkan bisnis untuk membuat keputusan yang proaktif dan berdasarkan pengetahuan. Data mining tools mampu menjawab permasalahan bisnis yang secara tradisional terlalu lama untuk diselesaikan. Data mining tools menjelajah database untuk mencari pola tersembunyi, menemukan infomasi yang prediktif yang mungkin dilewatkan para pakar karena berada di luar ekspektasi mereka.

 

Proses Data Mining

Proses dalam KDD adalah proses yang digambarkan pada dan terdiri dari rangkaian proses iteratif sebagai berikut:

1. Data cleaning, menghilangkan noise dan data yang inkonsisten.

2. Data integration, menggabungkan data dari berbagai sumber data yang berbeda

3. Data selection, mengambil data yang relevan dengan tugas analisis dari database

4. Data transformation, Mentransformasi atau menggabungkan data ke dalam bentuk yang sesuai untuk penggalian lewat operasi summary atau aggregation.

5. Data mining, proses esensial untuk mengekstrak pola dari data dengan metode cerdas.

6. Pattern evaluation, mengidentifikasikan pola yang menarik dan merepresentasikan pengetahuan berdasarkan interestingness measures.

7. Knowledge presentation, penyajian pengetahuan yang digali kepada pengguna dengan menggunakan visualisasi dan teknik representasi pengetahuan.

Proses KDD

 

Metode

Banyak teknik dan metode yang ada untuk melakukan berbagai jenis tugas data mining. Metode ini dikelompokkan dalam 3 paradigma utama data mining: Predictive Modeling, Discovery, dan Deviation Detection.

Predictive Modeling

Aplikasi Predictive Modeling menghasilkan klasifikasi atau prediksi. Tujuan dari predictive modeling adalah menemukan pola yang melibatkan variabel untuk memprediksi dan mengklasifikasi perilaku masa depan dari sebuah entitas. Ada dua tipe masalah yang diselesaikan oleh predictive modeling: klasifikasi dan regresi.

Klasifikasi melibatkan model pembelajaran yang memetakan (atau mengklasifikasi) data contoh ke dalam satu atau beberapa kelas yang telah didefinisikan. Sebagai contoh, bank dapat menggunakan skema klasifikasi untuk menentukan pengajuan pinjaman yang akan disetujui. Teknik klasifikasi meliputi Naive Bayesian, neural networks, dan decision trees.

Regresi melibatkan model yang memetakan data contoh ke prediksi real-valued. Teknik regresi meliputi neural networks dan decision (atau regression) trees.

Discovery

Aplikasi discovery adalah pendekatan eksploratoris untuk analisis data. Aplikasi discovery menggunakan teknik yang menganalisis data set yang besar untuk menemukan association rules(atau pola), atau menemukan kluster dari sampel yang dapat dikelompokan. Hasil dari metode discovery umumnya dimaksudkan untuk pengguna. Walau begitu, hasilnya juga dapat diaplikasikan ke metode data mining yang lain

Deviation Detection

Deviation Detection melakukan deteksi anomali secara otomatis. Tujuannya untuk mengidentifikasi kebiasaan suatu entitas dan menetapkan sejumlah norm melalui pattern discovery. Sampel yang berdeviasi dari norm lalu diidentifikasi sebagai tidak biasa. teknik Deviation Detection melalui visualisasi melalui parallel coordinates, scatterplots, dan surface plots.

Klasifikasi Metode

Aplikasi

Aplikasi dari KDD dalam bisnis antara lain:

§ Market segmentation – Mengidentifikasi karakteristik umum dari pelanggan yang membeli produk yang sama dari perusahaan

§ Customer churn – Memprediksi pelanggan yang mungkin meninggalkan perusahaan untuk beralih ke kompetitor

§ Fraud detection – Mengidentifikasi transaksi yang mungkin merupakan transaksi curang.

§ Direct marketing – Memprediksi prospek yang harus dimasukkan dalam mailing-list untuk mendapatkan respon maksimum

§ Interactive marketing – Memprediksi hal-hal yang menarik bagi setiap individu yang mengakses website.

§ Market basket analysis – Memahami produk atau layanan yang biasanya dibeli bersamaan.

§ Trend analysis – Mengungkap perbedaan antara tipikal pelanggan bulan ini dan bulan lalu dan prediksi tipikal pelanggan bulan depan.

Sekian artikelku. Semoga berguna. Oh ya, kalo mau mbacem memanfaatkan artikel ini untuk tugas kuliah, tugas apa saja, tolong cantumkan sumbernya ya.

Referensi :

Introduction to Data Mining and Knowledge Discovery Third Edition
Penulis : Herbert A. Edelstein
Publisher : Two Crows Corporation (October 8, 1999)

Penulis : Kurt Thearling
Judul : An Introduction to Data Mining, Discovering hidden value in your data warehouse
http://www.thearling.com/text/dmwhite/dmwhite.htm

Publisher : Wikipedia Foundation
Judul : Data Mining
http://en.wikipedia.org/wiki/Data_mining

Publisher : ALG (Automated Learning Group), NCSA (National Center for Supercomputing Applications)
Judul : Data Mining
http://alg.ncsa.uiuc.edu/tools/docs/d2k/manual/dataMining.html

Penulis : Jiawei Han, Micheline Kamber
Judul : Data Mining: Concept and Techniques
Publisher : Academic Press Sand Diego, CA, 2001

Buku TA-ku yang belum jadi.

About dnial

You don't see anything You don't hear anything You don't know anything Move along and pretend nothing happen

Posted on 27 April, 2007, in IT, TA, writting. Bookmark the permalink. 20 Komentar.

  1. bener-bener mabuk…
    sukses deh, biar cepet jadi

  2. salam kenal saya dian
    saya ingin mengambil topik skripsi tentang data mining yang berkaitan dengan pemasaran produk telkom(telpon rumah/flexy)
    kira2 metode apa yang sebaiknya saya gunakan
    makasih

  3. @dee
    Banyak yang harus dipertimbangkan.

    Misalnya, tujuan risetnya apa, menentukan segmentasi pasarkah atau apa? trus data yang dipakai tipenya apa? sebaran datanya bagaimana? dll.

    Sebelum kita bisa menentukan metode yang akan dipakai dalam riset.

  4. minta bantuan,
    kami adalah asistant laboratorium data mining di FTI UII
    lab. kami akan mengadakan suatu project tentang data mining-market basket analysis. mengenai dasar teori, mungkin sudah mendapatkan gambaran. akan tetapi kami belum bisa mengetahui gambaran akan MBA in real field. mohon bantuan untuk memberikan arahan steps dari awal sampai akhir mengenai MBA tersebut. Software-open source apa yang dapat kami gunakan,

  5. saya mahasiswi semester akhir yang sedang mengambil ta dengan topik spk menggunakan data mining dengan klasifikasi (decision tree).
    saya merasa kesulitan karena kurangnya contoh2 aplikasi data mining dalam bidang yg saya ambil.
    kalau saudara punya contoh2 tersebut mohon kirimkan ke e-mail saya.
    thank’s.

  6. halo..lam kenal ya..hmm data mining ya?? kebetulan topik skripsi saya tentang data mining neh..lebih tepatnya spatial data mining. judulnya deteksi spatial trend desa miskin wilayah bogor..metode yang saya pakai trend detection. udah pernah denger belom?? jadi boleh dong tar aku tanya2..!! hehe..

  7. tooollong ya bos, mbok ya.o ditampilkan contoh aplikasi data mining dalam perusahaan biar lebih jelas, bersama metode apa yang digunakan..
    matur nuwun den..!!!!!

  8. TA ku jg tentang data mining. btw susah ga? kira2 untuk TA data mining bs slese dalam 5 bln g?

  9. nice writing….appreciated

  10. Menarik juga yach membahas ttg data mining.
    saya mo nanya neh : Apa bisa teknik data mining diterapkan juga di dlm sebuah
    Expert Systems ?, Kalo Bisa, kira2 gimana langkahnya ?

  11. Selamat pagi | siang | Sore | malam.
    Salam persahabatan.
    ada ngak sih yang mau bantu saya?????
    Saya lagi buat tugas akhir mengenai data mining untuk energi listrik.
    please,,, apapun itu, pasti jadi masukan buat saya,,,,ok
    Tkasih.

  12. energi listrik buka aja file saya aa kok isana kalo leh datang ke kos ku aja sender roy unimed

  13. saat ini say lagui coba menyusun tugas tentang aplikasi data mining untuk intrusion detection system.. dengan mempertimbangkan kemungkinan metode yang di gunakan yaitu MARS, decision tree, SVM atau NN (neural network) dan kajiannya rencananya akan dibandingkan dengan data yang ada di KDD cup.. saat ini masih bingung mo gunakan yang man?

  14. @all
    Just join milis indo-dm di indo-dm@yahoogroups.com.
    Dan anda bisa tanya2 ahlinya (bukan aku pastinya😀 )

  15. Ihsanuddin Azhar Lubis

    Salam Kenal Mas….

    Sy lg mengerjakan tugas akhir saya tentang klasifikasi dalam data mining menggunakan metode ACO dengan algoritma unordered rule sets ant-miner.

    Sy mw nanya kalo boleh tau guna rule dalam klasifikasi itu ap ya??dan apa jumlah rule yang dihasilkan dari data yg akan kita gunakan juga berpengaruh pada besar data yang digunakan??

    serta saya mw minta saran mengenai judul2 buku sebagai bahan referensi tentang data mining atau yang lebih spesifik lagi buku2 ttg klasifikasi dalam data mining.

    terima kasih Mas……

  16. bro hendrianto…

    gw mau nanya nih..referensi buku :
    Penulis : Jiawei Han, Micheline Kamber
    Judul : Data Mining: Concept and Techniques
    Publisher : Academic Press Sand Diego, CA, 2001

    Bro masih ada ga??? ada e-booknya?? gw butuh banget soalnya…butuh yang tahun terbitnya 2001…plis secepatnya balas ya bro…thx b4..

  17. mau tnya dong.. saya mau ambil skripsi data mining untuk penggajian karyawan di suatu perusahaan besar.. konsep awal apa ya ayang harus di pelajari.. saya masih tahap belajar data mining juga!! thx

  18. Mantap info gan,,Kapan2 lebih diperdalam materi Mining untuk implementasinya ya,,

Tinggalkan Balasan

Isikan data di bawah atau klik salah satu ikon untuk log in:

Logo WordPress.com

You are commenting using your WordPress.com account. Logout / Ubah )

Gambar Twitter

You are commenting using your Twitter account. Logout / Ubah )

Foto Facebook

You are commenting using your Facebook account. Logout / Ubah )

Foto Google+

You are commenting using your Google+ account. Logout / Ubah )

Connecting to %s

%d blogger menyukai ini: