๐ข 1. Pengantar Text Mining dan Web Mining
8
๐ Apa Itu Text Mining?
Text Mining adalah proses menggali informasi, pola, dan pengetahuan dari data berbentuk teks menggunakan teknik Data Mining, Natural Language Processing (NLP), dan Machine Learning.
๐ Apa Itu Web Mining?
Web Mining adalah proses ุงุณุชุฎุฑุงุฌ (penggalian) data dan informasi dari web atau internet untuk menemukan pola, tren, dan pengetahuan yang berguna.
๐ Perbedaan Text Mining dan Web Mining
| Text Mining | Web Mining |
|---|---|
| Fokus pada teks | Fokus pada data web |
| Analisis dokumen | Analisis aktivitas internet |
| NLP | Web analytics |
๐ฏ Tujuan Text Mining dan Web Mining
<div style=”background:#eff6ff;padding:20px;border-radius:12px;border-left:5px solid #2563eb;”>
Tujuan Utama:
- Menemukan informasi penting
- Menganalisis opini pengguna
- Menggali pola perilaku pengguna internet
- Mendukung pengambilan keputusan
- Membantu sistem rekomendasi
</div>
๐ข 2. Konsep Dasar Text Mining
7
๐ Workflow Text Mining
Text Data
โ
Preprocessing
โ
Feature Extraction
โ
Mining Process
โ
Knowledge Discovery
๐ Penjelasan
| Tahapan | Fungsi |
|---|---|
| Text Data | Sumber teks |
| Preprocessing | Membersihkan teks |
| Feature Extraction | Mengubah teks menjadi data |
| Mining | Analisis pola |
| Knowledge | Informasi baru |
๐ข 3. Sumber Data Text Mining
8
๐ Sumber Data Teks
| Sumber | Contoh |
|---|---|
| Media Sosial | Twitter, Facebook |
| Website | Artikel berita |
| E-Commerce | Review produk |
| Analisis spam | |
| Dokumen | PDF, Word |
๐ข Contoh Penerapan
- Analisis sentimen Twitter
- Deteksi spam email
- Analisis review pelanggan
๐ข 4. Tahapan Text Preprocessing
7
๐ Pengertian
Text preprocessing adalah proses membersihkan dan menyiapkan teks sebelum dianalisis.
๐ Tahapan Preprocessing
| Tahapan | Penjelasan |
|---|---|
| Case Folding | Huruf kecil semua |
| Tokenization | Memecah kata |
| Stopword Removal | Menghapus kata umum |
| Stemming | Mengubah ke kata dasar |
๐ข Contoh
Kalimat:
"Saya Sedang Belajar Data Mining"
๐ Case Folding
Hasil:
"saya sedang belajar data mining"
๐ Tokenization
Hasil:
["saya","sedang","belajar","data","mining"]
๐ Stopword Removal
Hasil:
["belajar","data","mining"]
๐ข 5. Feature Extraction
6
๐ Pengertian
Feature Extraction mengubah teks menjadi bentuk numerik agar dapat diproses komputer.
๐ข Teknik Feature Extraction
| Teknik | Penjelasan |
|---|---|
| Bag of Words | Frekuensi kata |
| TF-IDF | Bobot kata |
| Word Embedding | Representasi vektor |
๐ข Bag of Words
Menghitung jumlah kemunculan kata.
๐ Contoh Bag of Words
| Kata | Frekuensi |
|---|---|
| Data | 5 |
| Mining | 3 |
| Analisis | 2 |
๐ข TF-IDF
๐ Pengertian
TF-IDF digunakan untuk mengukur pentingnya suatu kata.
๐ Rumus TF-IDF
TF-IDF=TFรIDF
๐ข 6. Text Classification
6
๐ Pengertian
Text Classification digunakan untuk mengelompokkan teks ke kategori tertentu.
๐ Contoh
| Teks | Kategori |
|---|---|
| Promo diskon besar | Spam |
| Jadwal kuliah | Non-Spam |
๐ข Algoritma Text Classification
| Algoritma | Fungsi |
|---|---|
| Naive Bayes | Klasifikasi teks |
| SVM | Analisis teks |
| Decision Tree | Prediksi kategori |
๐ข 7. Sentiment Analysis
7
๐ Pengertian
Sentiment Analysis digunakan untuk mengetahui opini atau sentimen pengguna.
๐ Jenis Sentimen
| Sentimen | Contoh |
|---|---|
| Positif | Produk bagus |
| Negatif | Pelayanan buruk |
| Netral | Produk tersedia |
๐ข Contoh Penerapan
- Analisis review Shopee
- Analisis komentar YouTube
- Analisis opini publik
๐ข 8. Topic Modeling
8
๐ Pengertian
Topic Modeling digunakan untuk menemukan topik utama dalam kumpulan dokumen.
๐ข Algoritma Topic Modeling
| Algoritma | Penjelasan |
|---|---|
| LDA | Latent Dirichlet Allocation |
| NMF | Non-negative Matrix Factorization |
๐ Contoh
Kumpulan berita:
- politik,
- olahraga,
- ekonomi,
- teknologi.
๐ข 9. Pengantar Web Mining
6
๐ Pengertian
Web Mining adalah proses analisis data dari internet dan website.
๐ Sumber Data Web
| Sumber | Contoh |
|---|---|
| Website | Artikel |
| Log Server | Aktivitas pengguna |
| Media Sosial | Interaksi pengguna |
| E-Commerce | Data transaksi |
๐ข 10. Jenis Web Mining
6
๐ Jenis Web Mining
| Jenis | Penjelasan |
|---|---|
| Web Content Mining | Analisis isi web |
| Web Structure Mining | Analisis struktur link |
| Web Usage Mining | Analisis aktivitas pengguna |
๐ข Web Content Mining
Menganalisis:
- teks,
- gambar,
- video,
- dokumen website.
๐ข Web Structure Mining
Menganalisis hubungan hyperlink antar halaman.
๐ข Web Usage Mining
Menganalisis perilaku pengguna website.
๐ข 11. Web Crawling dan Scraping
7
๐ Web Crawling
Crawler menjelajahi halaman web otomatis.
๐ข Web Scraping
Mengambil data dari website secara otomatis.
๐ Workflow Web Scraping
Website
โ
Crawler/Scraper
โ
Data Extraction
โ
Database
๐ข Contoh Penerapan
- Harga produk e-commerce
- Data berita online
- Analisis media sosial
๐ข 12. Search Engine dan Web Mining
7
๐ Hubungan dengan Search Engine
Search engine menggunakan:
- crawling,
- indexing,
- ranking,
- dan web mining.
๐ Tahapan Search Engine
| Tahapan | Fungsi |
|---|---|
| Crawling | Menjelajahi web |
| Indexing | Menyimpan data |
| Ranking | Menentukan hasil pencarian |
๐ข 13. Tutorial Text Mining Menggunakan Python
8
๐ฅ Langkah 1 โ Import Library
import pandas as pd
๐ Langkah 2 โ Import NLP Library
from sklearn.feature_extraction.text import TfidfVectorizer
๐ Langkah 3 โ Dataset Teks
text = ["data mining sangat menarik"]
โ๏ธ Langkah 4 โ TF-IDF
vectorizer = TfidfVectorizer()
๐ Langkah 5 โ Transformasi
X = vectorizer.fit_transform(text)
๐ข 14. Tutorial Web Scraping Menggunakan Python
7
๐ฅ Langkah 1 โ Install Library
pip install beautifulsoup4
๐ Langkah 2 โ Import Library
from bs4 import BeautifulSoup
๐ Langkah 3 โ Membaca HTML
soup = BeautifulSoup(html, 'html.parser')
๐ Langkah 4 โ Mengambil Judul
title = soup.title.text
๐ข 15. Studi Kasus
7
๐ Kasus Analisis Review Produk
Dataset:
- Review Shopee
- Komentar pelanggan
๐ Tujuan
Mengetahui:
- kepuasan pelanggan,
- sentimen positif,
- dan kritik pelanggan.
๐ Hasil
| Sentimen | Persentase |
|---|---|
| Positif | 70% |
| Negatif | 20% |
| Netral | 10% |
๐ข Insight
Perusahaan dapat meningkatkan kualitas layanan berdasarkan analisis review.
๐ข 16. Tantangan Text Mining dan Web Mining
7
| Tantangan | Penjelasan |
|---|---|
| Big Data | Volume besar |
| Bahasa ambigu | Makna ganda |
| Noise data | Data tidak relevan |
| Spam | Data palsu |
| Privasi | Keamanan data |
๐ข 17. Kesimpulan
5 <div style=”background:#111827;color:white;padding:25px;border-radius:14px;”>
โจ Ringkasan Materi
Text Mining dan Web Mining merupakan cabang penting dalam Data Mining untuk menggali informasi dari teks dan internet.
Teknologi utama:
- NLP
- Machine Learning
- Web Scraping
- Sentiment Analysis
- Topic Modeling
Penerapannya sangat luas pada:
- media sosial,
- e-commerce,
- search engine,
- pendidikan,
- dan Artificial Intelligence modern.
</div>