Natural Language Processing (NLP)


1. πŸ“Œ Pengertian NLP

https://images.openai.com/static-rsc-4/zxOEuVKxbheAv3Qj0-79bWQraeFawlBgLnRE1fSmH-Zny0ie6vIwW_JbNxD6NWUX0HYAnPYOMLOdn39HCffe9aleq6qCy-4P_vtKownAtSkoH7io_yqAG-n-t8IaQXgY2MIIBWS7jw3Wk31bHGs9bCC68rGLfS8DX0-3gSQuoScg8J1jFnniTP9ALEvZU1HG?purpose=fullsize
https://images.openai.com/static-rsc-4/9Igsajxc-dJB261VQ8x1hqx8i5PGAhs9kL6Yx5JQ8gJSm9cYme5Au9c5dyjQ5ayed7pbxrFgRBvPc0Ha3RIcmeFrMzJdeL1TVgG4saGkw-npCkB0xPGciqY0GZgE_KQFk44QjKLCuy5YZ6C5XxPaklzuxBYyRcOSN45PcrzeZRa4IXCrINdtlwQpD6goB0cg?purpose=fullsize
https://images.openai.com/static-rsc-4/gZb8mp5Q4H3yHsRSk6LnPVtcvzQinshPhjOxYAYsMaEUzX3SPLIkv3b9jy2LA9IM-XUcXMjnG4z3mPZQwcllTYmLtvuCkBT61LkF23Xt8XqbQAngdyVftBsOl2AA9S_O4sxkn7iZLNsxPDWzgEqhpneaNg4N5-__8juboWucVVTjJH4rt_u3ldAJd_vaHa17?purpose=fullsize

7

πŸ”Ž Definisi

Natural Language Processing (NLP) adalah cabang AI yang mempelajari bagaimana komputer dapat memahami, mengolah, dan menghasilkan bahasa manusia (teks maupun suara).

πŸ“– Narasi

NLP memungkinkan komputer:

  • Berkomunikasi dengan manusia
  • Memahami teks dan suara
  • Menghasilkan bahasa alami

Contoh:

  • Chatbot
  • Google Translate
  • Voice assistant

2. 🧠 Tujuan NLP

πŸ“Š Tujuan Utama

TujuanPenjelasan
UnderstandingMemahami makna bahasa
GenerationMenghasilkan teks
TranslationMenerjemahkan bahasa
InteractionInteraksi manusia-komputer

πŸ“– Narasi

NLP berusaha menjembatani komunikasi antara manusia dan mesin.


3. πŸ”„ Tahapan NLP

https://images.openai.com/static-rsc-4/hxO_2ItKm2d52kXarF2V10LymLWCSyPtjaV3euJAXGZRB-8mbJ1PPF-g5vcpRYy7DVupM4rokKwlnWmuNGzQ7C0Jjyg8WaYaK0ya58FnfPjzyicoFVrBHuGbnon-9tszkgIRPpTmP-Jc5BV-UKdQwGz5ls1_9iItsKrCUEteJlXfXkseqMErN6TBfwle3KGB?purpose=fullsize
https://images.openai.com/static-rsc-4/kcNUZSu2vdNgU81Ij9ohidvXg8X6Zi5ZIVkevx7fzQdv7O4lwo3SX0k-Cke34buwRb1K1wE-Xui_puSOD4Ti8tgZ-gHhgI9lQkpbtwlx1vOWajy3L79QeIFyHOpf7MJDVOZRioh45NQtcS7IktBe5ALKPGs6chzc1fxvjQubDF6l5XsILLNCmQDDymVsE9Jf?purpose=fullsize
https://images.openai.com/static-rsc-4/ngEY0pofSpEPwK8sgmMl_aI-mz8CjMV-D_Y7Oy9S4VG9oFBGURFMBt_fT6iq7Pwp5tyJoK2cSob_H5Xk045Pg9iEU6LEcqc7ANghUwz30SUHVmcj5-TXBbeaYg8usK0kJG0wnb-yMKbBBhp4umwRt64iMpRLYUguQW3qeDjDZALuV1sNpPnMqBjINvA6BrlI?purpose=fullsize

7

πŸ“Œ Tahapan

  1. Text Preprocessing
  2. Tokenization
  3. Stopword Removal
  4. Stemming/Lemmatization
  5. Feature Extraction
  6. Modeling

πŸ“– Penjelasan

  • Preprocessing membersihkan teks
  • Tokenization memecah kata
  • Modeling menghasilkan output

4. πŸ”€ Text Preprocessing

πŸ“Š Teknik

TeknikPenjelasan
LowercasingHuruf kecil semua
CleaningHapus tanda baca
NormalizationStandarisasi teks

πŸ“– Narasi

Preprocessing penting untuk meningkatkan kualitas data.


5. πŸ”  Tokenization

https://images.openai.com/static-rsc-4/9eEQCcGY1ImgNpgY2-coLv4S9imppEt1uNm9BXRHMMrvP7woj2_a41NRozLb2PvUndP7SnbNb9RXf_P_QXkErBaTAtVVx3qwCaUvYdS0P12HMIVNR0AlO1UKPqXXy8Al6_dup89wzh4vVt2LYKMl36bGf3axt8OHiNs8VJejVEc1WWXNQKbxhilVoEYsGrxV?purpose=fullsize
https://images.openai.com/static-rsc-4/nUqdHJie_5Pfa_P_VFyPz7G-n4U59IC0GcpekTUUtREmgA4Qqg8MgiHIXduWzsyC1xRoHwCtTj8LTzZkkduarXslAq5NuDSa_xpMz3dtkujKxR1BArDaHY2V_HbET-5-mPWDtG4o1tZdM3uLqlsdFORBk_P_JG5JAPD88NwlN8VfhGIUWUSl4iiOPHHTFUJt?purpose=fullsize
https://images.openai.com/static-rsc-4/nf6JNX4TNUFLtjN2iqsIG3B4idZjMg83pRtAt_IDLCzbAB42aU_UEUTopDayD43WqO2v2svMVFTRGLURpp7XOj7fMcv25YGqY-SoV7Xg_4MTgC6aabzYHBvW4NmZzBJx8cHAyPkHMweQnqZw_rWJjOT1ayCZ_doLNg-ovNiJqVcLFQ3X1lHycMa95yaTdMbO?purpose=fullsize

7

πŸ”Ž Konsep

Memecah teks menjadi unit kecil (kata/kalimat).

πŸ“– Contoh

β€œSaya belajar AI” β†’ [Saya, belajar, AI]


6. 🚫 Stopword Removal

πŸ“Š Contoh Stopword

  • dan
  • yang
  • di

πŸ“– Narasi

Stopword dihapus karena tidak memiliki makna penting.


7. 🌱 Stemming dan Lemmatization

https://images.openai.com/static-rsc-4/9Igsajxc-dJB261VQ8x1hqx8i5PGAhs9kL6Yx5JQ8gJSm9cYme5Au9c5dyjQ5ayed7pbxrFgRBvPc0Ha3RIcmeFrMzJdeL1TVgG4saGkw-npCkB0xPGciqY0GZgE_KQFk44QjKLCuy5YZ6C5XxPaklzuxBYyRcOSN45PcrzeZRa4IXCrINdtlwQpD6goB0cg?purpose=fullsize
https://images.openai.com/static-rsc-4/QL69EnGGSFjaMWKOiBGMwI9M8NnSnB7U2Nis1fpc2REg0rzW2XL1lsXe5UsyW6h91qbyb5axj4uWkrOQv9CVtqSrnim9XuXEt_rO_Nl_9yRMn01TB-Qkk4-2xsyIOXLpfw__tsNPNCghqkhnRBEvBVg24it6Hd_2KkZrUUfGljKMwwofoKnvX0kj60GZTdgB?purpose=fullsize
https://images.openai.com/static-rsc-4/Xil_V2iIfUgSmSWx7U_bne5QmRHuUJeljT4Id32WGKO7CFQic35ZNS2oIaTN566UMp-Sq2i-m6S6GoIOdaxSkDqi8gqrISJiUT8BAnHUyKEFKWszzTee7fIBF6zBemykE9U9KMfLS5ZUXvUvKqKP7DK0gyXwremPByWtU5RCzMOJ8XemUxpwG93cdml8Rzhp?purpose=fullsize

8

πŸ“Š Perbandingan

MetodeContoh
Stemmingβ€œberlari” β†’ β€œlari”
Lemmatizationβ€œbetter” β†’ β€œgood”

πŸ“– Narasi

Keduanya digunakan untuk menyederhanakan kata.


8. πŸ“Š Representasi Teks

πŸ“Š Metode

MetodePenjelasan
Bag of WordsHitung frekuensi kata
TF-IDFBobot kata
Word EmbeddingRepresentasi vektor

πŸ“– Narasi

Teks harus diubah menjadi angka agar bisa diproses oleh mesin.


9. πŸ€– Model NLP

https://images.openai.com/static-rsc-4/WlDhNJpoyYARRRgZm98Qrbqi1drBoJZe9O1ismQBIRPmfgCdy_Ofav9sQ7iYGAIsqknMzts-h1_H5VFVTTwxJmvs4nzDlPcyO_8KPFVoRwoXcyXh6Mv7MHYBVOKPTQNFS-rTxi4P2LiMpONffIRfLepF7XQBXXByDFwIPfP2KQW9bp2SgYGOznJ8CY0bodue?purpose=fullsize
https://images.openai.com/static-rsc-4/gcI7mPKexLaSHOzcBGhZpCwZpMYLedpUzfHBP8SKOxJIr2fgwf1giUHz2tNYfyquV7a9zfh0vfyR5e11b_s0U7_-Gu8bLJpPxo9bU32SnCJhGsvSUcNihG62YzfIyzno7rg97iuuHXaQ9MJZJCZWGw90dCRDK759Qq9AQ3PeI9k8ZYFbKrsUISp_NdRHO82S?purpose=fullsize
https://images.openai.com/static-rsc-4/xAJ9BKXCd2NS_fC4fblderWuOQmgC0oKSwk1qyNRuZzEEL9MNxrD3JBuvOpAMVP8Fd2PAvfYYWVuyk7fa38n9md7sKLpfA7c_J1La1f4GOSYdGfopwrxO1Z2cxg302g9tu66S0xoZmpGGcz3joO9o6UDecxuSWjr5KmcdvoUSoaol8VM-FVL2WUNQb5VtHDR?purpose=fullsize

8

πŸ“Š Model

ModelFungsi
Naive BayesKlasifikasi teks
RNNData berurutan
TransformerNLP modern

10. πŸ’‘ Aplikasi NLP

https://images.openai.com/static-rsc-4/9GC-4_yGh4s7dntKQjhLKMDgtFNKQ_vmHzFoHKpHyOZzwiMSc5rsQZJzSvyrfbIUGgEAqifpuk6wCd-uu6lHW1aivAwZsfvpz2VCctGyjbChs73gKlyVAq-y9m61FCh4HiV3RBU1W7EqZHA-NFp8hflofp30Dyqh8Ct67q2B962JTCp7ffG1_aGGYBJ0nueY?purpose=fullsize
https://images.openai.com/static-rsc-4/F5TX027Nns3GCFHRmy_JEB_MMtzzDjjRg_tI2TjSQ5iaVy4prnVRK3npH3M-36H1ryrlAPXtcuGBEw_FGISq-jlaTJzm2DupF8asTOLnZtHIEPZJ0FE7fYFgcVBX0eDh3-NqiNp59DmN-uln7I4dsI279dZqYCQe9fJXJCp4TSH20My2JY36HC8JiwxgHKIU?purpose=fullsize
https://images.openai.com/static-rsc-4/9g2HWWCBw1bAkvc1PZYww0nQEj9i0Wf1v0PAfaFH-5s7wSzN3J-MK0HSbljhS4jKNPAU2amZ3CnblxzPU-qIcfB2xu6YGqsF-KRK9HBMjiZkFAlOwis4zW91bACDSRXhZsWFhq31ge-ewchEVXxWnA5v5uEq9bEt3vLjef_S-CMN9NKV40XyreewdOMM_woc?purpose=fullsize

6

πŸ“Š Contoh Aplikasi

AplikasiFungsi
ChatbotInteraksi otomatis
Sentiment AnalysisAnalisis opini
Machine TranslationTerjemahan
Speech RecognitionPengenalan suara

11. ⚠️ Tantangan NLP

πŸ” Permasalahan

  • Ambiguitas bahasa
  • Bahasa informal
  • Konteks kalimat
  • Multibahasa

12. 🎯 Kesimpulan

  • NLP memungkinkan komputer memahami bahasa manusia
  • Terdiri dari berbagai tahap pemrosesan
  • Digunakan dalam banyak aplikasi modern
  • Tantangan utama adalah kompleksitas bahasa

πŸ“š Aktivitas Pembelajaran

  • Latihan: Preprocessing teks sederhana
  • Diskusi: β€œMengapa bahasa sulit dipahami mesin?”
  • Praktikum: Sentiment analysis Python