Yang Akan Kamu Pelajari

Prasyarat & Kontinuitas

Sudah dipelajari di Sesi 1–5

• Pemahaman intuitif Neural Network & embedding.
• Keterbatasan RNN & kemunculan Transformer (Sesi 5.2).
• Environment Python, VS Code, & koneksi Gemini API dari Sesi 1.4.

✅ Tidak ada instalasi baru — pastikan environment & koneksi Gemini API masih aktif sebelum sesi.

Target yang Akan Kamu Capai

6.1 Evolusi Model NLP

Pendekatan NLP berkembang melalui beberapa generasi. Hari ini kita melengkapi peta evolusi yang sudah disinggung di Sesi 5.

Tag: Baru Recap dari 5.2 Recap dari 5.2

Generasi Paling Awal: Bag-of-Words

Pendekatan statistik sederhana yang merepresentasikan teks hanya berdasarkan kemunculan kata (frekuensi), tanpa memperhatikan urutan.

Kedua kalimat dianggap identik oleh Bag-of-Words, karena kata penyusunnya sama meski urutannya berbeda.

Keterbatasan Bag-of-Words

• Tidak memahami konteks & urutan — sering salah menangkap makna.
• Makna kalimat yang bergantung pada susunan kata menjadi hilang.
• Hanya melihat "ada kata apa", bukan "kata itu bermakna apa".

Generasi Berikutnya: RNN

RNN memproses teks kata demi kata secara berurutan sambil membawa informasi dari kata sebelumnya — jadi sudah bisa memperhitungkan urutan (berbeda dengan BoW).

RNN "Lupa" vs Transformer "Terlihat"

Perhatikan kalimat panjang yang merujuk ke kata di bagian awal:

"Anak yang kemarin diberi hadiah itu akhirnya ... kembali ke rumah setelah sekian lama."

Peta Evolusi Lengkap

Kini saatnya membedah mekanisme internal Transformer secara teknis.

Self-Attention Mechanism

Memungkinkan model menghitung tingkat relevansi antara setiap kata dengan seluruh kata lain dalam kalimat yang sama.

• Model "memutuskan" kata mana yang paling penting untuk diperhatikan saat memahami makna suatu kata.
• Menghasilkan attention score antar pasangan kata — skor tinggi = keterkaitan makna kuat.

Multi-Head Attention

Transformer tidak hanya menghitung satu jenis hubungan antar kata, melainkan beberapa "kepala perhatian" (heads) secara bersamaan.

Multi-head membuat Transformer memahami konteks kalimat secara lebih kaya.

Positional Encoding

Karena Transformer memproses seluruh kata secara paralel, model kehilangan informasi urutan asli kata-kata tersebut.

• Positional Encoding "menandai" posisi setiap kata dalam kalimat.
• Meski diproses paralel, model tetap tahu urutan yang sebenarnya.
• Mempertahankan keunggulan pemahaman urutan RNN, tanpa kelemahan pemrosesan berurutan yang lambat.

Encoder vs Decoder

Beberapa model populer memakai kombinasi berbeda: encoder-only (pemahaman teks) vs decoder-only / encoder-decoder (generative).

Visualisasi Self-Attention (Live)

Lihat bagaimana kata yang jauh tetap saling terhubung.

• Garis tebal menghubungkan kata yang relevan secara makna, meski posisinya tidak bersebelahan.
• Setiap kata "memperhatikan" kata lain dengan bobot berbeda.

Apa Itu Large Language Model?

Model deep learning berbasis arsitektur Transformer yang dilatih menggunakan dataset teks dalam skala sangat besar.

Kata "Large" merujuk pada skala parameter model & skala data yang dipakai untuk melatihnya.

Bagaimana LLM Dilatih?

• Dilatih menggunakan miliaran token dari berbagai sumber internet: artikel, buku, halaman web, kode, dan teks lain.
• Membutuhkan resource komputasi & finansial sangat besar.
• Menghubungkan ke Sesi 5.3: alasan AI Engineer tidak melatih model dari nol.

Contoh LLM Populer

Membaca Model Card di Hugging Face

Buka Hugging Face → pilih model populer (misal Llama atau Mistral).

Tiga Keterbatasan Utama LLM

Training vs Inference

Sebagai AI Engineer, umumnya kamu akan lebih sering berada di sisi inference — namun training/fine-tuning juga bisa dilakukan.

Tokenization

LLM tidak memproses teks langsung — harus dipecah menjadi token dulu. "Lihat dulu, baru coding."

Kalimat dipecah menjadi unit-unit kecil (token) — bisa berupa kata utuh, sebagian kata, atau tanda baca.

Tiga Parameter Utama

Live Coding: Memanggil Gemini API

import google.generativeai as genai

genai.configure(api_key="PASTE_API_KEY")
model = genai.GenerativeModel("gemini-1.5-flash")

# Prompt fix yang sudah disiapkan & diuji sebelumnya
prompt = "Selesaikan cerita pendek ini: ..."

response = model.generate_content(
    prompt,
    generation_config={
        "temperature": 0.2,      # rendah → konsisten
        "max_output_tokens": 200,
        "top_p": 0.9,
    },
)
print(response.text)

Eksperimen Temperature

Jalankan prompt fix yang sama dengan nilai temperature berbeda:

Rendah = butuh konsistensi (ekstraksi data terstruktur). Tinggi = butuh kreativitas (brainstorming, penulisan kreatif).

Recap

Perjalanan yang kamu pelajari:

Memahami arsitektur = mampu memakai & mengontrol LLM dengan bijak.

Langkah Selanjutnya

• Bandingkan Bag-of-Words vs embedding secara teknis di Sesi 7.
• Pelajari fine-tuning & prompt engineering lebih dalam.
• Eksplorasi Model Card berbagai model di Hugging Face.
• Bangun aplikasi yang memanfaatkan API LLM.

Fondasi kuat membuka banyak peluang di AI Engineering.