Context Window: Kenapa AI Tidak Bisa Mengingat Semua Informasi?

Apa Itu Context Window?

Context window adalah kapasitas informasi yang dapat diproses dan dijadikan konteks oleh model AI dalam satu permintaan atau rangkaian percakapan. Kapasitas ini biasanya diukur menggunakan satuan yang disebut token.

Informasi yang masuk ke dalam context window tidak hanya berupa pertanyaan pengguna. Ada beberapa komponen lain yang ikut menggunakan kapasitas tersebut, seperti:

• Instruksi sistem yang mengatur cara AI merespons.
• Pesan pengguna dan riwayat percakapan sebelumnya.
• Dokumen, teks, atau informasi tambahan yang diberikan kepada AI.
• Hasil pencarian dan respons dari tools yang digunakan AI.

Sebagian atau seluruh token yang digunakan untuk menghasilkan jawaban, bergantung pada arsitektur model.

Bagaimana Cara Kerja Context Window?

Secara sederhana, prosesnya bisa dibagi menjadi beberapa tahap berikut.

1. AI Menerima Input

Pertama, AI menerima instruksi dan informasi dari pengguna. Input tersebut bisa berupa pertanyaan singkat, percakapan sebelumnya, dokumen, atau kombinasi berbagai jenis data.

2. Informasi Diubah Menjadi Token

Sebelum diproses oleh model bahasa, teks dipecah menjadi unit-unit yang disebut token. Token bisa berupa kata, potongan kata, tanda baca, atau unit teks lainnya.

Jumlah token yang digunakan bergantung pada bahasa, struktur teks, dan tokenizer yang dipakai model.

Semakin panjang dokumen yang diberikan, umumnya semakin banyak token yang dibutuhkan untuk memuatnya ke dalam context window.

3. Model Memproses Informasi

Setelah input disusun, model memproses informasi yang tersedia untuk memahami hubungan antara instruksi, pertanyaan, dan data yang diberikan.

Pada tahap ini, model menggunakan konteks yang tersedia untuk menghasilkan jawaban yang sesuai.

4. AI Menghasilkan Jawaban

Model kemudian menghasilkan respons berdasarkan konteks yang tersedia. Token yang digunakan untuk membuat jawaban juga dapat menggunakan sebagian kapasitas context window, tergantung pada model dan sistem yang digunakan.

5. Konteks Dikelola Saat Percakapan Berlanjut

Dalam percakapan panjang, jumlah informasi yang perlu dipertahankan bisa terus bertambah.

Sistem dapat menggunakan berbagai strategi, seperti merangkum percakapan lama, menghapus hasil tool yang sudah tidak diperlukan, atau mengambil kembali informasi yang relevan dari penyimpanan eksternal.

Kenapa Context Window Penting untuk AI Agent?

Context window menjadi semakin penting ketika AI digunakan sebagai AI Agent, yaitu sistem AI yang dapat menjalankan tugas melalui beberapa langkah, menggunakan tools, dan berinteraksi dengan sumber informasi untuk mencapai tujuan tertentu.

Berbeda dengan chatbot yang hanya menjawab satu pertanyaan, AI Agent bisa menjalankan proses yang lebih panjang. Misalnya, mencari informasi, menganalisis data, menyusun laporan, lalu memeriksa kembali hasil pekerjaannya.

Dalam proses tersebut, AI Agent membutuhkan konteks yang cukup agar setiap langkah tetap terhubung dengan tujuan awal.

Apakah Context Window yang Lebih Besar Selalu Lebih Baik?

Tidak selalu. Context window yang lebih besar memang memungkinkan AI memproses lebih banyak informasi sekaligus, tetapi bukan berarti hasilnya otomatis lebih akurat atau lebih relevan.

Ada beberapa hal yang perlu dipertimbangkan. Dokumen yang sangat panjang belum tentu semuanya dibutuhkan untuk menjawab satu pertanyaan. Jika AI harus memproses terlalu banyak informasi yang tidak relevan, detail penting justru bisa lebih sulit ditemukan.

Apa Hubungan Token AI dan Context Window?

Token dan context window memiliki hubungan yang sangat erat. Jika context window adalah kapasitas ruang kerja AI, token adalah satuan yang digunakan untuk mengukur seberapa banyak informasi yang mengisi ruang tersebut.

Misalnya, model dengan context window 100.000 token tidak berarti bisa menerima 100.000 token input lalu menghasilkan jawaban sepanjang apa pun. Sebagian kapasitas mungkin perlu dialokasikan untuk output dan komponen lain.

Karena itu, saat memanfaatkan AI untuk mengolah dokumen panjang, penting untuk memperhatikan jumlah token keseluruhan, bukan hanya panjang pertanyaan yang diketik.

Perbandingan Context Window LLM Terkenal

Setiap Large Language Model (LLM) memiliki kapasitas context window yang berbeda. Perbedaan ini dapat memengaruhi jenis tugas yang bisa ditangani dalam satu permintaan.

Berikut gambaran perbandingan beberapa model yang dikenal luas. 

Sebagai gambaran, context window sebesar 1 juta token memungkinkan model memproses kumpulan informasi yang jauh lebih besar dibandingkan model dengan kapasitas 200.000 token, selama batas input, output, dan ketentuan penggunaan model terpenuhi.

Namun, angka context window tidak bisa dijadikan satu-satunya dasar untuk membandingkan kemampuan model. Kualitas penalaran, akurasi, kecepatan, biaya, dan kemampuan memahami informasi juga perlu diperhatikan.

Perlu diingat bahwa spesifikasi model dapat berubah seiring pembaruan teknologi. Kapasitas yang tersedia juga bisa berbeda antara penggunaan API dan aplikasi chatbot, serta bergantung pada paket atau konfigurasi yang dipilih.

Apa yang Terjadi Saat Context Window Mencapai Limit?

Ketika context window mencapai batas kapasitasnya, AI tidak bisa terus memasukkan informasi baru tanpa melakukan penyesuaian. Cara sistem menangani kondisi ini bergantung pada model dan aplikasi yang digunakan.

Ada beberapa kemungkinan yang bisa terjadi.

1. AI Menolak Memproses Permintaan

Jika jumlah token input melebihi batas yang diizinkan, sistem dapat menolak permintaan tersebut.

Contohnya, kamu mengunggah dokumen yang terlalu besar untuk diproses sekaligus. AI mungkin meminta kamu mengurangi ukuran dokumen atau membaginya menjadi beberapa bagian.

2. Informasi Lama Dirangkum

Sebagian sistem menggunakan teknik context compaction, yaitu merangkum percakapan atau informasi lama agar tersedia ruang untuk informasi baru.

Misalnya, percakapan panjang tentang proyek website dapat dirangkum menjadi beberapa poin penting, seperti tujuan proyek, keputusan desain, dan pekerjaan yang belum selesai.

Dengan begitu, AI tetap memiliki gambaran umum proyek tanpa harus mempertahankan seluruh percakapan secara utuh.

3. Informasi Lama Dikeluarkan dari Konteks

Sistem tertentu dapat menghapus sebagian informasi lama untuk memberi ruang bagi informasi baru.

Akibatnya, AI mungkin tidak lagi memiliki akses langsung ke instruksi atau detail yang pernah dibahas sebelumnya.

Hal ini dapat membuat AI terlihat seperti lupa, padahal informasi tersebut hanya tidak lagi tersedia dalam konteks yang sedang digunakan.

4. Jawaban Menjadi Kurang Lengkap

Ketika informasi penting tidak tersedia atau tidak berhasil digunakan dengan tepat, AI bisa memberikan jawaban yang kurang lengkap, melewatkan detail, atau kehilangan hubungan antara beberapa bagian informasi.

Bagaimana Cara Mengelola Context Window agar AI Lebih Efisien?

Mengelola context window dengan baik dapat membantu AI bekerja lebih terarah, terutama untuk tugas yang melibatkan banyak dokumen atau percakapan panjang.

Berikut beberapa cara yang bisa diterapkan.

1. Berikan Instruksi yang Jelas dan Ringkas

Instruksi yang jelas membantu AI memahami tujuan pekerjaan tanpa harus memproses terlalu banyak informasi yang tidak dibutuhkan.

Contohnya, daripada menulis:

"Tolong baca semua dokumen ini dan lakukan analisis secara menyeluruh."

Kamu bisa memberikan instruksi yang lebih spesifik:

"Tolong identifikasi tiga faktor utama yang memengaruhi penurunan penjualan berdasarkan laporan berikut. Sertakan data pendukung dan periode waktunya."

Instruksi yang terarah membantu AI memusatkan perhatian pada informasi yang relevan.

2. Pecah Dokumen Panjang Menjadi Beberapa Bagian

Jika dokumen terlalu besar, kamu bisa membaginya menjadi beberapa bagian yang lebih mudah diproses.

Misalnya, laporan tahunan dibagi menjadi bagian keuangan, pemasaran, operasional, dan sumber daya manusia.

Setiap bagian dianalisis terlebih dahulu, kemudian hasilnya digabungkan menjadi ringkasan utama.

Cara ini membantu mengurangi kebutuhan memasukkan seluruh dokumen sekaligus, meskipun tetap perlu menjaga hubungan antarbagiannya.

3. Gunakan Ringkasan untuk Menjaga Konteks

Untuk proyek yang berlangsung lama, buat ringkasan berisi informasi penting yang perlu dipertahankan.

Ringkasan tersebut bisa digunakan kembali ketika memulai sesi baru atau ketika konteks percakapan sudah terlalu panjang.

4. Manfaatkan Retrieval-Augmented Generation (RAG)

Retrieval-Augmented Generation atau RAG adalah pendekatan yang memungkinkan sistem mengambil informasi relevan dari sumber eksternal sebelum menghasilkan jawaban.

Alih-alih memasukkan seluruh dokumen ke dalam context window, sistem mencari bagian yang paling berkaitan dengan pertanyaan pengguna.

5. Hapus Informasi yang Tidak Lagi Dibutuhkan

Dalam AI Agent, hasil pencarian, respons tools, dan catatan sementara dapat menumpuk.

Karena itu, sistem perlu mengelola informasi tersebut secara berkala. Hasil pencarian yang sudah tidak relevan bisa dikeluarkan dari konteks, sedangkan informasi penting tetap dipertahankan.

6. Gunakan Model Sesuai Kebutuhan

Tidak semua pekerjaan membutuhkan context window yang sangat besar.

Untuk pertanyaan sederhana, model dengan kapasitas lebih kecil mungkin sudah memadai. Sebaliknya, analisis dokumen panjang atau tugas AI Agent yang kompleks mungkin membutuhkan kapasitas konteks lebih besar.

Siapkan Website untuk Era AI Bersama Whello!

Perkembangan AI mengubah cara orang mencari informasi, menemukan produk, dan berinteraksi dengan bisnis. Website kini tidak hanya berfungsi sebagai tempat menampilkan informasi perusahaan, tetapi juga jadi salah satu sumber informasi setiap orang.

Namun, website yang siap menghadapi perkembangan teknologi AI bukan sekadar website yang terlihat menarik. Jasa pembuatan website Whello dapat membantu bisnis membangun website yang sesuai dengan kebutuhan tersebut.

Melalui proses pembuatan website yang memperhatikan desain, struktur halaman, performa, dan pengalaman pengguna, bisnis dapat memiliki fondasi digital yang lebih terarah untuk mendukung aktivitas pemasaran dan perkembangan teknologi AI.

Ingin membangun website yang modern dan siap berkembang mengikuti perubahan teknologi? Gunakan jasa pembuatan website Whello disertai jasa SEO untuk membantu bisnis memiliki website yang tidak hanya menarik secara visual, tetapi juga bisa meraih peringkat 1 Google!