Pada tingkat tinggi, ChatGPT adalah model pembelajaran mendalam yang menggunakan jaringan saraf untuk menghasilkan teks seperti manusia. Versi spesifik dari model ini, ChatGPT-3, didasarkan pada teknik yang disebut arsitektur transformator. Jenis arsitektur ini memungkinkan model untuk mengenali pola dan struktur dalam bahasa. Ini dilakukan dengan memproses urutan token dan menghasilkan urutan keluaran.
Model ini mengambil kumpulan data teks yang sangat besar, termasuk buku, artikel, situs web, dan banyak lagi. Selama proses pelatihan, model ini mengambil jutaan contoh teks dan diminta untuk memprediksi kata berikutnya dalam setiap urutan.
Cara berinteraksi dengan ChatGPT adalah dengan memberikan perintah atau pertanyaan. Kemudian, model menghasilkan respons berdasarkan pola yang telah dipelajari dari data pelatihan. Hasilnya adalah alat pemrosesan bahasa alami (NLP) yang sangat cerdas.
Apa yang dimaksud dengan GPT (Transformator Pra-terlatih Generatif)?
“Generatif” dalam GPT menunjukkan kemampuannya untuk menghasilkan teks bahasa manusia yang alami. “Pra-terlatih” menunjukkan fakta bahwa model telah dilatih pada beberapa set data yang terbatas. “Transformer”, di sisi lain, mewakili arsitektur pembelajaran mesin yang mendasari yang mendukung GPT.
Apa Alasan Menggunakan ChatGPT?
Sebagai model bahasa yang dilatih oleh OpenAI , ChatGPT memiliki kemampuan yang luas dan dapat melakukan banyak tugas yang berbeda. Berikut adalah beberapa hal yang dapat dilakukan ChatGPT:
- Menjawab pertanyaan: ChatGPT dapat menjawab pertanyaan dalam bahasa alami, memberikan informasi tentang berbagai macam topik.
- Menghasilkan teks: Ini dapat menghasilkan teks seperti manusia dalam berbagai gaya dan nada, membuatnya berguna untuk pembuatan konten dan pembuatan teks.
- Meringkas teks: ChatGPT dapat memberikan ringkasan artikel atau dokumen yang panjang, sehingga mudah untuk memahami ide-ide utama dengan cepat.
- Menerjemahkan teks: Aplikasi ini memiliki kemampuan untuk menerjemahkan teks dari satu bahasa ke bahasa lain, sehingga berguna untuk berkomunikasi dengan orang yang berbicara dalam bahasa yang berbeda.
- Menghasilkan puisi: ChatGPT dapat membuat puisi orisinal dalam berbagai gaya, memberikan inspirasi dan contoh untuk penyair dan penulis.
- Memberikan umpan balik penulisan: ChatGPT menganalisis tulisan dan memberikan umpan balik tentang faktor-faktor seperti tata bahasa, gaya, dan nada, sehingga membantu penulis meningkatkan keahlian mereka.
Bagaimana ChatGPT Dilatih?
Teknik pembelajaran mendalam yang disebut arsitektur transformator melatih chatGPT. Versi khusus dari model ini, ChatGPT-3, mengambil dataset yang sangat besar, yaitu lebih dari 45 terabyte teks.
Model Penyetelan Halus Terawasi (SFT)
Pada pengembangan awal, model GPT-3 berevolusi dengan mengontrak 40 kontraktor untuk menghasilkan dataset pelatihan yang diawasi, di mana inputnya memiliki hasil yang diketahui yang dapat dipelajari oleh model. Input, atau permintaan, adalah entri pengguna yang sebenarnya ke dalam Open API.
Model Penghargaan
Langkah selanjutnya adalah menggunakan model penghargaan untuk meningkatkan kualitas respons yang dihasilkan. Model penghargaan mengevaluasi output dari model SFT. Kemudian, kamera ini memberikan skor berdasarkan pada seberapa baik kecocokannya dengan output yang diinginkan.
Model Pembelajaran Penguatan
Langkah terakhir adalah menggunakan pendekatan pembelajaran penguatan untuk lebih meningkatkan kinerja GPT. Algoritme Pengoptimalan Kebijakan Proksimal melibatkan chatbot AI yang berinteraksi dengan pengguna dalam lingkungan simulasi. Kemudian ia menerima sinyal hadiah berdasarkan seberapa baik kinerjanya.
Evaluasi Kinerja
Masukan dari pekerja manusia melatih model. Itulah mengapa bagian inti dari evaluasi ini menggunakan umpan balik dari manusia, yang mengarahkan pemberi label untuk menilai kualitas keluaran model.
Tiga kriteria tingkat tinggi mengevaluasi model:
- Bantuan : Menilai kemampuan model untuk mengikuti dan menyimpulkan instruksi pengguna.
- Kejujuran: Pada tugas-tugas domain tertutup, menilai kecenderungan model untuk berhalusinasi (mengarang fakta). Model ini diuji dengan menggunakan dataset TruthfulQA.
- Tidak berbahaya: Menilai apakah keluaran model sesuai, meremehkan kelas yang dilindungi, atau mengandung konten yang merendahkan.
- Pilih API atau Pustaka ChatGPT : Ada berbagai API dan pustaka yang tersedia untuk menggunakan ChatGPT. Pilih salah satu yang paling sesuai dengan kebutuhan dan pengalaman pemrograman Anda.
- Buat Akun dan Dapatkan Kunci API (jika ada) : Dalam hal menggunakan API, membuat akun dan mendapatkan kunci API akan diperlukan untuk menggunakan ChatGPT. Ikuti petunjuk yang diberikan oleh penyedia API.
- Instal Perpustakaan yang Diperlukan (jika menggunakan Perpustakaan) : Dalam kasus penggunaan perpustakaan seperti Hugging Face Transformers, menginstal perpustakaan yang diperlukan dalam lingkungan pemrograman akan diperlukan.
- Inisialisasi ChatGPT : Setelah memiliki pustaka atau kunci API yang diperlukan, inisialisasi model ChatGPT dalam program.
- Masukkan Prompt : Untuk menggunakan ChatGPT, Anda perlu memberikan prompt yang menjelaskan konteks atau topik percakapan jika Anda ingin menghasilkan respons.
- Menghasilkan Respons : Setelah memberikan prompt, model ChatGPT menghasilkan respons berdasarkan prompt input dan konteks data pelatihannya.
- Mengevaluasi dan Menyempurnakan Respons : Kualitas respons yang dihasilkan dapat bervariasi, tergantung pada prompt input dan faktor lainnya. Periksa tanggapannya karena masih perlu bantuan untuk membedakan fakta dari informasi yang salah.
- Ulangi : Ulangi langkah 5-7 sebanyak yang diperlukan untuk menghasilkan percakapan atau serangkaian respons yang sesuai dengan kebutuhan Anda.
