Menjalankan AI Large Language Model (LLM) lokal atau chatbot di komputer Anda memungkinkan Anda mengajukan pertanyaan apa pun yang Anda inginkan secara pribadi. Namun LMM ini seringkali sulit diatur dan dikonfigurasi. Ada solusinya: aplikasi bernama GPT4All.
Untuk saat ini, GPT4All mewakili kombinasi terbaik antara kemudahan penggunaan dan fleksibilitas. Ini hampir tidak responsif seperti beberapa kerangka kerja dan aplikasi yang lebih kompleks, namun Anda dapat mengaktifkan dan menjalankannya dalam beberapa menit hanya dengan beberapa klik. Ia juga menawarkan kemampuan untuk dijalankan pada CPU atau GPU Anda, artinya Anda tidak memerlukan perangkat keras terbaru dan terhebat untuk menjalankannya.
Model bahasa asli yang besar memungkinkan Anda untuk “berbicara” dengan chatbot AI. Anda dapat menggunakannya sebagai penelusuran lanjutan (“Jelaskan lubang hitam kepada saya seperti anak berusia 5 tahun”) atau untuk membantu mendiagnosis masalah (“Lengan saya tergigit; sakit dan demam”). Jika mau, Anda bisa membicarakan masalah Anda dengannya. Namun, cara yang paling mudah adalah “mengunggah” dokumen hukum atau medis yang panjang dan rumit dan meminta mereka untuk melihatnya. Hal ini tidak menggantikan dokter atau pengacara (dan tidak memperlakukannya seperti itu), namun hal ini dapat membuat Anda terkesan harus mencari nasihat profesional.
Lebih penting lagi, memang demikian. milikmu LLM Jika Anda belum pernah menggunakan Microsoft Copilot, Anda tahu ini bisa sangat melelahkan. Batasi percakapan Anda; Dia menolak menjawab pertanyaan tentang topik sensitif. Faktanya, ini bisa mengecewakan. Yang terbaik dari semuanya, sebagian besar chatbot AI seperti ChatGPT, Copilot, dan Google Bard akan memperhatikan dan mencatat pertanyaan Anda sampai tingkat tertentu — dan dapat mengarahkan Anda ke penegak hukum jika Anda salah menjawab. Privasi adalah masalah bagi sebagian orang dan LLM lingkungan melindunginya.
Tandai Hackman / IDG
(Tetapi untuk lebih jelasnya, itu adalah GPT4All. tidak Biarkan dia memberi Anda instruksi untuk menggulingkan pemerintah, dan dia tidak akan berpura-pura menjadi perawat bejat yang berbicara dengan Anda. Namun ini memberi Anda privasi, dan titik awal untuk eksplorasi masa depan dengan model lain. Ini adalah LLM pemula.)
Yang juga saya sukai dari GPT4All adalah Anda dapat memilih dari berbagai model dialog, dan pengembang akan memberi tahu Anda berapa banyak ruang yang mereka perlukan di hard drive Anda dan berapa banyak RAM yang dibutuhkan PC Anda untuk dijalankan. . (Anda memerlukan setidaknya 8 GB RAM.) Jika Anda memiliki sistem yang lebih lama, Anda dapat mengunduh model yang lebih sederhana. Jika Anda memiliki perangkat keras yang lebih modern, Anda dapat mengunduh model yang lebih kompleks. Atau, Anda dapat mendownload beberapa model dan membandingkan hasilnya.
Mengonfigurasi GPT4All
Anda harus selalu memperhatikan apa yang Anda unduh dari internet, dan demam emas model AI pasti akan menyebabkan seseorang memposting malware di internet, menyebutnya “AI” dan kemudian duduk santai dan menunggu.
GPT4All diterbitkan oleh tim kecil pengembang, Nomic AI. Namun aplikasi ini bersifat open-source, dipublikasikan di GitHub, dan sudah berbulan-bulan orang ngiler melihat kodenya dan membual tentangnya. Meskipun tidak ada yang benar-benar aman, itu adalah bukti yang cukup untuk meyakini bahwa produk tersebut cukup aman untuk direkomendasikan.
Tandai Hackman / IDG
Halaman unduh GPT4All menempatkan tautan penginstal Windows (atau OSX atau Ubuntu) di bagian atas. Penginstal itu sendiri adalah file kecil berukuran sekitar 27MB yang mengunduh file yang diperlukan, yang dapat Anda tetapkan ke direktori tertentu. (Layar pertama penginstal memiliki tautan ke “Pengaturan”, Anda dapat mengabaikannya.)
Mengunduh aplikasinya sendiri hanya membutuhkan 185 MB atau lebih, dan aplikasi dapat diinstal dalam beberapa detik.
Jadi, apakah kamu sudah selesai? tidak terlalu. Setelah membuka aplikasi, Anda akan disajikan catatan rilis dan opsi untuk menyumbangkan penggunaan dan/atau diskusi Anda secara anonim ke Nomic. (Jika Anda khawatir informasi rahasia Anda terbongkar, Anda mungkin ingin meneruskannya. seseorang.)
Tandai Hackman / IDG
Di sinilah Anda dapat memilih model obrolan mana yang akan digunakan. Jangan anggap ini sebagai kepribadian; Sebaliknya, deskriptor ini memberi Anda gambaran betapa canggihnya model tersebut.
Di sebelah kanan, Anda akan melihat beberapa informasi penting: Jumlah parameter merupakan indikasi umum seberapa rumit modelnya – semakin banyak, semakin baik. Namun model yang lebih besar dan lebih canggih memerlukan lebih banyak RAM dan Anda pasti ingin memastikan PC Anda memiliki cukup RAM. Anda juga akan melihat berapa banyak ruang penyimpanan yang digunakan model di desktop Anda. Secara umum, Anda memerlukan PC dengan RAM minimal 8GB.
Tandai Hackman / IDG
Empat Tips: Selama PC Anda memiliki memori, coba cara di atas (Mistral OpenOrca) sebagai starter. Abaikan model ChatGPT 3.5 dan ChatGPT 4.0 di bawah ini, karena pada dasarnya keduanya hanyalah bagian depan ChatGPT 4 yang ditemukan di tempat lain di web. (Saya bahkan tidak tahu mengapa ini disertakan.) Ada model tambahan yang dapat diakses melalui tombol di bagian bawah halaman. Dan jika font di aplikasi terlalu kecil untuk dibaca, coba indeks pada halaman download GPT4All di bawah.
(Kuantisasi, salah satu fitur model obrolan, seperti kompresi versi AI. Video dan gambar dikompresi, semoga tanpa kehilangan data; kuantisasi melakukan hal yang sama terhadap parameter, mengurangi ukuran file tanpa kehilangan kompleksitas. )
Menggunakan GPT4All
Menggunakan GPT4All sangat mudah; Antarmuka obrolan disediakan untuk Anda, dan Anda dapat berinteraksi sesuka Anda. Coba tanyakan cerita tentang seekor anjing yang terbang ke Mars atau puisi tentang kucing yang menyukai keju. Apa yang salah dengan saya? Jangan takut untuk bertanya tentang hal-hal yang tidak ingin Anda umumkan: Anda memiliki tagihan rumah sakit yang membengkak, Anda memiliki $40.000 di 401k Anda, dan Anda ingin tahu apa yang harus dilakukan mengenai pajak atau layanan kesehatan Anda. Apa yang harus Anda prioritaskan saat melunasi pinjaman atau pinjaman kuliah? AI mungkin tidak punya jawabannya, tapi mungkin punya beberapa rekomendasi.
Seperti disebutkan di atas, model yang ditampilkan di situs web GPT4All telah dibersihkan, jadi Anda tidak dapat mengklaim model yang kotor. Ya, Anda selalu bisa mencobanya, dan Anda mungkin bisa membujuk AI untuk menantang program tersebut. Ya, orang-orang mencobanya.
Tandai Hackman / IDG
Namun, Anda akan segera menyadari faktor kunci dalam AI yang berguna: kecepatan pembuatan token. Token umumnya dianggap berisi sekitar empat karakter teks. Obrolan AI seperti melihat hasil cetakan printer dot-matrix lama: teks dibuat saat Anda melihatnya. (ChatGPT akan menampilkan token per detik saat menghasilkan respons.)
Kecepatan sekitar lima token per detik mungkin terasa cepat bagi speedreader, namun itulah kecepatan default speedreader yang dihasilkan pada Core i7-11370H generasi ke-11 dengan total RAM sistem sebesar 32 GB. GPT4All menggunakan GPU Anda jika ada, dan mempercepat kinerja secara signifikan. Namun harus memiliki RAM yang cukup: laptop Nvidia GeForce RTX 3050 Ti sebesar 4 GB tidak cukup untuk menjalankan model tersebut. Di sini, desktop (dan GPU desktop, dengan VRAM lebih banyak) memiliki keunggulan.
Anda dapat meningkatkan kinerja dengan masuk ke menu pengaturan dan menyesuaikan thread CPU yang ditetapkan ke aplikasi – tetapi pastikan sistem Anda cukup besar! Jika tidak yakin, biarkan saja karena performanya tidak akan banyak berubah. Anda juga dapat bermain dengan pengaturan berbeda untuk mengubah respons, tetapi Anda tidak perlu melakukannya.
Tandai Hackman / IDG
Jika GPT4All “macet” pada topik tertentu, Anda selalu dapat “mengatur ulang” topik tersebut dengan ikon panah bulat di bagian atas jendela.
Anda juga dapat meminta GPT4All untuk “mempelajari” dokumen yang Anda simpan secara lokal, meskipun Anda harus mengunduh sedikit plugin yang akan disarankan oleh GPT4All untuk Anda. Untuk bersenang-senang, saya telah mengunduh PDF Kode Judul AS yang berkaitan dengan Kantor Presiden AS. Jika Anda mengarahkan GPT4All ke folder tempat PDF tersebut (atau yang lain), file tersebut akan diindeks sehingga Anda dapat menanyakannya nanti. Tapi indeks itu adalah a Panjang waktu, terutama jika Anda menyimpan aplikasi di latar belakang dan mengerjakan tugas lain.
Tandai Hackman / IDG
Langkah selanjutnya
Jadi Anda mengunduh GPT4All, dan LMM. Tangkap serangga. Apa berikutnya? Saya merekomendasikan Oobabooga, sebuah front end dengan nama unik untuk banyak model obrolan berbeda. Oobabooga lebih kompleks, namun lebih fleksibel, dan Anda memiliki opsi untuk mengunduh lebih banyak model.
selamat bersenang-senang!
Sumber: https://www.pcworld.com
Post a Comment for "Cara termudah untuk menjalankan chatbot AI pribadi di PC Anda"