Ollama

Ollama — bu menga modelni bir daqiqadan kamroq vaqt ichida lokal ishga tushirishim kerak boʻlganda murojaat qiladigan narsam, va bu koʻpchilik tan olganidan koʻra muhimroq. Bitta buyruq bilan yuklab olish va OpenAI bilan mos keluvchi endpoint shuni anglatadiki, men uni mavjud kodga deyarli oʻzgartirishlarsiz integratsiya qila olaman. Kamchiliklaridan: parallel soʻrovlar yuklama testi oʻtkazilmaguncha noaniq tarzda ketma-ketlashtiriladi, modellar oʻrtasida VRAM taqsimoti esa noqulay boʻlishi mumkin. Ammo lokal ishlab chiqish va prototiplash uchun bundan oddiyroq hech narsa yoʻq.

Bu zoʻr va foydali! Men oʻz modellar repozitoriymni saqlashim va ularni toʻgʻridan-toʻgʻri oʻz terminalimdan ishga tushirishim mumkin.

Oʻrnatish juda oddiy edi va bu menga yangi boshlovchi sifatida maxfiylikni saqlagan holda va bir tiyin ham toʻlamasdan SI modellari bilan tajriba oʻtkazishni boshlashimga tezda imkon berdi. llama.cpp kabi boshqa inferens vositalariga qaraganda bu yerda unumdorlik pastroq. Shuningdek, oʻrnatilgan veb-interfeys boʻlishini xohlardim, lokal ishlashdagi harakatsizlik taymauti esa gʻashga tegadi.

Ajoyib interfeys, foydalanishda soddalik va qulay sozlash. Yagona narsa — vosita tizim resurslarining sarflanishi nuqtai nazaridan biroz ogʻirroq. Qolgan jihatdan katta til modellarini ishga tushirish osonlashdi.

Menga yoqadigan narsa shundaki, Ollama bekendidagi oʻrnatuvchi mavjud, python-kutubxonasi esa — oddiy va tushunarli API. Vaqti-vaqti bilan drayverlar qoʻllab-quvvatlanishi bilan llama.cpp bindinglarini yigʻish — haqiqiy doʻzax, doim nimadir buziladi. Mening ssenariyim 100% lokal inferens ostida ishlab chiqishga bogʻlangan va bu yerda Python bilan barqaror integratsiya hal qiluvchi ahamiyatga ega.

Uni OpenWebUI bilan birga ishlatdim va, ochigʻini aytsam, bu maksimal darajada yoqimsiz tajriba boʻldi. Har safar GGUF yuklab olganimda, u shunchaki ishlamadi va umuman qanday sozlamalar qoʻllanganini tushunib boʻlmadi. Aftidan, ular relizning birinchi kunidayoq modellarni qoʻllab-quvvatlash ortidan quvishmoqda, ammo bunda unumdorlik jiddiy zarar koʻrmoqda.

Men Ollama atrofidagi barcha bahslarni kuzatmadim, ammo shaxsan kvantlash variantlarining yetishmasligini, yangi model versiyalarini qoʻshishdagi kechikishlarni va ularning foydalanuvchilarni bulutli funksiyalarga oʻrgatib qoʻyish urinishlarini payqadim. Oqibatda men shunchaki Ollamani oʻchirib tashlayapman.

Biz aynan Ollamadan foydalanamiz, chunki maʼlumotlarimiz kompaniyaning ichki tarmogʻini qatʼiyan tark eta olmaydi — bulutlarga boʻlgan har qanday ishoradan yuristlar gʻazabga minadi. Shu sababli biz modellarni toʻgʻridan-toʻgʻri ish noutbuklarida va intranetning bir juft serverida Ollama orqali yurgizamiz.