Ollama

Ollama — бұл маған модельді локальді түрде бір минуттан аз уақытта іске қосу қажет болғанда жүгінетін нәрсем, және бұл көпшілік мойындағаннан әлдеқайда маңыздырақ. Бір пәрменмен жүктеп алу және OpenAI-мен үйлесімді эндпоинт оны бұрыннан бар кодқа іс жүзінде түзетусіз біріктіре алатынымды білдіреді. Кемшіліктерінен: жүктемелік тест жасамайынша параллель сұраулар анық емес түрде сериализацияланады, ал модельдер арасында VRAM үлестіру кейде ыңғайсыз болады. Бірақ локальді әзірлеу және прототиптеу үшін бұдан қарапайым ештеңе жоқ.

Бұл керемет және пайдалы! Мен өз модельдерімнің репозиторийін сақтай аламын және оларды тікелей өз терминалымнан іске қоса аламын.

Орнату өте оңай болды және бұл маған, жаңадан бастаушы ретінде, құпиялылықты сақтай отырып және бір тиын да төлемей ЖИ модельдерімен тәжірибе жасауды бастауға тез мүмкіндік берді. llama.cpp сияқты басқа инференс құралдарымен салыстырғанда мұнда өнімділік төменірек. Сондай-ақ кірістірілген веб-интерфейс болғанын қалар едім, ал локальді жұмыс кезіндегі әрекетсіздік таймауты ашуға тиеді.

Тамаша интерфейс, пайдаланудағы қарапайымдылық және ыңғайлы баптау. Жалғыз нәрсе — құрал жүйелік ресурстарды тұтыну тұрғысынан біршама ауырлау. Қалған жағынан үлкен тілдік модельдерді іске қосу оңай болды.

Маған ұнайтыны — Ollama бэкендінде инсталлятор бар, ал python-кітапханасы — қарапайым әрі түсінікті API. Драйверлерді қолдайтын llama.cpp биндингтерін мезгіл-мезгіл жинау — нағыз тозақ, үнемі бірдеңе бұзылып қалады. Менің сценарийім 100% локальді инференске арналған әзірлеуге байланған, және мұнда Python-мен тұрақты интеграция бәрін шешеді.

Оны OpenWebUI-мен бірге қолдандым және, шынымды айтсам, бұл барынша жағымсыз тәжірибе болды. GGUF жүктеп алған сайын ол жай ғана жұмыс істемеді және қандай баптаулар қолданылғанын түсіну мүлде мүмкін болмады. Олар релиздің бірінші күнінде-ақ модельдерді қолдауға ұмтылатын сияқты, бірақ бұл ретте өнімділік қатты зардап шегеді.

Мен Ollama төңірегіндегі барлық дауларды қадағаламадым, бірақ жеке өзім кванттау нұсқаларының жетіспеушілігін, модельдердің жаңа нұсқаларын қосудағы кешігулерді және олардың пайдаланушыларды бұлтты функцияларға байлау талпыныстарын байқадым. Соңында мен Ollama-ны жай ғана өшіремін.

Біз дәл Ollama-ны қолданамыз, өйткені біздің деректеріміз компанияның ішкі желісінен үзілді-кесілді шыға алмайды — бұлт туралы кез келген тұспалдан заңгерлердің ашуы келеді. Осы себепті біз модельдерді Ollama арқылы тікелей жұмыс ноутбуктерінде және интранеттің бір-екі серверінде іске қосамыз.