Porównanie w skrócie
| Kryterium | W chmurze | Na własnym serwerze |
|---|---|---|
| Gdzie są dane | U dostawcy usługi, zgodnie z jego zasadami | W firmie |
| Koszt na start | Niski, płacisz za użycie | Wyższy: sprzęt i konfiguracja |
| Koszt przy dużym użyciu | Rośnie z liczbą zapytań | Stały koszt sprzętu i utrzymania |
| Jakość modeli | Dostęp do największych modeli | Mniejsze modele, wystarczające do wielu zadań |
| Działanie bez internetu | Nie | Tak |
| Utrzymanie | Po stronie dostawcy | Po stronie firmy: aktualizacje, kopie, dostęp |
Najpierw pytanie o dane
Zanim wybierzesz model, odpowiedz na trzy pytania: jakie dane będą trafiać do AI, kto jest ich właścicielem i czy umowy z klientami albo przepisy pozwalają je przekazać dostawcy chmury. Jeśli odpowiedź brzmi „nie wiem”, to jest pierwsza rzecz do ustalenia, jeszcze przed technologią.
Darmowe wersje czatów AI dla konsumentów mają inne zasady przetwarzania danych niż wersje biznesowe i API. Nie wklejaj tam danych klientów, umów ani danych osobowych bez sprawdzenia warunków.
Kiedy własny serwer ma sens
- dane nie mogą opuszczać firmy albo zasady tego wymagają,
- zadania są powtarzalne i dobrze określone, na przykład przeszukiwanie własnych dokumentów,
- narzędzie ma działać w sieci firmy, także bez internetu,
- użycie jest duże i stałe.
Ile sprzętu potrzeba, opisuję w poradniku o sprzęcie do lokalnych modeli, razem z kalkulatorem pamięci.
Kiedy chmura jest lepsza
- potrzebujesz najlepszej jakości przy złożonych zadaniach,
- użycie jest małe albo nieregularne,
- nie chcesz utrzymywać sprzętu,
- chcesz szybko sprawdzić, czy pomysł w ogóle działa.
Układ hybrydowy
Często rozsądny układ: wrażliwe dane i proste zadania obsługuje model w firmie, a do złożonych zadań, na danych, które mogą wyjść na zewnątrz, używa się modelu w chmurze. Kluczowe jest to, żeby reguła, które dane gdzie trafiają, była zapisana w systemie, a nie zależała od dobrej woli użytkownika.
Bezpieczeństwo w każdym modelu
Własny serwer nie jest bezpieczny z definicji. Aktualizacje, kopie zapasowe, kontrola dostępu i monitoring są potrzebne zawsze, niezależnie od tego, gdzie działa model.
Pojęcia z tego poradnika
- Model językowy (LLM)
Program AI wytrenowany na dużej ilości tekstu, który potrafi pisać, streszczać, odpowiadać na pytania i porządkować informacje. Może się mylić i zmyślać, dlatego jego wyniki trzeba sprawdzać.
Pytania i odpowiedzi
Czy model na własnym serwerze uczy się na danych firmy?
Nie musi. Najczęściej model korzysta z dokumentów firmy w czasie odpowiedzi (to podejście nazywa się RAG), bez trenowania go na nich. To rozwiązanie łatwiej kontrolować.
Jaki sprzęt jest potrzebny do AI w firmie?
Zależy od wielkości modelu i liczby użytkowników. Najważniejszy parametr to pamięć karty graficznej. Szczegóły i kalkulator są w poradniku o sprzęcie do lokalnych modeli.
Czy można zacząć w chmurze i przenieść się na serwer?
Tak, jeśli rozwiązanie jest od początku tak zaprojektowane. Warto o tym zdecydować na etapie planowania.