Artykuł pochodzi z wydania: Marzec 2026
Sztuczna inteligencja w chmurze budzi coraz więcej obaw związanych z bezpieczeństwem danych firmowych. Rozwiązaniem jest lokalna infrastruktura RAG, która łączy moc modeli językowych z kontrolą nad wrażliwymi informacjami. Przedstawiamy kompletny przewodnik po wyborze sprzętu i konfiguracji systemu, który pozwoli pracownikom korzystać z AI bez wysyłania ani jednego bitu poza granice firmy.
Technologia Retrieval-Augmented Generation (RAG) zmienia sposób, w jaki firmy pracują z wewnętrzną wiedzą. System RAG działa jak inteligentny asystent, który nie tylko generuje odpowiedzi na pytania pracowników, ale przede wszystkim szuka ich w firmowych dokumentach, procedurach, raportach i notatce ze spotkań. W przeciwieństwie do czystych modeli językowych, które opierają się wyłącznie na danych z treningu, RAG najpierw odnajduje w bazie wiedzy najbardziej pasujące fragmenty, a następnie wykorzystuje je jako kontekst do sformułowania precyzyjnej odpowiedzi.
Dla przedsiębiorstw szczególnie istotna jest możliwość uruchomienia takiego systemu całkowicie offline, bez zależności od zewnętrznych dostawców i chmury. To oznacza pełną kontrolę nad danymi, zgodność z najsurowszymi regulacjami branżowymi oraz niezależność od połączenia internetowego i opłat licencyjnych.
Decyzja o budowie własnej infrastruktury RAG wymaga jednak przemyślanego podejścia do wyboru komponentów. W przeciwieństwie do rozwiązań chmurowych, gdzie skalowanie jest niemal transparentne, system lokalny musi być zaprojektowany z uwzględnieniem przewidywanego obciążenia i wzrostu bazy dokumentów.
Najważniejsze pytania dotyczą nie tylko mocy obliczeniowej, ale również bezpieczeństwa dostępu, zarządzania użytkownikami i integracji z istniejącą infrastrukturą IT. Właściwie skonfigurowany serwer RAG może obsługiwać dziesiątki użytkowników jednocześnie, przetwarzać tysiące dokumentów i odpowiadać na zapytania na żywo, zachowując przy tym pełną prywatność danych firmowych.
> FUNDAMENT WYDAJNOŚCI
Serce systemu RAG stanowią trzy kategorie komponentów, z których każda odpowiada za inny aspekt przetwarzania. Procesor główny wykonuje zadania związane z zarządzaniem systemem, obsługą wielowątkowości oraz koordynacją przepływu danych między komponentami. Dla firm planujących obsługę od 10 do 30 równoczesnych użytkowników wystarczający będzie układ z rodziny AMD EPYC lub Intel Xeon trzeciej generacji, oferujący minimum 16 rdzeni fizycznych. Ważniejsze od częstotliwości taktowania są tutaj wielkość pamięci cache L3 oraz wsparcie dla nowoczesnych instrukcji wektorowych AVX-512, które przyspieszają operacje matematyczne wykorzystywane w embedowaniu tekstów.
Drugi element to pamięć operacyjna, której znaczenie w RAG-ach często jest niedoceniane. W przeciwieństwie do tradycyjnych aplikacji serwerowych system tego typu musi utrzymywać w pamięci nie tylko model językowy, ale również indeksy wektorowe zawierające reprezentacje wszystkich dokumentów w bazie wiedzy. Minimalne wyposażenie to 64 GB RAM-u, jednak dla firm z bazą przekraczającą 10 tys. dokumentów rekomendowane jest co najmniej 128 GB. Należy wybierać moduły o częstotliwości minimum 3200 MHz w standardzie DDR4 lub DDR5, z mechanizmem korekcji błędów ECC chroniącym przed uszkodzeniami danych. Szczególnie istotna jest możliwość rozbudowy pamięci w przyszłości, dlatego warto zaplanować architekturę tak, aby wykorzystywać tylko połowę dostępnych slotów.
Najkosztowniejszym, ale jednocześnie najbardziej krytycznym komponentem jest karta graficzna przeznaczona do obliczeń tensorowych. To właśnie GPU odpowiada za uruchamianie modelu językowego i generowanie odpowiedzi. Dla małych i średnich wdrożeń doskonałym wyborem są GPU Nvidii z serii RTX 6000 Ada Lovelace, oferujące 48 GB pamięci VRAM. Taka konfiguracja umożliwia uruchomienie modeli językowych o rozmiarze do 70 mld parametrów w pełnej precyzji lub większych modeli z zastosowaniem kwantyzacji.
Dla bardziej wymagających scenariuszy warto rozważyć profesjonalne karty z serii A 6000, które oferują lepszą niezawodność i wsparcie techniczne, choć ich cena jest znacząco wyższa. Alternatywą może być konfiguracja z dwiema lub czterema kartami konsumenckimi połączonymi mostkami NVLink, co pozwala na obsługę jeszcze większych modeli przy niższych kosztach.
System magazynowania danych wymaga szczególnej uwagi ze względu na specyfikę operacji w RAG-u. Baza wektorowa, która przechowuje embeddingi dokumentów, cechuje się intensywnymi operacjami odczytu podczas wyszukiwania semantycznego. Jednocześnie sam proces indeksowania nowych dokumentów generuje znaczną liczbę zapisów.
Optymalna konfiguracja zakłada dwupoziomową hierarchię pamięci masowej. Pierwszy z nich to macierz RAID 10 złożona z dysków NVMe o pojemności minimum 2 TB każdy, zapewniająca zarówno wysoką przepustowość, jak i redundancję danych. Tam przechowywane są indeksy wektorowe oraz model językowy. Drugi poziom stanowi pojemniejsza macierz RAID 6 z dysków SSD lub tradycyjnych HDD, przeznaczona na archiwizację oryginalnych dokumentów i kopie zapasowe. Ważne jest zapewnienie szybkości odczytu sekwencyjnego na poziomie minimum 5 tys. MB/s dla wolumenu z indeksami.
> OD DOKUMENTU DO ODPOWIEDZI
Lokalny system RAG składa się z kilku warstw, które współpracują ze sobą w sposób zoptymalizowany pod kątem szybkości i dokładności odpowiedzi. Pierwszą warstwę stanowi moduł importu (tzw. ingestii) dokumentów, odpowiedzialny za przetwarzanie przychodzących plików. Obsługuje on różne formaty, od klasycznych rozszerzeń (np. PDF i DOCX), przez arkusze kalkulacyjne, po specjalistyczne formaty branżowe. Każdy dokument przechodzi przez pipeline ekstrakcji tekstu, podczas którego zachowywana jest struktura logiczna, metadane oraz informacje o źródle.
System automatycznie wykrywa język dokumentu i stosuje odpowiednie algorytmy tokenizacji, co ma znaczenie dla jakości późniejszego wyszukiwania. Szczególnie ważne jest zachowanie kontekstu dla tabel, wykresów i fragmentów kodu, które wymagają specjalnego traktowania.
Przetworzone dokumenty trafiają do warstwy embedowania, gdzie tekst przekształcany jest w wektory numeryczne reprezentujące semantyczne znaczenie treści. Tutaj wykorzystywany jest specjalistyczny model embeddingowy, często oparty na architekturze BERT lub nowszych wariantach typu E5 czy BGE. Działa on niezależnie od głównego modelu generatywnego i może być znacznie mniejszy, typowo od 300 do 700 mln parametrów. Jego zadaniem jest przekształcenie każdego fragmentu tekstu, zwykle o długości od 100 do 500 tokenów, w wektor o wymiarach od 768 do 1056 liczb zmiennoprzecinkowych. Te wektory są następnie indeksowane w specjalistycznej bazie danych wektorowej, takiej jak Qdrant, Milvus lub Weaviate, które optymalizują struktury danych pod kątem szybkiego wyszukiwania najbliższych sąsiadów w przestrzeni wielowymiarowej.
[…]
Grzegorz Kubera
Autor jest założycielem firmy doradczo-technologicznej. Pełnił funkcję redaktora naczelnego w magazynach i serwisach informacyjnych z branży ICT. Dziennikarz z ponad 13-letnim doświadczeniem i autor książek na temat start-upów oraz przedsiębiorczości.
