Lekcja z RAG: AutoDocs AI bez szumu

RAG pada najczęściej nie na modelu, tylko na złym podziale dokumentów.

Co się sprawdza

• Chunking po nagłówkach i sekcjach, nie po sztywnych 500 tokenach w środku zdania.
• Metadane: typ dokumentu, wersja, produkt — filtr przed podobieństwem.
• Top-k z cytatem: model dostaje fragmenty + źródło, nie „całą wiedzę świata”.
• Odpowiedź z odmową: jeśli kontekst jest słaby, lepiej powiedzieć „nie ma w dokumentach”.

Efekt biznesowy

Zamiast godzinnego grzebania w PDF-ach — pytanie w naturalnym języku i konkret z odniesieniem do sekcji.

AutoDocs AI na tej stronie jest właśnie tym dowodem kompetencji LLM: nie chat dla chatu, tylko wyszukiwanie sensu w dokumentach.