Локальный ИИ, не покидающий периметр компании

# make_dataset.py
import json, re, random, pathlib
from datetime import date

today = str(date.today())

phone_re = re.compile(r"\+?\d[\d\s\-\(\)]{7,}")
url_re   = re.compile(r"https?://\S+|t\.me/\S+|@\w+")

def clean(text: str) -> str:
    text = phone_re.sub("[контакты удалены]", text)
    text = url_re.sub("[ссылка удалена]", text)
    text = re.sub(r"[ \t]+", " ", text)
    return text.strip()

SYSTEM = ("Ты — детерминированный парсер объявлений о грузоперевозках. "
          "Отвечай ТОЛЬКО валидным JSON-массивом без префиксов/кодблоков. "
          "Схема каждого объекта: {\"departure_point\":\"Страна, Город\"|null, "
          "\"arrival_point\":\"Страна, Город\"|null, \"tonn\":number|null, "
          "\"id_car_type\":\"Тент\"|\"Рефрижератор\"|\"Изотерма\"|null, "
          "\"date_loading_iso\":\"YYYY-MM-DD\"|null, \"opisanie\":\"строка\"|null}. "
          "Нормализация стран: Россия, Узбекистан, Беларусь, Казахстан, Литва, Латвия, "
          "Эстония, Кыргызстан, Таджикистан, Туркменистан, Грузия, Армения, Азербайджан, "
          "Польша, Германия. Если нельзя определить — null. Кириллица обязательна.")

def pack(sample_text: str, gold_json: str):
    return {
        "messages": [
            {"role": "system", "content": SYSTEM},
            {"role": "user", "content": f"Входной блок:\n{clean(sample_text)}\nСегодня: {today}\nЗадача: верни ТОЛЬКО валидный JSON."},
            {"role": "assistant", "content": gold_json.strip()}
        ]
    }

# Пример: берем ваши пары (raw_text -> эталонный JSON),
# ниже – просто демонстрация. Реально идём по своей базе.
pairs = [
    ("Тент 20т Ташкент -> Тбилиси 10 авто",
     '[{"departure_point":"Узбекистан, Ташкент","arrival_point":"Грузия, Тбилиси","tonn":20,"id_car_type":"Тент","date_loading_iso":"' + today + '","opisanie":"Тент 20т"}]')
]

random.shuffle(pairs)
val_split = int(len(pairs) * 0.98)
train, val = pairs[:val_split], pairs[val_split:]

pathlib.Path("data").mkdir(exist_ok=True)
with open("data/train.jsonl", "w", encoding="utf-8") as f:
    for t, j in train:
        f.write(json.dumps(pack(t, j), ensure_ascii=False) + "\n")
with open("data/val.jsonl", "w", encoding="utf-8") as f:
    for t, j in val:
        f.write(json.dumps(pack(t, j), ensure_ascii=False) + "\n")
print("saved:", len(train), len(val))

# merge_lora.py
from transformers import AutoTokenizer, AutoModelForCausalLM
from peft import PeftModel
import torch, os, shutil

BASE   = "google/gemma-2-9b-it"
LORA   = "./outputs/gemma2-9b-it-logist-lora"
MERGED = "./outputs/gemma2-9b-it-lora-merged-fp16"

tok = AutoTokenizer.from_pretrained(BASE, use_fast=True)
base = AutoModelForCausalLM.from_pretrained(BASE, torch_dtype=torch.float16)

model = PeftModel.from_pretrained(base, LORA)
model = model.merge_and_unload()  # слияние адаптера
os.makedirs(MERGED, exist_ok=True)
model.save_pretrained(MERGED)
tok.save_pretrained(MERGED)

# скопировать generation_config/tokenizer json, если нужно:
for f in ["generation_config.json", "special_tokens_map.json", "tokenizer.json"]:
    src = os.path.join(LORA, f)
    if os.path.exists(src):
        shutil.copy(src, MERGED)
print("Merged to", MERGED)

# Внутри репозитория llama.cpp
# D:\llama.cpp
python convert-hf-to-gguf.py --model-dir "D:\outputs\gemma2-9b-it-lora-merged-fp16" \
  --outfile "D:\models_out\Gemma-2-9b-it-logist.F16.gguf" --outtype f16

# llama-quantize (Windows)
# пример путей:
"D:\llama.cpp\build\bin\Release\llama-quantize.exe" ^
  "D:\models_out\Gemma-2-9b-it-logist.F16.gguf" ^
  "D:\models_out\Gemma-2-9b-it-logist.Q5_1.gguf" Q5_1

"D:\llama.cpp\build\bin\Release\llama-quantize.exe" ^
  "D:\models_out\Gemma-2-9b-it-logist.F16.gguf" ^
  "D:\models_out\Gemma-2-9b-it-logist.Q4_0.gguf" Q4_0