Мазмұнға өту
⁨NDDev AI⁩, басты бет
Қауымдастық
Тіл: Қазақша
Көрініс
Тема
Анимация

Нейрондық желіні өз деректеріңіз негізінде оқыту

NDDev нейрондық желілерді компания деректері негізінде оқытады: тілдік модельдерді сіздің стиліңізге, форматыңызға және терминологияңызға сай LoRA және QLoRA әдістерімен қосымша оқытамыз, ал жіктеу мен компьютерлік көру модельдерін сіздің мысалдарыңыз негізінде оқытамыз. Сіз модель салмақтарын, оқыту кодын және кейінге қалдырылған іріктемедегі метрикалары бар есепті аласыз. Жинақталған әрі таңбаланған деректері бар компанияларға лайық. NDDev 2019 жылдан бері жұмыс істейді.

Кімге лайық?

Мысалдары жинақталған компанияларға: дұрыс санаттары бар өтініштер, өрістері толтырылған құжаттар, ақаулары белгіленген фотосуреттер, фирмалық стильдегі хат алмасу.

  • Тілдік модельдерге арналған LoRA және QLoRA
  • PyTorch және Transformers негізіндегі модельдер
  • MLflow-дағы эксперименттер
  • Салмақтар мен оқыту коды өзіңізде

Модельді сіздің деректеріңіз негізінде қашан оқытқан жөн

Алдымен оқыту қажет пе, соны тексереміз. Егер міндет құжаттар бойынша жауап беру болса, әдетте білім қорынан іздеу жеткілікті. Модельге қатаң формат, тар салалық терминология немесе компания стилі қажет болып, промпттар тұрақсыз нәтиже берген жағдайда қосымша оқыту артықшылық береді. Жіктеу, өрістерді бөліп алу және кескіндерге қатысты міндеттер үшін жеке шағын модель үлкен тілдік модельге қарағанда көбіне жылдамырақ әрі арзанырақ жұмыс істейді.

  • деректер аудиті және таңбалау жоспары
  • мысалдарды таңбалау және тазарту
  • салыстыруға арналған базалық модель
  • LoRA немесе QLoRA арқылы қосымша оқыту, жеке модельді оқыту
  • MLflow-дағы эксперименттер журналы
  • кейінге қалдырылған іріктемедегі метрикалары бар есеп
  • модель салмақтары, оқыту коды және іске қосу нұсқаулығы

Жұмыстың көп бөлігі деректерге кетеді. Мысалдарды тазартамыз және таңбалаймыз, оларды оқыту, тексеру және кейінге қалдырылған іріктемелерге бөлеміз де, қарапайым базалық модельдің нәтижесін есептейміз. Тілдік модельдерді келісілген жабдықта LoRA және QLoRA әдістерімен қосымша оқытамыз, ал қалғандарын PyTorch, Transformers немесе YOLO арқылы оқытамыз. Параметрлері мен метрикалары бар әрбір іске қосуды MLflow-ға жазып отырамыз.

Қажетті сапаға қол жеткізу мүмкін бе, жоқ па, алдын ала белгісіз болса, жұмысты зерттеу кезеңінен бастаймыз: әдістерді қарапайымнан күрделіге қарай сынап, аралық нәтижелерді бірден көрсетіп отырамыз. Нәтижесінде жұмыс істейтін модель шығады немесе осы деректермен мақсатқа жету мүмкін емес деген негізделген қорытынды беріледі.

Модельді оқыту кезеңдері

  1. Міндет пен метрика

    Модельдің не істейтінін және міндетті атқарып шығатынын қай метрика бойынша түсінетінімізді келісеміз.

  2. Деректер

    Мысалдардың көлемі мен сапасын тексереміз, қажет болса, оларды таңбалаймыз және толықтырамыз.

  3. Базалық нәтиже

    Салыстыратын негіз болуы үшін қарапайым модельді оқытамыз немесе промпттарды сынап көреміз.

  4. Эксперименттер

    Архитектура мен параметрлерді таңдаймыз, әрбір іске қосуды MLflow-ға жазамыз.

  5. Тексеру және тапсыру

    Модельді кейінге қалдырылған іріктемеде өлшейміз, сізде орналастырамыз және салмақтар мен кодты тапсырамыз.

Өз деректеріңіз негізінде оқыту туралы сұрақтар

Қанша дерек қажет?

Бұл деректер аудитінен кейін белгілі болады. Сізде қанша мысал барын, олардың қаншалықты біркелкі екенін және таңбаланған-таңбаланбағанын қараймыз да, олар жеткілікті ме, әлде алдымен таңбалау керек пе, соны ашық айтамыз.

Модельді біздің серверлерде оқытуға бола ма?

Иә. Оқытуды сіздің жабдығыңызда немесе келісілген бұлтта іске қосамыз, деректер мен алынған салмақтар сонда қалады.

Модельдің дәлдігіне кепілдік бересіздер ме?

Біз келісілген процеске, эксперименттерге, есеп пен құжаттамаға жауап береміз. Мақсатты метриканы бастамас бұрын бекітеміз және оны модель оқыту кезінде көрмеген кейінге қалдырылған іріктемеде өлшейміз. Егер бұл деректермен мақсатқа жету мүмкін болмаса, сіз мұны зерттеу кезеңінде білесіз.

Оқытылған модель кімге тиесілі?

Салмақтар мен оқыту кодына құқықтарды өзара келісім бойынша береміз, шарттарын келісімшартта бекітеміз.

Оқыту қанша тұрады?

Құн блогындағы «бастап» деп көрсетілген баға біздің жұмысымызға қатысты. Қорытындыға деректер мен таңбалау көлемі, модель өлшемі және эксперименттер саны әсер етеді. Есептеу қуаттары мен сыртқы таңбалау іс жүзінде бөлек төленеді.

8 900 $ бастап

Тегін кепілдік
80 күн

Бағалар бастапқы деңгейден көрсетілген және тек ақпарат үшін берілген; олар жария оферта болып саналмайды. Соңғы құн техникалық тапсырмада бекітіледі.

Language models and company knowledge

Міндетті және сізде бар деректерді сипаттаңыз

Модель не істеуі керегін және қанша мысал жиналғанын айтып беріңіз. Біз деректер жеткілікті ме, соны бағалап, жоспар ұсынамыз.

24 сағат ішінде жауап береміз

Көмекші

Көмекші жүктелуде…