Мазмұнға өту
⁨NDDev AI⁩, басты бет
Қауымдастық
Тіл: Қазақша
Көрініс
Тема
Анимация

MLOps: ML-модельдерді енгізу және сүйемелдеу

NDDev деректер командалары мен AI-функциялары бар өнімдер үшін ML-модельдерді жұмысқа қосып, оларды сүйемелдейді: модельді сервиске жинақтаймыз, MLflow-да нұсқаларды жүргіземіз, әр шығарылым алдында сапаны тексереміз, деректер дрейфін, кідірісті және құнын бақылаймыз, кесте бойынша қайта оқытамыз және ақау шыққанда кері қайтарамыз. Біз техникалық серіктес ретінде жасап жатқан My Attention AI қазірдің өзінде пайдаланушылар үшін жұмыс істеп тұр.

Кімге лайық?

Модельдері дайын, ал шығарылымы, мониторингі мен қайта оқытылуы қолмен жасалатын деректер командаларына және AI-функциялары пайдаланушыларда жұмыс істеп тұрған әрі қадағалауды қажет ететін компанияларға арналған.

  • MLflow-дағы модельдер тізілімі
  • Шығарылым алдында сапаны тексеру
  • Дрейф пен құн мониторингі
  • Алдыңғы нұсқаға кері қайтару

Модель айналасында нені баптаймыз

Модельді FastAPI немесе vLLM негізіндегі сервиске жинақтап, образ нұсқасы бекітілген контейнерде іске қосамыз. Модельдің әр нұсқасы MLflow тізілімінде деректерге, кодқа және оқыту метрикаларына сілтемесімен бірге сақталады. Шығарылым CI арқылы жүреді: тесттер орындалады, модель бақылау жиынтығында жүргізіледі және жұмыс істеп тұрған нұсқамен салыстырылады.

  • модельді сервиске және контейнерге жинақтау
  • MLflow-дағы нұсқалар мен эксперименттер тізілімі
  • модельдерге арналған CI: тесттер және бақылау жиынтығы
  • дрейф, сапа, кідіріс және құн мониторингі
  • Langfuse-те LLM сұрауларын трассировкалау
  • Airflow немесе Prefect негізіндегі қайта оқыту конвейері
  • шығарылым және кері қайтару регламенті
  • деректерді сақтау және өшіру ережелері

Шығарылымнан кейін кіріс деректерін, жауаптардың сапасын, кідірісті және құнын бақылаймыз, ал тілдік модельдерге жіберілетін сұрауларды Langfuse пен OpenTelemetry-де трассировкалаймыз. Деректер оқыту деректерінен айтарлықтай ауытқығанда немесе метрика төмендегенде, хабарлама келеді: модель Airflow не Prefect негізіндегі конвейер арқылы қайта оқытылады немесе алдыңғы нұсқаға кері қайтарылады.

Деректер мәселесін бөлек келісеміз: сұраулар мен жауаптарды кім сақтайтынын, олар қанша уақыт сақталатынын және жұмыс аяқталған соң қалай өшірілетінін анықтаймыз. Қызметтік метрикаларды пайдаланушылар мазмұнынан бөлек ұстаймыз, My Attention AI телеметриясы да осылай құрылған.

Модельді пайдалануға енгізу

Алдымен модельдің қазір қалай жұмыс істеп тұрғанын көріп, тәуекелі ең жоғары тұстарды жабамыз.

  1. Аудит

    Модельдің қайда және қалай оқытылатынын, қалай іске қосылатынын, оны кім шығаратынын және ақау кезінде не болатынын қараймыз.

  2. Сервис және тізілім

    Модельді жинақтаймыз, нұсқалар тізілімін және қайта жаңғыртылатын оқытуды жолға қоямыз.

  3. Шығарылым конвейері

    Тесттері және бақылау жиынтығындағы тексеруі бар CI баптаймыз.

  4. Мониторинг

    Метрикаларды, хабарламаларды және панельдерді қосамыз, шекті мәндерді келісеміз.

  5. Қайта оқыту және техникалық қолдау

    Кесте бойынша немесе дрейф сигналымен қайта оқытуды іске қосамыз және жүйені техникалық қолдауға аламыз.

Осы қызмет бойынша жобалар

  • Platform

    My Attention AI: зейінмен жұмыс істеуге және істерді ұйымдастыруға арналған платформа

    My Attention AI зейінмен жұмыс істеуге және қызметті ұйымдастыруға арналған платформа, оның төрт бағыты бар: Screen, Together, Train және Care. Өнім пайдаланушылар үшін ашық және орыс, ағылшын, қазақ тілдерінде жұмыс істейді. Ол бөлек My Attention AI, Inc. компаниясына тиесілі, онда NDDev-тің CEO-сы Данил Силантьев техникалық директор болып жұмыс істейді.

Деректер командаларының MLOps туралы сұрақтары

Бізде модель бар. Неден бастау керек?

Аудиттен: кодты, деректерді, іске қосу тәсілін және метрикаларды қараймыз. Нәтижесінде тәуекелдер тізімін және ең алдымен нені баптау керектігі туралы жоспар аласыз.

Басқа команда оқытқан модельді аласыздар ма?

Иә. Бізге кодқа, деректерге немесе олардың сипаттамасына, сондай-ақ модель жұмыс істейтін ортаға қолжетімділік қажет. Егер оқыту процесі қайта жаңғыртылмайтын болса, ең алдымен соны қалпына келтіреміз.

Деректер дрейфі деген не?

Уақыт өте келе деректер өзгереді: жаңа тауарлар, басқа клиенттер, маусымдық ауытқулар пайда болады. Ескі деректермен оқытылған модель жиірек қателесе бастайды. Дрейф мониторингі мұны қателерді пайдаланушылар көрмей тұрып ертерек байқайды.

Модель қайда жұмыс істейді?

Сіздің серверлеріңізде, келісілген бұлтта немесе өзіңіз жалға алатын видеокарталарда. Сервисті, мониторингті және қайта оқытуды сол жерде баптаймыз, ал құжаттаманы командаңызға тапсырамыз.

MLOps қанша тұрады?

«Бастап» бағасы құн блогында көрсетілген. Қорытынды сомаға модельдер саны, оларды іске қосудың қазіргі күйі және мониторингке қойылатын талаптар әсер етеді. Серверлер мен есептеулер бөлек төленеді. Іске қосқаннан кейін жүйені техникалық қолдауға қалдыруға болады, бұл әдетте айына жоба құнының 10%-ын құрайды.

4 500 $ бастап

Тегін кепілдік
40 күн

Бағалар бастапқы деңгейден көрсетілген және тек ақпарат үшін берілген; олар жария оферта болып саналмайды. Соңғы құн техникалық тапсырмада бекітіледі.

Documents, video and forecasting

Қазір сізде қандай модельдер жұмыс істеп тұрғанын айтып беріңіз

Модельдерді, деректерді және олардың қазір қалай шығарылатынын сипаттап беріңіз. Біз жоспар ұсынып, бағасын айтамыз.

24 сағат ішінде жауап береміз

Көмекші

Көмекші жүктелуде…