Foundation Models 이란? 그리고 FMops란?

Foundation models 이란?

Foundation models은 인간처럼 언어를 이해하고 생성하기 위해 방대한 양의 텍스트 데이터에 대하여 훈련된 대규모 신경망입니다. 이는 보다 구체적이고 전문화된 AI 모델을 개발하기 위한 출발점 역할을 합니다. 훈련 과정에는 모델을 다양한 언어 패턴과 구조에 노출시켜 인간 의사소통의 본질을 포착할 수 있는 과정이 포함됩니다.

Foundation models의 가장 대표적인 사례 중 하나는 GPT-4를 포함하는 OpenAI의 GPT(Generative Pre-trained Transformer) 시리즈입니다. 이러한 모델은 언어 번역, 질문 답변, 요약, 심지어 창의적인 글쓰기와 같은 작업에서 놀라운 기능을 보여주었습니다.

Foundation models의 중요성은 광범위한 데이터 소스의 지식을 일반화하는 능력에 있습니다. 방대한 텍스트 덩어리에 대한 교육을 통하여 이러한 모델은 일관되고 상황에 맞는 언어를 인식하고 생성하는 방법을 배웁니다. 결과적으로 Foundation models은 특정 도메인이나 작업에 맞추어 미세하게 조정될 수 있으므로 다양한 애플리케이션에 여러방법으로 적용가능합니다.

Large Language Models(LLMs)은 다양한 자연어 처리(NLP) 작업을 수행할 수 있는 Foundation models 의 일부분(Subset)입니다.

지난 몇 년 동안 수십 개의 Foundation models이 개발되었으며, 그 중 대부분은 한 양식에서 다른 양식으로 '번역'하는 생성형 AI 모델이었습니다. 텍스트를 텍스트로(GPT), 텍스트를 이미지로(DALL-E), 이미지를 텍스트로(BLIP), 음성을 텍스트로(Whisper), 텍스트를 3D로(DreamFusion), 텍스트를 짧은 비디오로(Make A Video), 텍스트를 더 긴 비디오로 비디오(Phenaki), 비디오를 비디오로(Gen1) 및 ​​텍스트를 3D 비디오로(비디오 3D 만들기). 

Foundation Model 개발연혁

 

FMOps(Foundation Model Ops) 란?

Foundation models 시대에 접어들면서 MLOps는 여러 작업 목표 기반 모델과 다운스트림 비즈니스 로직을 결합으로 인해훨씬 더 많은 upstream 스마트 데이터 준비, 미세 조정 및 긴급 FM 동작 가이드, 추가 후처리 및 체인 연결이라는 중대한 변화를 겪고 있습니다. FMOps(Foundation Model Ops)는 운영적 역량을 말하는것이며,  에플리케이션의 일부로 Foundation models을 적용, 배포, 최적화 및 모니터링하는데 필요한 운영 역량을 말합니다. fine-tuning, guidance(프롬프트), post-processing and chaining을 포함하여 에플리케이션 적용역량이 중요해지고 있습니다.

 

분석가들은 우리가 인공지능 산업시대에 진입하고 있다고 믿습니다. Foundation models(FMs) - 새로운 사용 사례에 쉽게 적용할 수 있는 대규모 사전 훈련된 AI 모델 - 은 창의적인 작업에 혁명을 일으키고 있으며 다양한 산업에서 점점 더 많은 사용 사례가 증가함에 따라 앞으로 더 많은 지식 작업을 증대하거나 대체할 것으로 예상됩니다.

 

참고자료1 : https://www.ml6.eu/resources/foundation-models

Foundation Models | ML6

 

참고자료2: https://www.iguazio.com/glossary/foundation-models/

What are Foundation Models | Iguazio