[용어설명]FMOps,LangChain,프롬프트 체이닝,토큰 소비량,전이 학습,엔드 투 엔드 플랫폼,코파일럿,Agile

[IT 용어 설명]FMOps,LangChain,프롬프트 체이닝,토큰 소비량,전이 학습, 엔드 투 엔드 플랫폼,코파일럿,  Agile

 

안녕하세요 머킹입니다.

 

오늘부터 유명 기업들의 테크 블로그를 읽고 

제가 모르는 용어들을 설명하고자 합니다!

 

▼ 오늘 읽은 블로그 ▼

https://tech.kakaoenterprise.com/196

[IT TREND] FMOps, LLM 시대의 AI 앱 개발 방법

 

---

FMOps (Foundation Model Operations)

“MLOps가 AI 모델의 개발, 배포, 최적화를 위한 플랫폼이라면 FMOps는 이미 학습을 마치고 배포된 모델과 자사 또는 자신의 데이터를 결합하여 커스텀한 LLM 기반 AI 앱을 만드는 것.”

카카오엔터프라이즈, [IT TREND] FMOps, LLM 시대의 AI 앱 개발 방법, 2023. 6. 16.

 

FMOps라는 단어는 처음 들어봐서 굉장히 생소했는데 이런 뜻이었습니다.

카카오엔터프라이즈는 이렇게 MLOps와 FMOps의 차이를 정의하고 있습니다.

확실히 차이점을 보니 FMOps가 왜 중요한지 알겠네요.

 

기반 모델 (Foundation Model; 줄여서 FM)

글을 쭉 읽으면서 기반 모델의 뜻은 뭘까?라는 궁금증이 생겼습니다.

기반 모델이란?

기반 모델이란 다양한 작업을 수행할 수 있도록 사전에 훈련된 ML(머신 러닝) 모델의 한 유형을 말합니다. 

최근까지 AI(인공지능) 시스템은 특정 애플리케이션이나 단일 활용 사례를 위해 ML 모델을 훈련해야 하는 특화된 도구였습니다. 베이스 모델(base model)이라고도 알려진 기반 모델이라는 용어는 전문가들이 머신 러닝 분야 내의 다음 두 가지 동향에 주목하면서 널리 사용되기 시작했습니다.

1. 소수의 딥러닝 아키텍처가 다양한 작업에 대한 결과를 얻는 데 사용되고 있었습니다.
2. 훈련에서 의도하지 않았던 새로운 개념이 AI(인공지능) 모델에서 발생할 수 있습니다. 

기반 모델은 패턴, 구조, 표현을 일반적인 맥락에서 이해하도록 프로그래밍되어 왔습니다. 패턴을 전달하고 식별하는 방법에 대한 이와 같은 근본적인 이해는 향후 수정 또는 미세 조정을 거쳐 거의 모든 업계에서 영역별 작업을 수행할 수 있는 지식의 기준을 생성합니다.

 

출처 : https://www.redhat.com/ko/topics/cloud-computing/foundation-models

AI를 위한 기반 모델이란?

 

LangChain

랭체인(LangChain)은 노출하여 대규모 언어 모델과 애플리케이션의 통합을 간소화하는 SDK이다. 

랭체인은 LLM과 애플리케이션의 통합을 간소화하도록 설계된 SDK로서 앞서 설명한 대부분의 문제를 해결한다.

랭체인은 ODBC, 또는 표준 SQL 문에 집중하게 함으로써 백엔드 데이터베이스의 구현 세부 정보를 요약하는 JDBC 드라이버와 비슷하다고 할 수 있다.

 

랭체인은 간단하고 통합된 API를 노출하여 기본 LLM의 구현 세부 사항을 요약하는데, 이 API를 통해 개발자들은 코드를 크게 변경하지 않고 모델을 쉽게 교체하거나 대체할 수 있다.

 

출처 : https://www.ciokorea.com/column/305341#csidx973f1264e8a2e758d10e50c3f1541b5

기고 | LLM과 함께 뜨는 중··· 개발자를 위한 '랭체인' 안내서

근데 SDK는 뭘까요..?

이것도 궁금해서 찾아봤습니다.

 

SDK는 소프트웨어 개발 키트(Software Development Kit)의 약자입니다.

SDK는 기본적으로 미리 작성된 코드인데, 여기에는 개발자가 기존 소프트웨어를 사용하여

새 애플리케이션을 구축하는 데 필요한 모든 도구가 포함됩니다.

 

출처 : Thales CPL

프롬프트 체이닝

프롬프트 체이닝은 대화형 AI에서 사용되는 기술로, 대규모 언어 모델을 활용하여 사용자 입력을 해석하고

그에 따라 응답함으로써 상황에 맞는 동적 챗봇을 생성합니다.

이 기술은 GPT-3.5와 같은 대규모 언어 모델의 강점을 활용하여 일련의 프롬프트를

순서대로 입력함으로써 일관성 있고 관련성 있는 출력을 생성합니다.

이를 통해 이전 대화 또는 어시스턴트 구성을 기반으로 맞춤형 응답을 생성하여

개인화를 추가하고 사용자 참여를 높일 수 있습니다.

프롬프트 체인의 힘

프롬프트 체인의 진정한 힘은 복잡한 추론과 문맥 학습을 촉진하는 능력에 있습니다.

관련 입력과 응답을 순차적으로 제공함으로써 언어 모델은 사전 지식을 바탕으로

대화의 기록과 깊이 연결된 출력을 생성할 수 있습니다.

 

이 접근 방식은 인간과 유사한 사고를 모방하고 AI가 중간 단계를 통해 추론할 수 있도록 하여

이전에는 어려웠던 복잡한 프롬프트 쿼리를 처리할 수 있게 해 줍니다.

대화형 AI에 프롬프트 연쇄를 통합함으로써 chatbots 사용자 입력을 더 잘 이해하고 적절한 응답을 생성하며

엔티티를 더 효과적으로 캡처할 수 있습니다.

 

출처 : https://botpress.com/ko/blog/what-is-ai-prompt-chaining

AI 프롬프트 체인이란 무엇인가요? | Botpress 블로그

토큰 소비량

토큰은 말뭉치의 최소 단위입니다.

말뭉치(corpus)는 특정한 목적을 가지고 수집한 텍스트 데이터를 뜻합니다.

컴퓨터는 자연어로 된 텍스트 뭉치를 이해하지 못합니다.

 

컴퓨터가 자연어를 이해할 수 있도록 만드는 작업이 필요한데요.

토큰으로 쪼개어 벡터로 만들어 주어야 합니다.

단어를 숫자로 바꿔준다고 이해하면 조금 더 쉽습니다. 토큰은 한국어에서 띄어쓰기를 기준으로 자를 수도 있고,

형태소 기준으로 자를 수도 있습니다

 

출처 : [인공지능 기사 읽기] 파라미터와 토큰은 무엇인가

토큰 소비량은 대용량 언어 모델이 돌아가는 값들이라고 포괄적으로 생각하면 좋을 것 같습니다.

전이 학습

전이 학습은 관련 작업에 대해 이미 훈련된 모델의 일부를 가져와

새 모델에서 재사용함으로써 손쉽게 데이터를 구축하는 기술입니다.

 

출처 : Tensorflow.js

엔드 투 엔드 플랫폼

엔드투엔드(End-to-End) 엔드투엔드 플랫폼은 하드웨어와 소프트웨어, 커넥티비티, 보안, 그리고 수백 만 개에 달하는

디바이스의 연결을 관리하기 위한 툴 등을 제공합니다.

 

출처 : 사물인터넷 플랫폼을 위한 기획&분석 (미래교육지원연구소원격평생교육원)

 

 

코파일럿

코파일럿(Copilot)은 깃허브(GitHub)가 출시한 AI 기반 코딩 도우미입니다.

약 1년간의 기술 프리뷰 기간을 거쳐 지난 2022년도에 정식 출시됐습니다.

이제 누구나 코파일럿을 한 달에 10달러, 일 년에 100달러로 사용할 수 있습니다.

오픈소스 프로젝트의 관리자와 학생에겐 무료로 제공됩니다.

 

코파일럿, 어떤 기능이 있나요?

코파일럿은 개발 중인 코드의 문맥을 분석하고 이해한 후 코드를 자동으로 만들어 줍니다.

문자메시지의 자동완성 기능을 떠올리면 쉽습니다.

주석으로 설명을 쓰면 그에 맞는 코드를 자동으로 생성해 주는 기능도 있습니다.

번역 소프트웨어가 작동하는 방식과 유사합니다.

개발자는 제안된 코드를 받아들일지, 거절할지, 혹은 편집할지 결정할 수 있습니다.

이 밖에도 작성한 코드에 대한 대안 제시, 테스트 자동 생성 등의 기능을 제공합니다.

 

출처 : https://spartacodingclub.kr/blog/weeklyit_copilot

 

Agile

프로그래밍에 집중하여 개발 환경에 따라 유연하게 소프트웨어를 개발하는 방식입니다.

 

애자일(Agile) 개발 방식이란?

애자일 개발 프로세스는 기획 - 개발 - 출시로 구성된 짧은 주기의 사이클이 반복되는 형식입니다.

해당 프로세스를 통해 시장 변화에 유연하게 대처하는 것이 애자일 개발 방식의 특징으로 볼 수 있습니다.

한 마디로 개발주기를 짧게 반복하여 위험을 최소화시키고 소통을 중요시 여기는 방식이 애자일 개발 방식입니다.

 

출처 : https://m.blog.naver.com/pentamkt/222296220984

[하루 3분 IT] 애자일 개발(Agile Software Development)

 

 

---

 

이렇게 용어를 정리해 봤는데요.

역시 모르는 용어가 많았는데 정리하고 나니까 생각보다 그렇게 어려운 용어들이 아니었구나 깨달았습니다.

다음에 또 찾아오겠습니다!