[파이썬 AI 교육 2일차 : 랭체인]

LangChain 이란?

LangChain 랭체인은 LLM 과 밀접하게 사용되는 도구입니다. 정확히는 어떤 LLM 을 사용하든 상관 없이 일정한 인터페이스로 이용할 수 있게 해주는 라이브러리입니다. 

 

랭체인을 사용하는 이유

LLM 모델에 상관 없도록 일정한 인터페이스로 이용할 수 있게 해주는 것이 가장 큰 장점입니다. 

여기에 더해서 벡터 데이터 베이스 이용도 동일한 인터페이스로 이용할 수 있게 해줍니다. 

에이전트를 활용하여 LLM 이 동적으로 판단하고 실행할 수 있도록 지원해줍니다. 

 

랭체인 구성요소 (RAG 와 관련하여)

아

 

Ollama

llama 에는 여러 버전들이 있는데, ollama 홈페이지에서 llama 를 검색하면 나오는 모델들이 1B 등으로 작은 모델들이 있습니다. 

이 모델들은 '양자화'된 모델들이라고 표현하는데요. 4Byte 짜리를 int 로 줄여버리고, 연산도 심플해지고, 약간의 성능 손실을 감수하고 양자화 시키는 것이죠. 이런 모델들의 특징은 8B 되는 모델들도 CPU 만으로도 실행할 수 있도록 해줍니다.