AWS BEDROCK 은 AI 에 대한 지식 없이도 생성 AI 기반 APPLICATION 을 쉽게 만들어주는 서비스입니다. 서버리스 방식이며, 인프라를 관리할 필요 없이 생성 AI 를 단일 API 로 제공하는 서비스입니다.
AMAZON TITAN 뿐만 아니라 다양한 AI 모델들을 가져와서 사용할 수 있도록 서비스가 개발되어 있습니다. 파인튜닝과 RAG(내 데이터 기반 응답 기능) 등도 지원하며 보안도 훌륭합니다.
BEDROCK MODEL 연결까지
콘솔창에서 BEDROCK 검색
다양한 파운데이션 모델들이 있고, 여기서 선택하여 애플리케이션을 만들 수 있습니다.
심지어 CUSTOM 모델도 만들 수 있습니다.파인 튜닝을 통해서 모델을 만들고, 그 모델을 통해서 API 를 개발할 수 있습니다.
모델을 활용하기 위해서는 MODEL ACCESS 권한을 획득해야 하는데요.MODEL ACCESS 를 누른 후 MANAGE MODEL ACCESS 를 클릭합니다.
연결하려는 모델들을 선택한 다음, SAVE CHANGES 를 클릭해주면 MODEL ACCESS 가 진행됩니다.
특이하게 CLAUDE 만 USE CASE 를 제출해야 승인이 진행되기 때문에, 이 녀석만 생략하고 넘어가겠습니다.
BEDROCK MODEL TEST (CHAT)
PLAYGROUNDS 를 통해서 모델을 테스트 해볼 수 있는데요. CHAT 기능을 통해서는 해당 모델과 채팅하는 기능을 테스트 해볼 수 있구요.
TEXT PLAYGROUND 에서는 다음 문장을 자동완성하는 기능을 해볼 수 있구요.
IMAGE 에서는 이미지 생성을 테스트 해볼 수 있습니다.
CHAT 부터 테스트를 해보겠습니다. SELECT MODEL 을 클릭한 다음모델 선택하면, 해당 모델과 채팅을 해볼 수 있게 됩니다.
채팅을 진행하면서 우측에 설정값(파라미터)와 COMPARE MODE 를 활용할 수 있습니다. 예를 들어 다양한 모델도 동시에 비교해볼 수 있는데요.똑같은 질문을 해서 서로 다른 답변을 비교해볼 수 있습니다. 그래서 내가 만들고자 하는 APPLICATION 에 더 맞는 모델을 실험을 통해서 찾은 다음에 API 를 만들 수 있게 됩니다.
그리고 하단의 MODEL METRICS 를 통해서 사용된 비용과 성능을 확인해볼 수 있습니다.
BEDROCK MODEL TEST (TEXT) & PYTHON 코드로 API 호출
TEXT 에서도 마찬가지로 모델을 선택하고 문장을 넣을 수 있는데요.RUN 을 눌러보면 LLM 의 응답을 확인해볼 수 있게 됩니다.
또한 ... 을 누르고 VIEW API REQUEST 를 눌러보면, 방금 확인한 응답을 얻게 하는 API 도 확인해볼 수 있습니다. LEARN MORE 를 눌러보면, 상세한 문서를 확인해볼 수 있는데요.들어가보면 CMD 를 이용해 호출하는 방법, PYTHON 을 이용해 호출하는 방법들이 나와있는 것을 확인할 수 있습니다.
PYTHON 코드를 보면 상당히 간단한데요. BEDROCK 을 이용하여
원하는 질문(PROMPT)을 포함하고, 각종 파라미터들을 설정해준 다음에
어떤 모델을 사용할 것인지를 지정하고,
요청을 날리기만 하면, 간단한 PYTHON 코드로도 API 를 통해서 응답을 받아볼 수 있는 것을 확인할 수 있습니다.
IMAGE 생성
IMAGE 생성도 마찬가지로 쉽게 테스트 해볼 수 있는데요. 모델을 선택하고 프롬프트를 넣어서 RUN 을 누르면 이미지가 생성되는 것을 확인할 수 있습니다.
마찬가지로 API REQUEST 도 확인해볼 수 있습니다.
KNOWLEDGE BASE & AGENTS
KNOWLEDGE BASE 라고, 내가 가진 정보를 바탕으로 답변을 해주는 챗봇을 만드는 작업도 해줄 수 있습니다. 또한 FOUNDATION 을 활용하여 나만의 AGENTS 를 만드는 기능도 해볼 수 있습니다.
MODEL EVALUATION
게다가 다양한 모델을 만드는 만큼, 모델들에 대한 평가하는 툴도 제공해주는 것을 확인할 수 있습니다.
PARTYROCK
추가로 BEDROCK 을 이용해서 어떤 APPLICATION 을 만들어야할지 감이 안 오시는 분들을 위해서PARTYROCK 이 출시되었습니다.
BEDROCK 을 활용하여 어떤 서비스를 만들 수 있을지 감을 잡을 수 있는 서비스라고 이해를 할 수 있겠습니다. 직접 만들어보도록 하겠습니다. GENERATE APP 을 클릭 후 내가 만들고자 하는 내용을 입력하고 GENERATE APP 을 눌르면 됩니다.
저는 투자 관련 AI 서비스가 생성되었습니다.
이렇게 생성된 서비스가 어떻게 만들어졌는지도 알아볼 수 있는데요.오른쪽에 EDIT 버튼을 클릭하면현재 사용된 모델과 PROMPT 를 확인할 수 있습니다. 다른 모델로도 변경이 가능하며, PROMPT 도 확인할 수 있습니다.
PROMPT 를 보면, USER INPUT 에 따라서 짧은 시를 써달라는 PROMPT 가 작성되어 있는 것을 확인할 수 있습니다. PROMPT 는 내가 원하는 대로 수정해줄 수 있습니다.
