AWS 11

API 개발 방향 나이브 베이지안 모델과 딥러닝 모델로 학습한 두개의 모델을 서빙하며 0은 부정을 1은 긍정을 의미한다. 텍스트를 받아서 긍정 부정 그리고 신뢰도를 반환하는 api를 만든다. POST 방식으로 predict를 요청한다. do_fast를 true로 하면 빠른 추론 속도가 가능한 머신러닝 모델로 추론 do_fast를 false로 하면 추론 속도는 느리지만 정확도가 높은 딥러닝 모델로 추론 반환되는 포멧은 json { 텍스트 긍정, 부정 신뢰도} 머신러닝 핸들러를 개발했기 때문에 이번에는 딥러닝 모델의 핸들러를 개발한다. 사전 학습한 모델은 Hugging Face에서 제공하는 외부 저장소에서 다운로드 받아 불러온다.

Serving Model에서 define inference를 구현한다. handle 요청 정보를 받아 적절한 응답을 반환 - 정의된 양식으로 데이터의 입력이 왔는지 확인 - 입력값에 대한 전처리 및 모델에 입력할 수 있는 형태로 변환 - 모델추론 - 모델 반환값 후처리 - 결과 반환 model.py에 핸들러 부분이 있다. 기본적인 핸들러는 있지만 밑에 스켈레톤 코드를 작성해 보려고 한다. 핸들러의 이 부분은 데이터 인풋 값 model_input을 전처리 하고, 전처리 후의 데이터를 inference하고 나온 output 데이터를 후처리기에 넣어서 반환한다. initialize 데이터 처리나 모델, configuration을 초기화 한다. - Configuration 등 초기화 - (Optional) 신경..

깃 클론해서 파일을 다운 받는다. 필요한 라이브러리들도 다운 받는다. 아마존 ec2의 무료 프리티어가 용량이 작기 때문에 많은 파일을 다운 받으면 연결이 끊긴다. 재 연결하고, 연결이 안되는 부분을 고친다. 다운 받는 파일 중에 문제가 있는 것이 있어서 개별적으로 다운 받았다. 다운 받은 후 파일을 실행하면 모델이 깃으로부터 raw data를 다운받고 데이터 학습을 시도하고 저장되게 된다. 두개의 새로운 파일이 생겼다. 이 부분에서 로그 기록에 대한 저장이 실행된다. 실제로 실행이 되는지 모델을 불러와서 데이터를 처리해보았다. Serialization은 가능했다. 문장의 긍정, 부정을 판단하여 그것을 저장했다. de-serialization에서는 문제가 발생할 수 있기 때문에 이 부분을 고쳐줘야 한다.

API 아키텍쳐 AWS EC2와 Python Flask 기반으로 모델 학습 및 추론을 요청/응답하는 API 서버 개발 Interface - 사용자가 소프트웨어 제어를 위해 인터페이스를 정해진 메뉴얼로 활용 ex) 마우스, 키보드, 모니터, 프린터.. - 적절한 입력으로 적절한 출력 제공 API Application Programming Interface - 기계와 기계, 소프트웨어와 소프트웨어 간의 커뮤니케이션을 위한 인터페이스 머신러닝, 딥러닝의 RESTful API REST 아키텍쳐를 따라 구현한 API 독립적인 HTTP로 구성된 요청과 반환으로 이루어진 설계 데이터 값을 담아 요청하고, 결과를 json형태로 반환 요청 메시지로 어떤 내용이 있는지 표현 가능 API는 Trained Model File..

인스턴스를 시작하고 매번 실행시 퍼블릭IP주소가 바뀌는데 탄력적 IP주소할당을 하면 주소가 고정되게 되며, 요금이 부과된다. pem키를 Puttyzen에서 ppk키로 변환한 후에 연결한다. 처음 로그인은 ubuntu로 한다.

가입한당 EC2 가상머신을 클릭한다. AMI 카탈로그에서 Deep learning을 검색한다. 나는 윈도우에서 ubuntu 가상머신을 사용하기 때문에 다음 항목을 선택하고, AMI 인스턴스 시작을 누른다. 실습용이기 때문에 프리티어 사용가능한 t2 micro를 선택하고 다음 인스턴스 세부정보구성으로 들어간다. 각 유형별로 장점과 성능이 다르기 때문에 실제로 사용할 때는 그것을 고려한 후 선택하면 된다. 시작을 누르고 마지막 단계에서 rsa 키페어를 다운 받는다.

인프라 기초 서비스 IT app들이 다양하다.

https://www.redhat.com/ko/topics/cloud-computing/iaas-vs-paas-vs-saas IaaS, PaaS 및 SaaS 비교 일반적으로 “서비스형(as-a-Service)”은 제3사에서 제공하는 클라우드 컴퓨팅 서비스를 의미합니다. www.redhat.com 온프레미스(on-premise)는 소프트웨어 등 솔루션을 클라우드 같이 원격 환경이 아닌 자체적으로 보유한 전산실 서버에 직접 설치해 운영하는 방식을 말한다. IaaS 서비스로서의 인프라 또는 IaaS는 온프레미스 인프라에서 한층 발전한 유형입니다. 이는 종량제 서비스로, 필요한 경우 제3사가 스토리지와 가상화와 같은 인프라 서비스를 인터넷을 통해 클라우드로 제공합니다. 사용자는 운영 체제 및 데이터, 애플리케이..

클라우드 이전에는 인터넷 환경에서 서비스를 제공하기 위해 서비스 호스팅에 필요한 모든것을 구축했다. 데이터 센터 (물리적 공간) 서버, 저장소 네트워크 방화벽, 보안 운영체제와 기타 개발도구 전기, 온도, 습도관리 운영관리 인력 서버를 직접구축하고 운영하는 자원과 인력비용이 크고 운영상황의 변화에 능동적으로 대응하기가 어렵다. 회사나 조직이 직접 모든것을 하지 않을 수 있는 IDC가 등장 IDC -Internet Data Center - 서버운영에 필요한 공간 임대 서버 임대를 통해 자원을 효율적으로 이용하고 비용을 줄이지만, 일정기간 임대를 하는 유연성이 떨어지는 구조이다. 인터넷 사용자가 증가하며 필요한 서버를 증설하기 위한 온디맨드 수요 증가 접속량이 늘어나면 오토 스케일링 필요 사용하지 않는 유휴..

다양한 메시지 라우팅 방법들.