전체 글
-
-
AWS - Lambda with docker image, LAMBDA_TASK_ROOT카테고리 없음 2022. 11. 15. 04:11
FROM public.ecr.aws/lambda/python:3.8 # Copy function code COPY app.py ${LAMBDA_TASK_ROOT} # Install the function's dependencies using file requirements.txt # from your project folder. COPY requirements.txt . RUN pip3 install -r requirements.txt --target "${LAMBDA_TASK_ROOT}" # Set the CMD to your handler (could also be done as a parameter override outside of the Dockerfile) CMD [ "app.handler" ..
-
AWS API Gateway + Lambda - Exception(Error) 처리하기.카테고리 없음 2022. 11. 15. 03:29
lambda에서 리턴하는 값(Response)을 정규식으로 필터링 해서 값이 찾아지면 필터에 걸리는 방식이다. lambda test의 결과이다. 이것 전체를 string삼아서 정규식 처리한다. 우선 Integration Response를 처리한다. 이 블로그에서 다루지는 않겠지만, 정규식에 대한 이해가 필요하다. 나의 경우 간단하게 .*Invalid.*로 처리하였다. 이것만 의미를 알아보자면, .은 모든 문자를 의미한다. *은 0번이상의 반복을 의미한다. -> 모든 문자가 0번 이상 반복되다가 Invalid를 만나고, 이후로도 모든 문자가 0번이상 반복되는 경우 이 정규표현식에 잡히게 된다. 이제, Method Response를 처리한다. 원하는대로 header와 response model을 설정한다. ..
-
ML/AI - TF Serving std::bad_alloc카테고리 없음 2022. 11. 14. 01:11
tensorflow serving으로 모델을 서빙하던 중 에러가 발생했다. 오류만 보면 heap 메모리가 부족한 것이다. https://cocoon1787.tistory.com/813 하지만 이는 tensorflow serving의 현재 latest에서 발생하는 문제였다. https://stackoverflow.com/questions/73957731/request-to-tfserving-fails-with-stdbad-alloc https://github.com/tensorflow/serving/issues/2048 https://github.com/tensorflow/serving/issues/1685 Tensorflow Serving 2.11이후에 해결되었다고 한다. Tensorflow Servin..
-
ML/AI - GPU OOM 문제카테고리 없음 2022. 11. 13. 23:43
학습가능 환경 - 로컬 - GPU: RTX 4090 - GPU RAM: 24GB - 코랩 프로 플러스 모델 요약(파라미터 수) 문제 상황 최대 메모리 사용량 체크: https://stackoverflow.com/questions/70763324/how-to-print-the-maximum-memory-used-during-kerass-model-fit -> 31 gb 해결 방법 오픈 채팅방 질문에 대한 답변 1. 모델 사이즈가 커서 모델자체를 gpu에 올리지 못할 경우 : 방법 없음. 더 큰 gpu를 써야함 2. 모델은 gpu에 올릴 수 있지만 배치가 커서 oom이 뜨는 경우 : 오프라인으로 배치 만들어서 돌리는 방법등이 있음 '''배치를 줄이면 되지 않을까요? bert에 레이어 하나 올리신거 같은데 2..
-
-
-