ML/AI - TF Serving std::bad_alloc

tensorflow serving으로 모델을 서빙하던 중 에러가 발생했다.

 

오류만 보면 heap 메모리가 부족한 것이다.

https://cocoon1787.tistory.com/813

 

하지만 이는 tensorflow serving의 현재 latest에서 발생하는 문제였다.

https://stackoverflow.com/questions/73957731/request-to-tfserving-fails-with-stdbad-alloc

https://github.com/tensorflow/serving/issues/2048

https://github.com/tensorflow/serving/issues/1685

 

Tensorflow Serving 2.11이후에 해결되었다고 한다.

 

Tensorflow Serving의 태그를 찾는다.

태그들에 있는 설명이다. devel은 모든 소스가 다 들어있는 것이다. 필요 없다.

2.11-gpu를 찾아보자.

https://hub.docker.com/layers/tensorflow/serving/2.11.0-rc2-gpu/images/sha256-5198c5e4d055085643a8874d320cff693974f1d9b7210bec673fa75c03f24daf?context=explore 

2.11.9-rc2-gpu이다.

 

태그들에 보이는 rc0, rc1, night등의 의미는 아직 모르겠다.

 

결과적으로, 이 이미지로 실행했더니 오류없이 잘 실행된다.