Notice
Recent Posts
Recent Comments
Link
목록llama2-7b (1)
AI on Device
#라즈베리 파이 5에 LLaMA 올리기 (1/2)
앞에서 실패를 향한 지루한 과정이 있었다. 망해봐야 보이는 것이 있고, 배우는 것이 있다. 물론 "망했다 !!"는 것을 깨우치기 전까지 투입된 시간과 노력이 정말 아깝지만, 이런 과정을 거쳐야 좋은 개발자가 될 것으로 본다. - - - - - hugging face에서 제시한 usage로는 메모리 부족 문제를 해결할 수 없었다. 우선 LLaMA2를 대상으로 fine tunning을 한 mistral / mixtral 계열은 사이즈가 LLaMA2 보다 크다. 문제는 또 있었다. 4bit quantization은 솔직히 말귀를 못알아 먹는다. 그럼에도 불구하고 4bit짜리라도 일단 올려보고 bit수를 올리는 작업을 하려고 한다. 그후에 quantization bit를 하나씩 올리는 수 밖에 없다. 그래도 안..
라즈베리 파이 5
2024. 2. 27. 01:06