Notice
Recent Posts
Recent Comments
Link
목록swap (1)
AI on Device
라즈베리 파이 5에 LLM을 올리기 위한 개발설정(3)
#1. LLM과 SLM에 대한 소소한 이야기 이미 전세계적으로 이미 알려진 LLM을 SLM으로 fine tuning해서 배포하거나 상업화하려는 그룹들이 꽤 많다. 그들이 특히 애용하는 LLM은 openAI의 GPT보다는 메타의 LLAMA2으로 보인다. 재미있는 것은 LLAMA2를 fine tuning하기 위해 필요한 parameter가 최소 7Billion 이상이다. 사실 7Billion은 multi-lingual로 구현하기는 어렵다. 현재까지 가장 성공적이라는 평을 받는 SLM은 프랑스 Mistral의 8x 7B 모델이다. 8x 7B는 7Billion(70억) parameter를 분야(혹은 용도)별로 fine tuning한 8개를 합쳐서 만든 언어모델이란 뜻이다. 그런데, 이게 GPT3.5 이상의 성능..
라즈베리 파이 5
2024. 1. 27. 23:35