AI on Device

앞에서 실패를 향한 지루한 과정이 있었다. 망해봐야 보이는 것이 있고, 배우는 것이 있다. 물론 "망했다 !!"는 것을 깨우치기 전까지 투입된 시간과 노력이 정말 아깝지만, 이런 과정을 거쳐야 좋은 개발자가 될 것으로 본다. - - - - - hugging face에서 제시한 usage로는 메모리 부족 문제를 해결할 수 없었다. 우선 LLaMA2를 대상으로 fine tunning을 한 mistral / mixtral 계열은 사이즈가 LLaMA2 보다 크다. 문제는 또 있었다. 4bit quantization은 솔직히 말귀를 못알아 먹는다. 그럼에도 불구하고 4bit짜리라도 일단 올려보고 bit수를 올리는 작업을 하려고 한다. 그후에 quantization bit를 하나씩 올리는 수 밖에 없다. 그래도 안..

#1. LLM과 SLM에 대한 소소한 이야기 이미 전세계적으로 이미 알려진 LLM을 SLM으로 fine tuning해서 배포하거나 상업화하려는 그룹들이 꽤 많다. 그들이 특히 애용하는 LLM은 openAI의 GPT보다는 메타의 LLAMA2으로 보인다. 재미있는 것은 LLAMA2를 fine tuning하기 위해 필요한 parameter가 최소 7Billion 이상이다. 사실 7Billion은 multi-lingual로 구현하기는 어렵다. 현재까지 가장 성공적이라는 평을 받는 SLM은 프랑스 Mistral의 8x 7B 모델이다. 8x 7B는 7Billion(70억) parameter를 분야(혹은 용도)별로 fine tuning한 8개를 합쳐서 만든 언어모델이란 뜻이다. 그런데, 이게 GPT3.5 이상의 성능..

#0. 뜬금포 개발설정이라고 제목을 정햐주긴 했지만, 라즈베리와 같은 시스템은 솔직히 다용도로 사용하기에는 제한적이라고 생각한다. PC처럼 확장성이 좋지는 않아서 거의 단일 목적으로 사용하는 개념으로 받아들이고 있다. 아두이노를 쓰다가 용량 문제가 발생하거나, OS를 꼭 써서 좀 많은 프로그램을 돌리고 싶을 때가 있다. 아두이노는 그럴 때 좀 아쉬운 면들이 있는데, 그런 것을 대체할 수 있는 정도로 이해하고 있다. 물론 이걸로 소규모 메일 서버나 NAS 같은 걸 만드는 사람들도 있긴 하지만....그냥 공짜로 주는 메일이나 1년에 얼마내고 사용하는 구글 드라이브, 이런게 좀 더 효율적일 것 같아서 나는 아예 생각도 하지 않는 편이다. 그럼 나는 왜 하고 있는 걸까? 이걸로 사업의 디테일을 잡기 위해 하는 ..

이 글은 나 처럼 Raspberry pi 5를 처음 사용하는 사람들도 쉽게 이해할 수 있도록 쓴다고 써 봤다. 처음 작성하는 개발 관련된 블로그로 고려청자 도공같은 우리나라 개발자들, 혹은 개발자를 꿈꾸는 친구들에게 아낌없이 퍼주려고 쓰기 시작하였다. 라즈베리파이 4까지는 단 한번도 사용해본 적이 없다. 라즈베리파이가 출시되었다는 이야기를 들은게 언제인지도 모르겠지만, 단연코 관심이 하나도 없었다. 그러나 RAM 메모리가 8GB라면 이야기가 좀 다르다. 출시 기사를 보자마자 발주부터 냈다. 이미 품절된 사이트들이 많았는데, 찾아보니 2개 남은 device mart가 있어서 악세사리는 선택도 하지 않고 발주부터 냈다. 악세사리 고르는 사이에 품절날까 무서웠다. #1. 라즈베리파이 5 설정을 위해 준비할 것..