라즈베리 파이 5에 LLM을 올리기 위한 개발설정(1)

  이 글은 나 처럼 Raspberry pi 5를 처음 사용하는 사람들도 쉽게 이해할 수 있도록 쓴다고 써 봤다.

 

  처음 작성하는 개발 관련된 블로그로 고려청자 도공같은 우리나라 개발자들, 혹은 개발자를 꿈꾸는 친구들에게 아낌없이 퍼주려고 쓰기 시작하였다. 라즈베리파이 4까지는 단 한번도 사용해본 적이 없다. 라즈베리파이가 출시되었다는 이야기를 들은게 언제인지도 모르겠지만, 단연코 관심이 하나도 없었다. 그러나 RAM 메모리가 8GB라면 이야기가 좀 다르다. 출시 기사를 보자마자 발주부터 냈다. 이미 품절된 사이트들이 많았는데, 찾아보니 2개 남은 device mart가 있어서 악세사리는 선택도 하지 않고 발주부터 냈다. 악세사리 고르는 사이에 품절날까 무서웠다.

 

#1. 라즈베리파이 5 설정을 위해 준비할 것들

일단 아래 것들 모두 준비하고 나서 시작하자.

 

1) 준비물 

       -. Raspberry pi 5 8GB, 쿨링팬  ; 4GB도 있는데, 그냥 8GB 사라.

       -. Raspberry pi 5 케이스 ; 그냥 같이 사는걸 추천한다. 그런데 혹시 깜박했다면 3D 프린터로 뽑을 수

          있도록 thingiverse(https://www.thingiverse.com/thing:6436836)에 올려두었다. 

       -. 모니터 한대, HDMI 케이블, micro HDMI 케이블 어댑터

                     ; HDMI는 집에 한두개씩 있으니 어댑터 사서 쓰는 걸 추천.

       -. USB 키보드와 USB 마우스

       -. 5V 3A 충전기와 type C 케이블 ; 싸이트에서 파는 5V 5A 충전기는 영국 규격으로 별도 어댑터가 필요해서 안씀.

                                                              용량이 부족하지만 5V 3A 어댑터를 사서 쓴다. 어차피 좀 지나면 putty같은

                                                              터미날 프로그램이나, VNC로 구동하게 될 것이라 전력공급 문제는 없다. 

        -. 256GB microSD, class10 ; 난 128GB 사용하고 있다. 256GB 사려고 돈 쓰는건 일단 자제하기로 했기 때문. 나중에

                                                       NVME hat이 한국에 들어오면 NVME로 500GB나 1TB 사용하려고 생각중이다.

         -. microSD USB 어댑터 ; PC의 USB 포트에 꽂아 쓸 수 있는 걸로. 다들 한두개 가지고 있지 않을까?

 

2) 소프트웨어 준비

         -. rufus ; FAT32로 256GB microSD를 포맷하기 위해 필요하다. (https://rufus.ie/ko/)

         -. Raspberry pi imager ; Raspberry pi 홈페이지에서 다운 받자. (https://www.raspberrypi.com/software/)

         -. putty ; telnet과 같은 command line 이다. (https://www.puttygen.com/download-putty)

         -. realVNC ; remote monitor이다. (https://www.realvnc.com/en/connect/download/viewer/)

 

#2. Raspberrian OS 굽기

  아래 순서에 따라 진행하는 것을 추천한다.

  microSD 카드를 format 하지 않고 사용하는 경우 라즈베리안이 필요한 영역만 파티션하고 나머지는 나몰라라 한다. 그냥 사용하게 되면 256GB를 200MB(!)로 사용하게 된다.

 

 

1) microSD format

    -. 256GB 용량은 윈도우에서 FAT32로 설정이 잡히지 않고 NTFS로 잡히기 때문에 굳이 rufus를 이용해서 포맷을 진행한다. 포맷이 끝나면 그대로 두고 라즈베리 파이 이미저를 실핸한다.

 

2) Raspberry pi imager 

 

  raspberry pi imager를 실행하고 아래 그림과 같이 설정한다.

 

  여기서 주의점이 하나 있다.

  아래 그림에 보면 저장소를 선택하는데 가끔 PC 윈도우가 게을러서 USB 인식이 잘 안되는 경우가 있다. 그러면 그림 맨 아랫부분의 삼지창 모습이 뜨지 않게 된다. 그림에 보이는 위의 두개가 microSD 모습과 비슷하기 때문에 가끔 헷갈려서 둘중 하나를 선택하고 진행하는 경우가 있다.

 

   반드시 삼지창을 확인하자~! 

 

 

* 그림의 8GB는 캡처뜨기 위해 그냥 꽂아둔 것이고 나는 지금 128GB를 사용중이다.

 

#3.  Raspberry pi 5 부팅~

 

  보통 모니터나 키보드, 마우스 없이 이리저리 연결해서 설정을 하는 경우가 유튜브에 많이 있다.

  난 개인적으로 이런게 더 불편해서 그냥 다 연결했다. 제일 빠르고 변수가 적기 때문이다. 설정이 끝난 후에 전부 빼 버리고, WiFi 잘 터지거나 LAN 연결되는 곳에 두고 원격으로 사용하는게 내 개발환경에서는 효율적이었다.

 

  마이크로 HDMI 케이블은 USB 전원에 가까운 포트에 꽂도록 하자.

 

  이것 저것 깔거나 시도해보다 엉키거나 좀 문제가 있으면 제일 편한게 밀이버리고 다시 깔아버리는 것이다. 그런데 그때마다 동적할당으로 인해 IP address 가 변한다. 내 개발용 PC는 LAN에 연결해서 사용하기 때문에 라즈베리와는 IP로만 접속이 되는데, IP가 수시로 변하면 귀찮다. 

 

  물론 이렇게 연결하는 경우 좋지 않은 경우도 있는데, 성능이 좋아진 대신 전력소모도 커져서 5V 5A가 안되는 5V 3A 어댑터로 사용해야 해서 화면에 꼭 저전력 경고문구가 나타나긴 한다. 간혹 저전압 문구가 나타나는 경우가 있는데, 이건 좀 위험할 수 있다. 설치하다말고 사망하는 경우가 발생하고, 부팅하다 죽기도 하기 때문이다. 추후에 5V 5A 어댑터가 시중에 나오면 그때는 사서 안정되게 사용하도록 하자. 

 

 

  이렇게 케이블을 전부 연결하고 나면 모니터에 부팅 이미지가 나타나고, 윈도우와 비슷한 wall paper와 약간은 낯선 아이콘들이 나타난다~

 

 

바탕화면의 우상단에 보면 네트웍을 설정할 수 있게 되어 있다. 만약 네트웍이 연결되어 있지 않다면, 'X'가 나타나는데, 그때 클릭해서 원하는 네트웍으로 연결하면 설정은 끝난다.

 

좌상단에는 메뉴바와 기본 아이콘이 몇개 보인다.

 

여기까지 하면 기초 설정은 끝난 것이다.

 

내 경우는 WiFi로 연결한 것인데, 부팅초기에 아래 그림과 같은 정보를 제공한다. IP address를 적어두도록 하자. 나중에 putty나 realVNC로 연결할 때 꼭 필요한 내용이다.

 

경고문 아래쪽 박스에는 "전원공급 능력이 5A가 아니기 때문에 주변기기에 공급할 전류가 제한된다"는 내용이 있는데, 라즈베리 파이 5의 USB 포트를 통해 주변기기에 공급되는 전류가 제한된다는 내용이다. low voltage의 경우에는 문제가 생길 수 있지만, 이 경우는 라즈베리의 USB 포트에 큰 전류를 먹는 어떤 것을 붙여서 운용하지 않는한 별 문제가 없다.

 

  처음에 휴대폰 급속 충전용 어댑터를 연결했는데 잘 되다가 죽더니, 그 다음에는 부팅하다 죽고를 계속 반복했었다. 몇일 별 짓을 다 하다가 결국 전력문제가 아닐까로 생각하면서 3A 어댑터를 인터넷으로 사서 연결해보니 문제가 없었다. 물론 type C 케이블도 3A 이상의 전류를 감당할 수 있는 것으로 구매했다. 

 

  5V 5A 어댑터가 집에 있어서 자르고 개조해서 type C 부품까지 사서 붙여봤는데, 역시 문제가 있었다. 아마도 type C 커넥터의 5V 전압핀이 모두 연결되지는 않은 모듈인 것 같았다. 결국은 인터넷으로 보고 케이블이 오동통한 것을 사서 쓰는게 제일 좋다는 생각이다. 

 

**  참고로 ......5V 5A type C 커넥터는 규격을 초과하는 비규격 제품이다. 왜 이렇게 이상하게 부품을 적용했는지는 잘 모르겠지만, 머지않아 솔루션이 나올 것으로 생각한다. - 끝