몇 번 언급했지만, 로컬모델에서 대충이라도 굴리려면 최저는 3B, 어지간하면 7-9B 정도 모델이어야 한다(q4KM 정도로).
간단한 질문, 작업, 최저한도의 에이전트 기능 같은 걸 하려면 그 정돈 되어야 한다.
그런 면에서 a19 pro는 램 12g로 3b 짜리를 항시 로딩할 수 있고, gpu 뉴럴 가속기는 첫 응답까지의 시간을 상당히 줄여준다는 점에서 아이폰 17 프로/M5 기기는 로컬 ai 상주 기기로서 최저한도의 수준을 마련했다 할 수 있다.
문제라면 당장 거기 올릴 모델이 없다는 거지만…ㅋㅋㅋ
add a skeleton here at some point
4 days ago