есть вот такая фиговина DEEPX DX-M1: слабовато но меллочьвсякую запустит: https://ozon.ru/t/WcSKA1H Есть аналогичные железки чуть мощнее Hailo-8 / Hailo-10H https://ozon.ru/t/wE0CJZS Есть приколы от нвидии Jetson Orin и NVIDIA DGX Spark: для мелко средних моделей: https://ozon.ru/t/4K9pQCF для средне высоких: https://ozon.ru/t/3QfD1XO дорого очень но запустит все: https://ozon.ru/t/a8ucDIh Камушки в мини пк: AMD Ryzen AI вот например в целом не дорого, если с ии не срастется будет пк хотябы: https://www.ozon.ru/category/mini-pk-15705/?category_was_predicted=true&deny_category_prediction=true&from_global=true&text=AMD+Ryzen+AI https://ozon.ru/t/dwvktbp Apple mini PC Чем больше памяти тем жирнее ИИ модели https://ozon.ru/t/j7NqLKx https://ozon.ru/t/cFJjW7t Raspberry Pi 5 + AI Kit Не рассматривал, но шляпы есть. USB Flash: ASUS UGen300 (на чипе Hailo-10H) Gyfalcon Laceli AI Stick Intel Movidius Neural Compute Stick 2 https://ozon.ru/t/qtRZ5ZL Приставки: https://ozon.ru/t/LCjzHoL В этом году производители обещали много всяких готовых решений. Возможно завалят рынок железом для ИИ.
Что будем крутить:
https://www.jan.ai/ https://ollama.com/ https://lmstudio.ai/ https://anythingllm.com/
Какие модели:
Для базовых ПК и Mac (от 8 до 16 ГБ оперативной памяти)Вам нужны ультралегкие, но «умные» модели. Скачивайте их в формате сжатия Q4 (квантование): Llama 3.2 (3B) Qwen 2.5 (3B / 7B) Phi-4 (от Microsoft) Для мощных ПК и Mac (от 24 до 48 ГБ оперативной памяти) Qwen 2.5 (14B / 32B) DeepSeek-Coder-V2 (16B) Mistral Large / Nemo (от 64 ГБ оперативной памяти) Llama 3.1 (70B) / DeepSeek R1 (70B)