HOSTKEY разработала свой LLM-бенчмарк для GPU-серверов с NVIDIA. Тест проверяет работу Ollama под нагрузкой, измеряет скорость инференса и выявляет, как разные GPU ведут себя при генерации больших контекстов. Полный скрипт доступен на GitHub.
Официальный блог HOSTKEY публикует новости о трендах индустрии хостинга