Update vllm to work for phi3 vision (#3522)

This commit is contained in:
QianqianNie 2024-10-29 19:11:31 -07:00 коммит произвёл GitHub
Родитель e8ff8af6fa
Коммит 2e39c08ac3
Не найден ключ, соответствующий данной подписи
Идентификатор ключа GPG: B5690EEEBB952194
1 изменённых файлов: 5 добавлений и 0 удалений

Просмотреть файл

@ -49,6 +49,11 @@ RUN pip install git+https://github.com/stanford-futuredata/megablocks.git@5897cd
# When copied to assets repo, change to install from public pypi
RUN pip install llm-optimized-inference==0.2.15 --no-cache-dir
RUN pip uninstall transformers -y
RUN pip uninstall -y vllm
RUN pip install vllm==0.6.1.post2
RUN pip install transformers==4.44.2
# clean conda and pip caches
RUN rm -rf ~/.cache/pip