Skip to content

Inference可以支持Batch处理吗?以及finetune.py是否可以支持自定义system prompt #25

@WeitengHu

Description

@WeitengHu

我看目前的infer.py是单样本处理的,可不可以考虑后续支持一下批量batch处理呢?
finetune.py目前写死了system id,可不可以考虑后续在数据集格式中加入system字段,然后可以自定义system?

Metadata

Metadata

Assignees

No one assigned

    Labels

    No labels
    No labels

    Type

    No type
    No fields configured for issues without a type.

    Projects

    No projects

    Milestone

    No milestone

    Relationships

    None yet

    Development

    No branches or pull requests

    Issue actions