Metadata-Version: 2.5
Name: dataforge
Version: 1.2.1
Summary: 온톨로지 기반 LLM 학습 데이터셋 생성 도구 - 문서를 넣으면 파인튜닝용 한국어 QA 데이터셋이 나옵니다 (전 과정 로컬 오픈웨이트 모델)
Author-email: BNi&C <cmlee@bninc.co.kr>
License: # DataForge 최종 사용자 라이선스 계약 (EULA)
        
        버전 1.0 · 2026년 9월 3일 · BNi&C
        
        본 소프트웨어("DataForge")는 BNi&C의 상용 소프트웨어입니다. 라이선스를 구매한 조직("고객")에게 아래 조건으로 사용권이 부여됩니다.
        
        1. **사용권** - 고객은 라이선스 증서에 명시된 수의 장비에 DataForge를 설치·사용할 수 있습니다. 사용권은 비독점적이며 양도할 수 없습니다.
        2. **제한** - 고객은 본 소프트웨어를 재판매, 재배포, 임대하거나 소스코드를 제3자에게 공개할 수 없습니다. 역컴파일·역공학은 관련 법이 허용하는 범위에서만 가능합니다.
        3. **산출물** - DataForge로 생성한 데이터셋의 권리는 고객에게 있습니다. 단, 데이터셋 생성에 사용된 각 오픈웨이트 모델(GLM, Qwen, gpt-oss, EXAONE, BGE 등)의 라이선스는 해당 모델의 조건을 따릅니다.
        4. **보증의 부인** - 본 소프트웨어는 "있는 그대로" 제공되며, 생성된 데이터의 정확성·완전성은 보증되지 않습니다. 고객은 학습 사용 전 데이터를 검수할 책임이 있습니다.
        5. **책임의 제한** - BNi&C의 총 배상 책임은 고객이 지불한 라이선스 비용을 초과하지 않습니다.
        6. **지원** - 라이선스 유효 기간 동안 이메일(cmlee@bninc.co.kr) 기술 지원과 마이너 업데이트가 제공됩니다.
        
        본 소프트웨어를 설치하거나 사용하면 위 조건에 동의한 것으로 간주됩니다.
License-File: LICENSE.md
Keywords: dataset,fine-tuning,korean,llm,ollama,ontology
Requires-Python: >=3.10
Requires-Dist: cryptography>=42.0
Requires-Dist: numpy>=1.26
Requires-Dist: pypdf>=4.0
Requires-Dist: python-docx>=1.1
Requires-Dist: pyyaml>=6.0
Requires-Dist: requests>=2.31
Description-Content-Type: text/markdown

# DataForge

**문서를 넣으면 파인튜닝용 학습 데이터셋이 나옵니다.**
온톨로지 기반 지식 추출 + 전 과정 로컬 오픈웨이트 모델 - 데이터가 외부로 나가지 않습니다.

BNi&C · v1.2.1 · 상용 라이선스([LICENSE.md](LICENSE.md))

## 설치

```bash
./install.sh                      # 또는:
uv tool install ./dataforge-1.2.1-py3-none-any.whl
```

## 빠른 시작

```bash
dataforge init 우리회사-데이터셋
cd 우리회사-데이터셋
dataforge doctor --pull           # 환경 점검 + 누락 모델 자동 설치
dataforge ui                      # 웹 UI (기본 포트 8890)
```

터미널파: `dataforge run` 전체 실행, 단계별(`ingest`/`parse`/`generate`/`validate`/`export`), `status`.

## 웹 UI (DataForge Studio)

- 문서 드래그 앤 드롭 업로드, 파이프라인 전체/단계별 실행과 중지
- 실행 로그 실시간 스트리밍, 단계별 진행 카운터
- 결과 화면에서 문서별 칩·필터로 출처별 구분 조회 (여러 파일 배치 작업)
- dataset.jsonl / dataset_text.jsonl 다운로드

## 출력 형식과 학습 투입

- `출력/dataset.jsonl` - `{"instruction", "output", "유형", "출처"}`
- `출력/dataset_text.jsonl` - TRL SFTTrainer 호환 텍스트판

학습에 투입하는 구체적 방법(Unsloth QLoRA / LLaMA-Factory / RAG)은 동봉된 [파인튜닝가이드.md](파인튜닝가이드.md)를 참고하세요.

## 라이선스 키

```bash
dataforge license install 회사명.dflic   # 설치 (1회)
dataforge license                        # 상태 확인
```

`init`·`doctor`·`status`는 라이선스 없이 사용 가능합니다. 지원: cmlee@bninc.co.kr

---
NVIDIA, DGX Spark, Grace Blackwell은 NVIDIA Corporation의 상표이며, ASUS, Ascent GX10은 ASUSTeK Computer Inc.의 상표입니다. DataForge는 BNi&C의 독립 제품입니다.
