Převádějte dokumenty do Markdownu z CLI nebo Pythonu

Pokud pracujete s AI/ML, vaše datové sady nejspíš obsahují PDF články, rukopisy DOCX, prezentace PPTX, tabulky XLSX a e-knihy EPUB. Než je použijete pro trénování, fine-tuning nebo RAG, je třeba je sjednotit do čistého strukturovaného textu.

Tento článek ukazuje použití AnyMD z příkazové řádky a Pythonu: každý formát dokumentu převedete do Markdownu v jednom kroku, bez parserů pro jednotlivé formáty, záloh a ručního čištění.

Z příkazové řádky

Nejjednodušší použití je převod jednoho souboru:

curl https://anymd.net/api/convert \
  -H "Authorization: Bearer your-key" \
  -F "file=@paper.pdf"

To je vše. AnyMD automaticky rozpozná formát podle přípony; stejný příkaz funguje pro DOCX, PPTX, XLSX, RTF, EPUB, ODT, HTML, CSV a další.

Výstup uložte do souboru:

curl -s https://anymd.net/api/convert \
  -H "Authorization: Bearer your-key" \
  -F "file=@research-paper.pdf" \
  -o research-paper.md

Z Pythonu

import requests

with open("report.pdf", "rb") as f:
    resp = requests.post(
        "https://anymd.net/api/convert",
        headers={"Authorization": "Bearer your-key"},
        files={"file": ("report.pdf", f)},
    )
    markdown = resp.text
    print(markdown[:500])

Dávkový převod pro přípravu trénovacích dat

import requests
from pathlib import Path

markdown_dir = Path("training_data_md")
markdown_dir.mkdir(exist_ok=True)

for doc in Path("raw_documents").glob("*"):
    if doc.suffix not in {".pdf", ".docx", ".pptx", ".xlsx", ".epub"}:
        continue
    with open(doc, "rb") as f:
        resp = requests.post(
            "https://anymd.net/api/convert",
            headers={"Authorization": "Bearer your-key"},
            files={"file": (doc.name, f)},
        )
        if resp.ok:
            out = markdown_dir / f"{doc.stem}.md"
            out.write_text(resp.text)
            print(f"✓ {doc.name} → {out.name}")
        else:
            print(f"✗ {doc.name}: {resp.status_code}")

To je veškerý kód potřebný pro sjednocení knihovny dokumentů se smíšenými formáty do čistého konzistentního Markdownu pro dělení, embeddingy nebo fine-tuning.

Proč nepoužít knihovny pro každý formát?

Projekty často začínají s PyMuPDF pro PDF, python-pptx pro PowerPoint, python-docx pro Word, openpyxl pro Excel a ebooklib pro EPUB. To znamená pět knihoven, pět API, pět formátů výstupu a pět nákladů na údržbu.

AnyMD je jedno API, jeden výstupní formát (GFM Markdown) a jeden autentizační klíč. Žádná správa knihoven, konflikty verzí ani specifické okrajové případy formátů.

Získejte API klíč zdarma — 100 stránek/měsíc, bez karty.