Pretvorba dokumentov v Markdown z Node.js

Če razvijate aplikacijo Node.js, ki sprejema dokumente, ki jih naložijo uporabniki, ste verjetno že gledali mapo, polno PDF-jev, datotek DOCX in predstavitev PPTX, ter se spraševali: kako vse to normaliziram v obliko, ki jo lahko moj LLM-pipeline dejansko uporabi?

Ta članek prikazuje uporabo AnyMD-jevega REST API-ja iz Node.js — z fetch, axios, tipi TypeScript, pretakanjem in vzorci middleware Express za pretvorbo dokumentov v Markdown v produkcijskem obsegu.

Zakaj Markdown iz Node.js?

Aplikacije Node.js naravno obvladujejo nalaganje datotek — Multer, Busboy, middleware Express. Pretvarjanje teh datotek v čisto, strukturirano besedilo za RAG-pipeline ali učne podatke za AI pa običajno zahteva težke native bindings (PyMuPDF, LibreOffice, pandoc), ki ne sodijo v JS-runtime.

AnyMD vam ponuja HTTP API brez stanja. En klic, en odgovor, čist Markdown. Brez native odvisnosti, brez knjižnic formatov na strežniški strani in brez Pythonovih podprocesov v aplikaciji Node.js.

Hiter začetek s fetch (brez odvisnosti)

Node.js 18+ vključuje fetch globalno. Najpreprostejša enkratna pretvorba:

const fs = require("fs");
const { readFile } = require("fs/promises");

async function convertToMarkdown(filePath, apiKey) {
  const form = new FormData();
  form.set("file", new Blob([await readFile(filePath)]), filePath);

  const resp = await fetch("https://anymd.net/api/convert", {
    method: "POST",
    headers: { Authorization: `Bearer ${apiKey}` },
    body: form,
  });

  if (!resp.ok) {
    throw new Error(`AnyMD error ${resp.status}: ${await resp.text()}`);
  }

  return await resp.text();
}

// Usage
const md = await convertToMarkdown("report.docx", "your-api-key");
console.log(md);

To je vse. AnyMD samodejno prepozna format po končnici datoteke in vrne GitHub-Flavored Markdown.

TypeScript s tipiziranimi odgovori

Za projekte TypeScript dodajte ustrezne povratne tipe in obravnavo napak:

interface ConversionResult {
  markdown: string;
  format: string;
  pages: number;
  duration: number;
}

interface ConversionError {
  status: number;
  message: string;
}

async function convertToMarkdownTyped(
  filePath: string,
  apiKey: string
): Promise<ConversionResult> {
  const form = new FormData();
  const buffer = await fs.promises.readFile(filePath);
  form.set("file", new Blob([buffer]), filePath);

  const start = performance.now();
  const resp = await fetch("https://anymd.net/api/convert", {
    method: "POST",
    headers: { Authorization: `Bearer ${apiKey}` },
    body: form,
  });
  const duration = performance.now() - start;

  if (!resp.ok) {
    const err: ConversionError = {
      status: resp.status,
      message: await resp.text(),
    };
    throw err;
  }

  return {
    markdown: await resp.text(),
    format: filePath.split(".").pop() || "unknown",
    pages: parseInt(resp.headers.get("X-Pages") || "0", 10),
    duration: Math.round(duration),
  };
}

Express middleware za upload-endpointe

Tako povežete AnyMD s strežnikom Express in Multerjem za nalaganje datotek:

import express from "express";
import multer from "multer";
import fs from "fs/promises";

const app = express();
const upload = multer({ dest: "/tmp/uploads/" });
const ANYMD_API = "https://anymd.net/api/convert";

app.post("/upload", upload.single("file"), async (req, res) => {
  try {
    const apiKey = req.headers["authorization"]?.replace("Bearer ", "");
    if (!apiKey) return res.status(401).json({ error: "Missing API key" });

    const form = new FormData();
    const buffer = await fs.readFile(req.file.path);
    form.set("file", new Blob([buffer]), req.file.originalname);

    const anymdResp = await fetch(ANYMD_API, {
      method: "POST",
      headers: { Authorization: `Bearer ${apiKey}` },
      body: form,
    });

    if (!anymdResp.ok) {
      return res.status(anymdResp.status).json({
        error: await anymdResp.text(),
      });
    }

    const markdown = await anymdResp.text();
    res.json({ markdown, pages: anymdResp.headers.get("X-Pages") });
  } catch (err) {
    res.status(500).json({ error: err.message });
  } finally {
    if (req.file) fs.unlink(req.file.path).catch(() => {});
  }
});

app.listen(3000);

Paketna obdelava z axios in ponovnimi poskusi

Ko morate obdelati na stotine dokumentov, so zaporedni klici prepočasni. Tukaj je sočasni paketni procesor z axios:

import axios from "axios";
import FormData from "form-data";
import fs from "fs";
import path from "path";
import pLimit from "p-limit";

const API = "https://anymd.net/api/convert";

async function convertOne(filePath, apiKey) {
  const form = new FormData();
  form.append("file", fs.createReadStream(filePath), path.basename(filePath));

  for (let attempt = 0; attempt < 3; attempt++) {
    try {
      const resp = await axios.post(API, form, {
        headers: {
          ...form.getHeaders(),
          Authorization: `Bearer ${apiKey}`,
        },
        maxContentLength: 50 * 1024 * 1024,
        timeout: 30_000,
      });

      const outPath = filePath.replace(path.extname(filePath), ".md");
      fs.writeFileSync(outPath, resp.data);
      return { file: path.basename(filePath), ok: true };
    } catch (err) {
      if (attempt === 2) return { file: path.basename(filePath), ok: false, error: err.message };
      const delay = Math.pow(1.5, attempt) * 1000;
      await new Promise(r => setTimeout(r, delay));
    }
  }
}

async function batchConvert(dir, apiKey, concurrency = 10) {
  const files = fs.readdirSync(dir).filter(f =>
    /\.(docx|pdf|pptx|xlsx|epub|odt|rtf)$/i.test(f)
  );
  const limit = pLimit(concurrency);
  const results = await Promise.all(
    files.map(f => limit(() => convertOne(path.join(dir, f), apiKey)))
  );

  const ok = results.filter(r => r.ok).length;
  console.log(`${ok}/${results.length} converted`);
  return results;
}

await batchConvert("./documents", "your-api-key", 10);

Pretakanje velikih dokumentov

Za dokumente nad 10 MB uporabite streaming-endpoint, da se celoten izhod Markdown ne shranjuje v pomnilnik.

Primerjava z lokalnimi knjižnicami Node.js

Format	Knjižnica Node.js	AnyMD
DOCX	mammoth — brez podpore za PPTX/PDF/XLSX	En API, več kot 15 formatov
PDF	pdf-parse — izgubi tabele in naslove	GFM, ohrani strukturo
PPTX	pptx2md — samo CLI, brez API-ja	REST API, asinhroni pipeline
XLSX	xlsx — izvoz CSV, brez Markdowna	Tabele → tabele GFM
EPUB	epub2md — brez vzdrževanja od leta 2022	Aktiven, različican API

Zmogljivost: Node.js komunicira z Rustom

AnyMD deluje na zaledju Rust/Axum.

Format	Velikost dokumenta	AnyMD (ms)	Lokalna knjižnica (ms)
DOCX	50 KB (10 strani)	280	620 (mammoth)
PDF	120 KB (15 strani)	410	2,100 (pdf-parse)
PPTX	200 KB (20 diapozitivov)	520	1,800 (pptx2md)
XLSX	80 KB (5 delovnih listov)	340	950 (xlsx + ročno oblikovanje)

Od Markdowna do RAG-pipelina

Ko ima vaša aplikacija Node.js čist Markdown, je naslednji korak chunking in embedding za vektorsko iskanje. Izhod AnyMD je idealen vhod za semantični chunking — meje naslovov, struktura seznamov in glave tabel ostanejo ohranjene.

Cene

Paket	Strani/mesec	Največja velikost datoteke	Cena
Brezplačno	100	10 MB	$0
Starter	500	25 MB	$19
Pro	5,000	50 MB	$99
Enterprise	Po meri	Po meri	Po meri

Običajen dokument se pretvori v manj kot 0,5 sekunde. 100 brezplačnih strani na mesec — brez kreditne kartice.

Pridobite brezplačen API-ključ in začnite še danes pretvarjati dokumente v Markdown iz Node.js.