使用指南
提取 HTML、正文与链接
提取 HTML、正文与链接.
已经有浏览器页面?
使用 Playwright 导航后,仅提取下一步所需内容:
const html = await page.content();
const text = await page.locator('body').innerText();
const links = await page.locator('a[href]').evaluateAll((anchors) =>
anchors.map((a) => ({
text: a.textContent?.trim() ?? '',
url: new URL(a.getAttribute('href') ?? '', document.baseURI).href,
}))
);
console.log(JSON.stringify({ html, text, links }));page.content() 序列化当前 DOM,不是原始 HTTP 响应字节;innerText() 依赖渲染布局;new URL(..., document.baseURI) 会根据页面基地址解析相对链接。限制输出大小,避免无必要地采集账号隐私。此示例针对 Chromium。
不需要交互会话?
使用 Web Fetch extract 获取文档规定的提取结果,或用 Dump DOM 获取 HTML。这是独立请求,使用自己的参数和认证,不会自动复用浏览器会话的 Cookie 或代理。
按接口参考选择引擎和超时。纯 HTTP 抓取不会执行客户端 JavaScript;未请求过滤时 DOM 快照可能包含 script/style。在同一区域服务且快照仍可用时复用 dom_id,具体见 快照复用;它不是持久化浏览器 Context。
Agent 可使用 CLI 的有界快照和提取能力。不要把任意 HTML 标成 Markdown,也不要把基于 DOM 的快照称为完整浏览器可访问性树。
