万邦api博客

利用 PHP 爬虫获取 1688 商品详情 API 返回值说明（代码示例）实战指南

Mon, 25 Aug 2025 16:20:41 +0800

在当今电商领域，精准获取商品详情数据对于市场分析、选品上架、库存管理和价格策略制定等方面至关重要。1688 作为国内领先的 B2B 电商平台，提供了丰富的商品资源和强大的 API 接口。通过 PHP 爬虫技术，我们可以高效地获取 1688 商品的详细信息，包括商品名称、价格、图片、描述等。本文将详细介绍如何利用 PHP 爬虫获取 1688 商品详情，并对 API 返回值进行说明，最后给出代码示例。

一、环境准备

（一）PHP 开发环境

确保你的服务器上安装了 PHP 环境，并且启用了 cURL 扩展，用于发送 HTTP 请求。

（二）安装必要的库

安装 GuzzleHttp 库，用于发送 HTTP 请求。可以通过 Composer 安装：

composer require guzzlehttp/guzzle

二、编写爬虫代码

（一）发送 HTTP 请求

使用 GuzzleHttp 库发送 GET 请求，获取商品页面的 HTML 内容。

<?php
require 'vendor/autoload.php';

use GuzzleHttp\Client;

function get_html($url) {
    $client = new Client();
    $response = $client->request('GET', $url, [
        'headers' => [
            'User-Agent' => 'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/58.0.3029.110 Safari/537.3'
        ]
    ]);
    return $response->getBody()->getContents();
}
?>

（二）解析 HTML 内容

使用 DOMDocument 和 DOMXPath 解析 HTML 内容，提取商品详情。

<?php
function parse_html($html) {
    $dom = new DOMDocument();
    @$dom->loadHTML($html);
    $xpath = new DOMXPath($dom);
    $products = [];
    $productItems = $xpath->query("//div[@class='sm-offer-item']");
    foreach ($productItems as $item) {
        $title = $xpath->evaluate("string(.//a[@class='offer-title'])", $item);
        $price = $xpath->evaluate("string(.//span[@class='price'])", $item);
        $description = $xpath->evaluate("string(.//div[@class='desc'])", $item);
        $sales = $xpath->evaluate("string(.//span[@class='sales'])", $item);
        $products[] = [
            'title' => $title,
            'price' => $price,
            'description' => $description,
            'sales' => $sales
        ];
    }
    return $products;
}
?>

（三）按关键字搜索商品

根据关键字构建搜索 URL，并获取搜索结果页面的 HTML 内容。

<?php
function search_products($keyword, $page = 1) {
    $baseUrl = "https://s.1688.com/selloffer/offer_search.htm";
    $url = $baseUrl . "?keywords=" . urlencode($keyword) . "&pageno=" . $page;
    $html = get_html($url);
    return parse_html($html);
}
?>

（四）整合代码

将上述功能整合到主程序中，实现完整的爬虫程序。

<?php
$keyword = "女装";
$products = search_products($keyword);
foreach ($products as $product) {
    echo "商品名称: " . $product['title'] . "\n";
    echo "商品价格: " . $product['price'] . "\n";
    echo "商品描述: " . $product['description'] . "\n";
    echo "商品销量: " . $product['sales'] . "\n";
    echo "----------------------\n";
}
?>

三、注意事项与优化建议

（一）遵守法律法规

在进行爬虫操作时，必须严格遵守相关法律法规，尊重网站的 robots.txt 文件规定。

（二）合理设置请求频率

避免过高的请求频率导致对方服务器压力过大，甚至被封禁 IP。

（三）应对反爬机制

1688 平台可能会采取一些反爬措施，如限制 IP 访问频率、识别爬虫特征等。可以通过使用动态代理、模拟正常用户行为等方式应对。

（四）数据存储

获取到的商品信息可以存储到文件或数据库中，以便后续分析和使用。

四、总结

通过上述步骤和代码示例，你可以高效地利用爬虫技术按关键字搜索 1688 商品，并获取其详细信息。无论是用于市场调研、竞品分析还是用户体验优化，这些数据都将为你提供强大的支持。希望本文的示例和策略能帮助你在爬虫开发中更好地应对各种挑战，确保爬虫程序的高效、稳定运行。

《Jsoup 库使用指南》

Mon, 18 Aug 2025 16:22:27 +0800

Jsoup 是一个开源的 Java 库，专门用于解析 HTML 文档。它提供了非常强大的功能，可以轻松地从 HTML 中提取数据、修改文档结构等。本文将详细介绍 Jsoup 的基本使用方法，帮助你快速上手。

一、Jsoup 的功能

（一）解析 HTML 文档

Jsoup 可以解析本地 HTML 文件或从网络获取 HTML 内容。它能够将 HTML 文档解析为一个 DOM 树，方便后续操作。

（二）提取数据

通过选择器（Selectors），可以轻松地从 HTML 文档中提取特定的元素和属性。例如，提取所有链接、图片地址等。

（三）修改文档结构

Jsoup 允许你修改 HTML 文档的结构，如添加、删除或修改元素和属性。

（四）输出 HTML

可以将修改后的 HTML 文档输出为字符串，或者保存到文件中。

二、Jsoup 的基本使用

（一）添加依赖

如果你使用 Maven 管理项目，可以在 pom.xml 文件中添加以下依赖：

xml

<dependency>
    <groupId>org.jsoup</groupId>
    <artifactId>jsoup</artifactId>
    <version>1.14.3</version>
</dependency>

（二）解析 HTML 文档

从字符串解析 HTML：

java

import org.jsoup.Jsoup;
import org.jsoup.nodes.Document;

public class JsoupExample {
    public static void main(String[] args) {
        String html = "<html><head><title>First parse</title></head>"
                + "<body><p>Parsed HTML into a doc.</p></body></html>";
        Document doc = Jsoup.parse(html);
        System.out.println(doc.title());
    }
}

从文件解析 HTML：

java

import org.jsoup.Jsoup;
import org.jsoup.nodes.Document;

import java.io.File;
import java.io.IOException;

public class JsoupExample {
    public static void main(String[] args) throws IOException {
        File input = new File("example.html");
        Document doc = Jsoup.parse(input, "UTF-8");
        System.out.println(doc.title());
    }
}

从 URL 获取 HTML：

java

import org.jsoup.Jsoup;
import org.jsoup.nodes.Document;

public class JsoupExample {
    public static void main(String[] args) {
        try {
            Document doc = Jsoup.connect("http://example.com/").get();
            System.out.println(doc.title());
        } catch (IOException e) {
            e.printStackTrace();
        }
    }
}

（三）提取数据

使用选择器提取特定元素：

java

import org.jsoup.Jsoup;
import org.jsoup.nodes.Document;
import org.jsoup.nodes.Element;
import org.jsoup.select.Elements;

public class JsoupExample {
    public static void main(String[] args) {
        try {
            Document doc = Jsoup.connect("http://example.com/").get();
            Elements links = doc.select("a[href]");
            for (Element link : links) {
                System.out.println(link.attr("href"));
                System.out.println(link.text());
            }
        } catch (IOException e) {
            e.printStackTrace();
        }
    }
}

提取特定属性：

java

import org.jsoup.Jsoup;
import org.jsoup.nodes.Document;
import org.jsoup.nodes.Element;
import org.jsoup.select.Elements;

public class JsoupExample {
    public static void main(String[] args) {
        try {
            Document doc = Jsoup.connect("http://example.com/").get();
            Elements images = doc.select("img[src]");
            for (Element img : images) {
                System.out.println(img.attr("src"));
            }
        } catch (IOException e) {
            e.printStackTrace();
        }
    }
}

（四）修改文档结构

添加元素：

java

import org.jsoup.Jsoup;
import org.jsoup.nodes.Document;
import org.jsoup.nodes.Element;

public class JsoupExample {
    public static void main(String[] args) {
        try {
            Document doc = Jsoup.connect("http://example.com/").get();
            Element newParagraph = new Element("p").text("This is a new paragraph.");
            doc.body().appendChild(newParagraph);
            System.out.println(doc.html());
        } catch (IOException e) {
            e.printStackTrace();
        }
    }
}

删除元素：

java

import org.jsoup.Jsoup;
import org.jsoup.nodes.Document;
import org.jsoup.nodes.Element;

public class JsoupExample {
    public static void main(String[] args) {
        try {
            Document doc = Jsoup.connect("http://example.com/").get();
            Element toRemove = doc.select("p").first();
            toRemove.remove();
            System.out.println(doc.html());
        } catch (IOException e) {
            e.printStackTrace();
        }
    }
}

修改元素属性：

java

import org.jsoup.Jsoup;
import org.jsoup.nodes.Document;
import org.jsoup.nodes.Element;

public class JsoupExample {
    public static void main(String[] args) {
        try {
            Document doc = Jsoup.connect("http://example.com/").get();
            Element link = doc.select("a").first();
            link.attr("href", "http://newurl.com");
            System.out.println(doc.html());
        } catch (IOException e) {
            e.printStackTrace();
        }
    }
}

（五）输出 HTML

将修改后的 HTML 输出为字符串：

java

import org.jsoup.Jsoup;
import org.jsoup.nodes.Document;

public class JsoupExample {
    public static void main(String[] args) {
        try {
            Document doc = Jsoup.connect("http://example.com/").get();
            System.out.println(doc.html());
        } catch (IOException e) {
            e.printStackTrace();
        }
    }
}

保存到文件：

java

import org.jsoup.Jsoup;
import org.jsoup.nodes.Document;

import java.io.BufferedWriter;
import java.io.FileWriter;
import java.io.IOException;

public class JsoupExample {
    public static void main(String[] args) {
        try {
            Document doc = Jsoup.connect("http://example.com/").get();
            try (BufferedWriter writer = new BufferedWriter(new FileWriter("output.html"))) {
                writer.write(doc.html());
            }
        } catch (IOException e) {
            e.printStackTrace();
        }
    }
}

三、注意事项

（一）网络请求

在从网络获取 HTML 时，可能会遇到网络问题或目标网站的反爬虫机制。建议合理设置请求频率，避免对目标网站造成过大压力。

（二）选择器语法

Jsoup 的选择器语法类似于 CSS 选择器，非常强大。建议熟悉常用的选择器语法，以便更高效地提取数据。

（三）异常处理

在实际开发中，建议添加异常处理机制，确保程序的健壮性。

四、总结

Jsoup 是一个非常强大的 HTML 解析库，可以轻松地解析 HTML 文档、提取数据、修改文档结构等。通过本文的介绍和代码示例，你应该能够快速上手使用 Jsoup。希望这些内容对你有所帮助，祝你在开发中取得成功！Jsoup 是一个开源的 Java 库，专门用于解析 HTML 文档。它提供了非常强大的功能，可以轻松地从 HTML 中提取数据、修改文档结构等。本文将详细介绍 Jsoup 的基本使用方法，帮助你快速上手。

一、Jsoup 的功能

（一）解析 HTML 文档

Jsoup 可以解析本地 HTML 文件或从网络获取 HTML 内容。它能够将 HTML 文档解析为一个 DOM 树，方便后续操作。

（二）提取数据

通过选择器（Selectors），可以轻松地从 HTML 文档中提取特定的元素和属性。例如，提取所有链接、图片地址等。

（三）修改文档结构

Jsoup 允许你修改 HTML 文档的结构，如添加、删除或修改元素和属性。

（四）输出 HTML

可以将修改后的 HTML 文档输出为字符串，或者保存到文件中。

二、Jsoup 的基本使用

（一）添加依赖

如果你使用 Maven 管理项目，可以在 pom.xml 文件中添加以下依赖：

xml

<dependency>
    <groupId>org.jsoup</groupId>
    <artifactId>jsoup</artifactId>
    <version>1.14.3</version>
</dependency>

（二）解析 HTML 文档

从字符串解析 HTML：

java

import org.jsoup.Jsoup;
import org.jsoup.nodes.Document;

public class JsoupExample {
    public static void main(String[] args) {
        String html = "<html><head><title>First parse</title></head>"
                + "<body><p>Parsed HTML into a doc.</p></body></html>";
        Document doc = Jsoup.parse(html);
        System.out.println(doc.title());
    }
}

从文件解析 HTML：

java

import org.jsoup.Jsoup;
import org.jsoup.nodes.Document;

import java.io.File;
import java.io.IOException;

public class JsoupExample {
    public static void main(String[] args) throws IOException {
        File input = new File("example.html");
        Document doc = Jsoup.parse(input, "UTF-8");
        System.out.println(doc.title());
    }
}

从 URL 获取 HTML：

java

import org.jsoup.Jsoup;
import org.jsoup.nodes.Document;

public class JsoupExample {
    public static void main(String[] args) {
        try {
            Document doc = Jsoup.connect("http://example.com/").get();
            System.out.println(doc.title());
        } catch (IOException e) {
            e.printStackTrace();
        }
    }
}

（三）提取数据

使用选择器提取特定元素：

java

import org.jsoup.Jsoup;
import org.jsoup.nodes.Document;
import org.jsoup.nodes.Element;
import org.jsoup.select.Elements;

public class JsoupExample {
    public static void main(String[] args) {
        try {
            Document doc = Jsoup.connect("http://example.com/").get();
            Elements links = doc.select("a[href]");
            for (Element link : links) {
                System.out.println(link.attr("href"));
                System.out.println(link.text());
            }
        } catch (IOException e) {
            e.printStackTrace();
        }
    }
}

提取特定属性：

java

import org.jsoup.Jsoup;
import org.jsoup.nodes.Document;
import org.jsoup.nodes.Element;
import org.jsoup.select.Elements;

public class JsoupExample {
    public static void main(String[] args) {
        try {
            Document doc = Jsoup.connect("http://example.com/").get();
            Elements images = doc.select("img[src]");
            for (Element img : images) {
                System.out.println(img.attr("src"));
            }
        } catch (IOException e) {
            e.printStackTrace();
        }
    }
}

（四）修改文档结构

添加元素：

java

import org.jsoup.Jsoup;
import org.jsoup.nodes.Document;
import org.jsoup.nodes.Element;

public class JsoupExample {
    public static void main(String[] args) {
        try {
            Document doc = Jsoup.connect("http://example.com/").get();
            Element newParagraph = new Element("p").text("This is a new paragraph.");
            doc.body().appendChild(newParagraph);
            System.out.println(doc.html());
        } catch (IOException e) {
            e.printStackTrace();
        }
    }
}

删除元素：

java

import org.jsoup.Jsoup;
import org.jsoup.nodes.Document;
import org.jsoup.nodes.Element;

public class JsoupExample {
    public static void main(String[] args) {
        try {
            Document doc = Jsoup.connect("http://example.com/").get();
            Element toRemove = doc.select("p").first();
            toRemove.remove();
            System.out.println(doc.html());
        } catch (IOException e) {
            e.printStackTrace();
        }
    }
}

修改元素属性：

java

import org.jsoup.Jsoup;
import org.jsoup.nodes.Document;
import org.jsoup.nodes.Element;

public class JsoupExample {
    public static void main(String[] args) {
        try {
            Document doc = Jsoup.connect("http://example.com/").get();
            Element link = doc.select("a").first();
            link.attr("href", "http://newurl.com");
            System.out.println(doc.html());
        } catch (IOException e) {
            e.printStackTrace();
        }
    }
}

（五）输出 HTML

将修改后的 HTML 输出为字符串：

java

import org.jsoup.Jsoup;
import org.jsoup.nodes.Document;

public class JsoupExample {
    public static void main(String[] args) {
        try {
            Document doc = Jsoup.connect("http://example.com/").get();
            System.out.println(doc.html());
        } catch (IOException e) {
            e.printStackTrace();
        }
    }
}

保存到文件：

java

import org.jsoup.Jsoup;
import org.jsoup.nodes.Document;

import java.io.BufferedWriter;
import java.io.FileWriter;
import java.io.IOException;

public class JsoupExample {
    public static void main(String[] args) {
        try {
            Document doc = Jsoup.connect("http://example.com/").get();
            try (BufferedWriter writer = new BufferedWriter(new FileWriter("output.html"))) {
                writer.write(doc.html());
            }
        } catch (IOException e) {
            e.printStackTrace();
        }
    }
}

三、注意事项

（一）网络请求

在从网络获取 HTML 时，可能会遇到网络问题或目标网站的反爬虫机制。建议合理设置请求频率，避免对目标网站造成过大压力。

（二）选择器语法

Jsoup 的选择器语法类似于 CSS 选择器，非常强大。建议熟悉常用的选择器语法，以便更高效地提取数据。

（三）异常处理

在实际开发中，建议添加异常处理机制，确保程序的健壮性。

四、总结

Jsoup 是一个非常强大的 HTML 解析库，可以轻松地解析 HTML 文档、提取数据、修改文档结构等。通过本文的介绍和代码示例，你应该能够快速上手使用 Jsoup。希望这些内容对你有所帮助，祝你在开发中取得成功！

《利用 Java 爬虫按图搜索淘宝商品（拍立淘）实战指南》

Sat, 16 Aug 2025 15:31:32 +0800

在电商领域，按图搜索商品（类似“拍立淘”功能）是一种非常实用的功能，尤其适合用户通过图片快速查找相似商品。以下是一个详细的实战指南，帮助你利用 Java 爬虫技术按图搜索淘宝商品。

一、准备工作

（一）注册淘宝开放平台账号

在使用淘宝按图搜索功能之前，需要在淘宝开放平台注册账号并创建应用。注册成功后，平台会分配一个 App Key 和 App Secret，这两个参数是调用 API 时的身份验证凭证。

（二）添加 Maven 依赖

为了方便地发送 HTTP 请求和解析 JSON 数据，需要在项目中添加以下 Maven 依赖：

<dependencies>
    <dependency>
        <groupId>org.apache.httpcomponents</groupId>
        <artifactId>httpclient</artifactId>
        <version>4.5.13</version>
    </dependency>
    <dependency>
        <groupId>com.fasterxml.jackson.core</groupId>
        <artifactId>jackson-databind</artifactId>
        <version>2.10.0</version>
    </dependency></dependencies>

二、代码实现

（一）构建请求参数并生成签名

淘宝 API 接口需要对请求参数进行签名验证。以下是一个生成签名的 Java 方法示例

java

import java.util.TreeMap;public class ApiUtil {
    public static String generateSign(TreeMap<String, String> params, String appSecret) {
        StringBuilder sb = new StringBuilder();
        for (Map.Entry<String, String> entry : params.entrySet()) {
            sb.append(entry.getKey()).append(entry.getValue());
        }
        sb.append(appSecret);
        return md5(sb.toString()).toUpperCase();
    }

    private static String md5(String str) {
        try {
            java.security.MessageDigest md = java.security.MessageDigest.getInstance("MD5");
            byte[] array = md.digest(str.getBytes());
            StringBuilder sb = new StringBuilder();
            for (byte b : array) {
                sb.append(String.format("%02x", b));
            }
            return sb.toString();
        } catch (Exception e) {
            throw new RuntimeException(e);
        }
    }}

（二）上传图片并获取图片标识

使用 Apache HttpClient 发送 HTTP 请求到淘宝的图片上传接口
java

import org.apache.http.HttpEntity;import org.apache.http.client.methods.CloseableHttpResponse;import org.apache.http.client.methods.HttpPost;import org.apache.http.entity.ContentType;import org.apache.http.entity.mime.MultipartEntityBuilder;import org.apache.http.impl.client.CloseableHttpClient;import org.apache.http.impl.client.HttpClients;import org.apache.http.util.EntityUtils;import java.io.File;import java.io.IOException;import java.util.HashMap;import java.util.Map;public class ImageUploader {
    private static final String UPLOAD_URL = "https://restapi.taobao.com/router/rest";

    public static String uploadImage(String appKey, String appSecret, String imagePath) throws IOException {
        File imageFile = new File(imagePath);
        if (!imageFile.exists()) {
            throw new IllegalArgumentException("Image file does not exist");
        }

        Map<String, String> params = new HashMap<>();
        params.put("app_key", appKey);
        params.put("method", "taobao.upload.img");
        params.put("format", "json");
        params.put("v", "2.0");
        params.put("sign_method", "md5");
        params.put("timestamp", String.valueOf(System.currentTimeMillis() / 1000));

        String sign = ApiUtil.generateSign(new TreeMap<>(params), appSecret);
        params.put("sign", sign);

        try (CloseableHttpClient httpClient = HttpClients.createDefault()) {
            HttpPost httpPost = new HttpPost(UPLOAD_URL);
            MultipartEntityBuilder builder = MultipartEntityBuilder.create();
            for (Map.Entry<String, String> entry : params.entrySet()) {
                builder.addTextBody(entry.getKey(), entry.getValue(), ContentType.TEXT_PLAIN);
            }
            builder.addBinaryBody("file", imageFile, ContentType.APPLICATION_OCTET_STREAM, imageFile.getName());
            HttpEntity entity = builder.build();
            httpPost.setEntity(entity);

            try (CloseableHttpResponse response = httpClient.execute(httpPost)) {
                if (response.getStatusLine().getStatusCode() == 200) {
                    String jsonResponse = EntityUtils.toString(response.getEntity());
                    // 解析返回的 JSON 数据，获取图片 URL
                    // 这里假设返回的 JSON 中包含字段 "pic_url"
                    return parsePicUrlFromResponse(jsonResponse);
                } else {
                    throw new RuntimeException("Failed to upload image, status code: " + response.getStatusLine().getStatusCode());
                }
            }
        }
    }

    private static String parsePicUrlFromResponse(String jsonResponse) {
        // 解析 JSON 数据，提取图片 URL
        // 这里假设返回的 JSON 中包含字段 "pic_url"
        // 实际开发中，根据 API 返回的 JSON 结构进行解析
        return jsonResponse;
    }}

（三）调用按图搜索接口

在成功上传图片并获取图片标识后，接下来就可以调用淘宝的按图搜索接口

java

import org.apache.http.client.methods.CloseableHttpResponse;import org.apache.http.client.methods.HttpGet;import org.apache.http.impl.client.CloseableHttpClient;import org.apache.http.impl.client.HttpClients;import org.apache.http.util.EntityUtils;import java.io.IOException;import java.util.TreeMap;public class TaobaoImageSearch {
    private static final String SEARCH_URL = "https://eco.taobao.com/router/rest";

    public static String searchItemsByImage(String appKey, String appSecret, String imageUrl) throws IOException {
        TreeMap<String, String> params = new TreeMap<>();
        params.put("app_key", appKey);
        params.put("method", "taobao.item.search.img");
        params.put("format", "json");
        params.put("v", "2.0");
        params.put("sign_method", "md5");
        params.put("timestamp", String.valueOf(System.currentTimeMillis() / 1000));
        params.put("img_url", imageUrl);

        String sign = ApiUtil.generateSign(params, appSecret);
        params.put("sign", sign);

        StringBuilder urlBuilder = new StringBuilder(SEARCH_URL);
        for (Map.Entry<String, String> entry : params.entrySet()) {
            if (urlBuilder.length() > SEARCH_URL.length()) {
                urlBuilder.append("&");
            }
            urlBuilder.append(entry.getKey()).append("=").append(entry.getValue());
        }

        try (CloseableHttpClient httpClient = HttpClients.createDefault()) {
            HttpGet httpGet = new HttpGet(urlBuilder.toString());
            try (CloseableHttpResponse response = httpClient.execute(httpGet)) {
                if (response.getStatusLine().getStatusCode() == 200) {
                    return EntityUtils.toString(response.getEntity());
                } else {
                    throw new RuntimeException("Failed to search items, status code: " + response.getStatusLine().getStatusCode());
                }
            }
        }
    }}

（四）解析响应数据

从响应中提取你需要的商品信息，如商品标题、价格、图片链接等。可以使用 Jackson 库解析返回的 JSON 数据

java

import com.fasterxml.jackson.databind.JsonNode;import com.fasterxml.jackson.databind.ObjectMapper;import java.io.IOException;public class ResponseParser {
    public static void parseResponse(String jsonResponse) throws IOException {
        ObjectMapper objectMapper = new ObjectMapper();
        JsonNode rootNode = objectMapper.readTree(jsonResponse);
        JsonNode itemsNode = rootNode.path("items");
        if (itemsNode.isArray()) {
            for (JsonNode itemNode : itemsNode) {
                String title = itemNode.path("title").asText();
                String price = itemNode.path("price").asText();
                String picUrl = itemNode.path("pic_url").asText();
                String detailUrl = itemNode.path("detail_url").asText();
                System.out.println("商品标题: " + title);
                System.out.println("商品价格: " + price);
                System.out.println("商品图片: " + picUrl);
                System.out.println("商品链接: " + detailUrl);
                System.out.println("----------");
            }
        } else {
            System.out.println("No items found");
        }
    }}

三、完整流程示例

以下是一个完整的 Java 示例，展示了如何上传图片并调用淘宝按图搜索接口

java

import java.io.IOException;public class Main {
    public static void main(String[] args) {
        String appKey = "your_app_key";
        String appSecret = "your_app_secret";
        String imagePath = "path/to/your/image.jpg";

        try {
            // 上传图片并获取图片 URL
            String imageUrl = ImageUploader.uploadImage(appKey, appSecret, imagePath);
            System.out.println("图片上传成功，图片 URL: " + imageUrl);

            // 调用按图搜索接口
            String jsonResponse = TaobaoImageSearch.searchItemsByImage(appKey, appSecret, imageUrl);
            System.out.println("搜索结果: " + jsonResponse);

            // 解析响应数据
            ResponseParser.parseResponse(jsonResponse);
        } catch (IOException e) {
            e.printStackTrace();
        }
    }}

四、注意事项

遵守使用协议：使用淘宝开放平台的 API 时，必须严格遵守其使用协议和相关法律法规。
签名生成：签名生成过程中，参数的拼接顺序必须严格按照字典序。
时间戳校验：请求时间戳与服务器时间误差不能超过 5 分钟。
异常处理：建议添加重试机制，避免因网络问题导致请求失败。
图片要求：图片格式支持 JPG/PNG，大小不超过 2MB，建议主体商品占比超过 60%。

五、总结

通过以上步骤，你可以成功利用 Java 爬虫实现淘宝按图搜索商品功能。这不仅为开发者提供了强大的功能支持，也为用户带来了更加便捷和直观的购物体验。希望本文对你有所帮助，祝你在电商领域取得更大的成功！

《淘宝店铺详情爬取实战指南：代码示例与解析》

Wed, 06 Aug 2025 17:42:41 +0800

在电商领域，淘宝作为中国最大的在线零售平台之一，拥有海量的店铺和商品信息。这些信息对于市场分析、竞争对手研究、商品推荐等应用场景具有重要价值。本文将详细介绍如何通过合法合规的方式获取淘宝店铺的详情信息，并提供详细的代码示例。

一、准备工作

（一）注册淘宝开放平台账号

在使用淘宝 API 之前，需要在淘宝开放平台注册账号并创建应用。注册完成后，平台会分配一个 App Key 和 App Secret，这两个参数是调用 API 时的身份验证凭证。

（二）安装 PHP 依赖

确保你的 PHP 项目中包含了必要的依赖库，如 GuzzleHttp，用于发送 HTTP 请求。如果使用 Composer，可以在 composer.json 文件中添加以下依赖：

JSON

{
    "require": {
        "guzzlehttp/guzzle": "^7.0"
    }}

然后运行 composer install 来安装依赖。

二、编写爬虫代码

（一）发送 HTTP 请求并调用 API

使用 GuzzleHttp 发送 GET 请求，调用淘宝的店铺详情接口。以下是完整的 PHP 代码示例：

php

<?phprequire 'vendor/autoload.php';use GuzzleHttp\Client;function getTaobaoShopDetails($appKey, $appSecret, $shopId) {
    $client = new Client();
    $timestamp = date('Y-m-d H:i:s');
    $params = [
        'app_key' => $appKey,
        'method' => 'taobao.shop.get',
        'shop_id' => $shopId,
        'timestamp' => $timestamp,
        'format' => 'json',
        'v' => '2.0',
        'sign_method' => 'md5',
        'fields' => 'shop_name,shop_score,shop_sales'
    ];
    $params['sign'] = generateSign($params, $appSecret);
    $response = $client->request('GET', 'https://eco.taobao.com/router/rest', [
        'query' => $params
    ]);
    return json_decode($response->getBody(), true);}function generateSign($params, $appSecret) {
    ksort($params);
    $queryStr = http_build_query($params);
    $signStr = $appSecret . $queryStr . $appSecret;
    return strtoupper(md5($signStr));}$appKey = 'YOUR_APP_KEY';$appSecret = 'YOUR_APP_SECRET';$shopId = '123456789';$shopDetails = getTaobaoShopDetails($appKey, $appSecret, $shopId);if ($shopDetails) {
    echo "店铺名称: " . $shopDetails['shop']['shop_name'] . "\n";
    echo "店铺评分: " . $shopDetails['shop']['shop_score'] . "\n";
    echo "店铺销量: " . $shopDetails['shop']['shop_sales'] . "\n";} else {
    echo "请求失败，错误信息: " . $shopDetails['error_response']['msg'] . "\n";}?>

（二）解析 HTML 内容

如果需要直接爬取店铺页面的 HTML 内容，可以使用 PHP 的 cURL 库发送 HTTP 请求，并使用 DOMDocument 和 DOMXPath 解析 HTML 内容：

php

<?phpfunction fetchPage($url) {
    $ch = curl_init();
    curl_setopt($ch, CURLOPT_URL, $url);
    curl_setopt($ch, CURLOPT_RETURNTRANSFER, 1);
    curl_setopt($ch, CURLOPT_FOLLOWLOCATION, 1);
    $data = curl_exec($ch);
    curl_close($ch);
    return $data;}function parsePage($html) {
    $dom = new DOMDocument();
    @$dom->loadHTML($html);
    $xpath = new DOMXPath($dom);
    $shopInfo = $xpath->query("//div[@class='shop-info']"); // 根据实际页面结构调整选择器
    $shopName = $shopInfo->item(0)->getElementsByTagName("h1")->item(0)->nodeValue; // 店铺名称
    $score = $shopInfo->item(0)->getElementsByTagName("span")->item(1)->nodeValue; // 店铺评分
    $sales = $shopInfo->item(0)->getElementsByTagName("div")->item(2)->nodeValue; // 店铺销量
    return array('shopName' => $shopName, 'score' => $score, 'sales' => $sales);}$url = "淘宝店铺的URL"; // 替换为实际的店铺 URL$html = fetchPage($url);if ($html) {
    $data = parsePage($html);
    print_r($data);}?>

（三）数据存储

将提取的数据存储到本地文件或数据库中，以便进一步分析：

php

<?php
function saveData($data, $filePath) {
    file_put_contents($filePath, serialize($data));
}

$data = ['shopName' => 'Example Shop', 'score' => '4.8', 'sales' => '1000'];
saveData($data, "shop_details.txt");
?>

三、注意事项和建议

（一）遵守法律法规

在进行爬虫操作时，必须严格遵守相关法律法规，尊重网站的 robots.txt 文件规定。

（二）处理动态内容

如果目标页面涉及动态加载内容，可以使用 Selenium 模拟浏览器行为。

（三）避免被封禁

使用代理服务分散请求来源。
控制请求频率，避免短时间内发送过多请求。
模拟真实用户行为，设置合理的请求间隔。

（四）数据安全

妥善保管爬取的数据，避免泄露敏感信息。

四、总结

通过上述步骤和代码示例，你可以轻松地利用 PHP 爬虫技术获取淘宝店铺的详细信息。希望本文能为你提供有价值的参考，帮助你更好地利用爬虫技术获取电商平台数据。在开发过程中，务必注意遵守平台规则，合理设置请求频率，并妥善处理异常情况，以确保爬虫的稳定运行。

如果你有更多具体的问题或需要进一步的帮助，请随时告诉我。

PHP 爬虫实战指南：获取 1688 商品详情

Thu, 31 Jul 2025 16:21:05 +0800

在电商领域，1688 作为国内领先的 B2B 电商平台，提供了丰富的商品资源。通过 PHP 爬虫技术，我们可以高效地获取 1688 商品的详细信息，包括商品名称、价格、图片、描述等。本文将详细介绍如何利用 PHP 爬虫按关键字搜索 1688 商品详情，并提供完整的代码示例。

一、准备工作

（一）PHP 开发环境

确保你的服务器上安装了 PHP 环境，并且启用了 cURL 扩展，用于发送 HTTP 请求。

（二）安装必要的库

安装 GuzzleHttp 库，用于发送 HTTP 请求。可以通过 Composer 安装：

bash

composer require guzzlehttp/guzzle

二、编写爬虫代码

（一）发送 HTTP 请求

使用 GuzzleHttp 库发送 GET 请求，获取商品页面的 HTML 内容：

php

<?phprequire 'vendor/autoload.php';use GuzzleHttp\Client;function get_html($url) {
    $client = new Client();
    $response = $client->request('GET', $url, [
        'headers' => [
            'User-Agent' => 'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/58.0.3029.110 Safari/537.3'
        ]
    ]);
    return $response->getBody()->getContents();}?>

（二）解析 HTML 内容

使用 DOMDocument 和 DOMXPath 解析 HTML 内容，提取商品详情：

php

<?phpfunction parse_html($html) {
    $dom = new DOMDocument();
    @$dom->loadHTML($html);
    $xpath = new DOMXPath($dom);
    $products = [];
    $productItems = $xpath->query("//div[@class='sm-offer-item']");
    foreach ($productItems as $item) {
        $title = $xpath->evaluate("string(.//a[@class='offer-title'])", $item);
        $price = $xpath->evaluate("string(.//span[@class='price'])", $item);
        $description = $xpath->evaluate("string(.//div[@class='desc'])", $item);
        $sales = $xpath->evaluate("string(.//span[@class='sales'])", $item);
        $products[] = [
            'title' => $title,
            'price' => $price,
            'description' => $description,
            'sales' => $sales
        ];
    }
    return $products;}?>

（三）按关键字搜索商品

根据关键字构建搜索 URL，并获取搜索结果页面的 HTML 内容：

php

<?phpfunction search_products($keyword, $page = 1) {
    $baseUrl = "https://s.1688.com/selloffer/offer_search.htm";
    $url = $baseUrl . "?keywords=" . urlencode($keyword) . "&pageno=" . $page;
    $html = get_html($url);
    return parse_html($html);}?>

（四）整合代码

将上述功能整合到主程序中，实现完整的爬虫程序：

php

<?php$keyword = "女装";$products = search_products($keyword);foreach ($products as $product) {
    echo "商品名称: " . $product['title'] . "\n";
    echo "商品价格: " . $product['price'] . "\n";
    echo "商品描述: " . $product['description'] . "\n";
    echo "商品销量: " . $product['sales'] . "\n";
    echo "----------------------\n";}?>

三、注意事项和建议

（一）遵守网站规则

在爬取数据时，务必遵守 1688 的 robots.txt 文件规定和使用条款，不要频繁发送请求，以免对网站造成负担或被封禁。

（二）处理异常情况

在编写爬虫程序时，要考虑到可能出现的异常情况，如请求失败、页面结构变化等。可以通过捕获异常和设置重试机制来提高程序的稳定性。

（三）数据存储

获取到的商品信息可以存储到文件或数据库中，以便后续分析和使用。

（四）合理设置请求频率

避免高频率请求，合理设置请求间隔时间，例如每次请求间隔几秒到几十秒，以降低被封禁的风险。

四、总结

通过上述步骤和代码示例，你可以轻松地使用 PHP 爬虫获取 1688 商品的详细信息。希望这个教程能为你提供一些启发和帮助。如果你对爬虫开发有更多兴趣，可以尝试探索更复杂的功能，如多线程爬取、数据可视化等.                                                                                                                                                                                    

欢迎来到我的博客~

Wed, 30 Jul 2025 17:11:20 +0800

欢迎来到我的博客~