简单介绍一下:
老王是个新人,心血来潮想用java试试写爬虫,完全零基础,搜了很多教程,往往因为作者水平太高,不能一下子理解大佬代码中的深意,并且有些看似很简单的东西,对于我这种菜鸟来说,其实是很难解决的错误或者是异常。故,在稍有心得后,写下此篇。从最基础开始。一步一步,从小菜鸟,成为稍微大一点的菜鸟,给初学者带来一点启示。
如果只需要全部的代码,请直接拉至最后
如果转载,请注明出处:https://blog.csdn.net/qq_37893828/article/details/88133686 ——会飞的王浩然
如有疏漏之处,欢迎留言指出
往期列表:更多详细解释请从第一弹翻阅
- java爬虫入门第一弹——从百度首页开始(欢迎浏览)
- java爬虫入门第二弹——通过URL下载图片(以下载百度logo为例)(欢迎浏览)
- java爬虫入门第三弹——正则表达式简单应用(抓取豆瓣读书信息并以文本文件输出)(欢迎浏览)
这一节我们的目标
根据你从网页上获取到的图片URL,下载图片
java_16">从最基础开始,我首先假设你什么都不会,只会一点点的C语言和java编程
- 第一步: 创建java工程,并且在main函数中用string字符串存入你即将要下载的URL,以及图片存储的路径,并创建URL和文件对象
java"> public class Main {
public static void main(String[] args) throws IOException {
// TODO Auto-generated method stub
//图片URL
String imgUrlString = "https://http://www.baidu.com/img/bd_logo1.png";
//存储路径
String pathString = "D:\\logo.png";
// 构造URL和文件对象
URL url = new URL(imgUrlString);
File file = new File(pathString);
}
}
- 图片存放的路径可以是你已经建立的任意文件夹,然后需要你在我的电脑中找到那个文件夹,然后如下图所示复制文件夹路径,并且在路径后面加上你为这张图片取得名字,然后以“.jpg”或者“.png”形式结尾
- 在第一弹中已经解释过什么是URL,以及“网络页面是一种网络资源”,而我们要下载的网络上的图片同样也是一种网络资源,我们需要通过URL获取网络上的各种资源
- 获取图片URL的两种方式之第一种: 如下图所示:在HTML网页中,每一个大于号“<”和小于号“>”及中间的内容称之为标签,我们想要获取图片的URL只需要找到名为“<img>”的标签即可找到图片的URL。
- 下面这张图是在第一弹中下载到的百度首页,在第五行有这样一个标签:**<img hidefocus=true src=//www.baidu.com/img/bd_logo1.png width=270 height=129>**这个标签里面的"//www.baidu.com/img/bd_logo1.png"就是百度logo图片在百度网站上的地址,在我们定义的时候要注意在前面加上表示“http:”的协议。
- 获取图片URL的两种方式之第二种: 在随便一个浏览器中打开百度首页"www.baidu.com";右击网页空白地方,单击查看网页源代码,你看到的应该是如下图1这样子的一个界面,向下使劲翻,我们能找到类似于图二这样子的"<img>"标签,src后面的URL就是我们要找的图片的URL。
- 第二步: 创建数据流
代码按照顺序粘贴在main函数中即可
java">
// 连接到URL
HttpURLConnection httpURLConnection = (HttpURLConnection) url.openConnection();
// 创建数据流
// 获取数据,并以字节的形式放在缓冲区输入流
InputStream inputStream = httpURLConnection.getInputStream();
// 创建字节输出流
ByteArrayOutputStream byteArrayOutputStream = new ByteArrayOutputStream();
// 创建文件输出流
FileOutputStream fileOutputStream = new FileOutputStream(file);
- 关于字节输入流,我们要理解的是:所有的电脑上的文件最终都是以二进制byte数据存储在电脑中的,而且"FileOutputStream"只接受byte类型的数据,因此我们需要一个字节输出流"ByteArrayOutputStream"来完成从"InputStream"到"FIleOutputStream"的转换
- **第三步:**将字节流转换为byte字节流再转换为文件流并且输出为图片
代码按照顺序粘贴在main函数中即可
java"> // 将字节流转换为byte流
byte[] byteArray = new byte[1024];
int length;
// 从输入流中读取数据并按字节放在byte数组中,完成输入流到byte数组的转换
while ((length = inputStream.read(byteArray)) != -1) {
// 完成从byte数组到字节输出流的转换
byteArrayOutputStream.write(byteArray,0,length);
}
// 通过传入的文件路径进行写文件的操作
FileOutputStream fileOutputStream = new FileOutputStream(file);
// 将字节输出流数据写入文件输出流
fileOutputStream.write(byteArrayOutputStream.toByteArray());
- "while ((length = inputStream.read(byteArray)) != -1)"中的"while (inputStream.read(byteArray)"意思并不是从“byteArray”中读取数据,而是 "从(来源) 输入流(inputStream)中读取数据的下一个字节 到 (byteArray) 中去" ,运行一次只读取一个字节,以“-1”为结束标志。
全部代码
java">import java.io.BufferedReader;
import java.io.ByteArrayOutputStream;
import java.io.File;
import java.io.FileOutputStream;
import java.io.IOException;
import java.io.InputStream;
import java.io.InputStreamReader;
import java.net.HttpURLConnection;
import java.net.MalformedURLException;
import java.net.URL;
import javax.imageio.stream.FileImageOutputStream;
public class Main {
public static void main(String[] args) throws IOException {
// TODO Auto-generated method stub
//图片URL
String imgUrlString = "http://www.baidu.com/img/bd_logo1.png";
//存储路径
String pathString = "D:\\logo.png";
// 构造URL和文件对象
URL url = new URL(imgUrlString);
File file = new File(pathString);
// 连接到URL
HttpURLConnection httpURLConnection = (HttpURLConnection) url.openConnection();
// 创建数据流
// 获取数据,并以字节的形式放在缓冲区输入流
InputStream inputStream = httpURLConnection.getInputStream();
// 创建字节输出流
ByteArrayOutputStream byteArrayOutputStream = new ByteArrayOutputStream();
// 将字节流转换为byte流
byte[] byteArray = new byte[1024];
int length;
// 从输入流中读取数据并按字节放在byte数组中,完成输入流到byte数组的转换
while ((length = inputStream.read(byteArray)) != -1) {
// 完成从byte数组到字节输出流的转换
byteArrayOutputStream.write(byteArray,0,length);
}
// 通过传入的文件路径进行写文件的操作
FileOutputStream fileOutputStream = new FileOutputStream(file);
// 将字节输出流数据写入文件输出流
fileOutputStream.write(byteArrayOutputStream.toByteArray());
}
}