java爬虫入门第二弹——通过URL下载图片(以下载百度logo为例)

news/2024/11/10 6:06:38 标签: java, java基础, 爬虫, Java爬虫, 输入输出流

简单介绍一下:

老王是个新人,心血来潮想用java试试写爬虫,完全零基础,搜了很多教程,往往因为作者水平太高,不能一下子理解大佬代码中的深意,并且有些看似很简单的东西,对于我这种菜鸟来说,其实是很难解决的错误或者是异常。故,在稍有心得后,写下此篇。从最基础开始。一步一步,从小菜鸟,成为稍微大一点的菜鸟,给初学者带来一点启示。

如果只需要全部的代码,请直接拉至最后

如果转载,请注明出处:https://blog.csdn.net/qq_37893828/article/details/88133686 ——会飞的王浩然

如有疏漏之处,欢迎留言指出

往期列表:更多详细解释请从第一弹翻阅

  • java爬虫入门第一弹——从百度首页开始(欢迎浏览)
  • java爬虫入门第二弹——通过URL下载图片(以下载百度logo为例)(欢迎浏览)
  • java爬虫入门第三弹——正则表达式简单应用(抓取豆瓣读书信息并以文本文件输出)(欢迎浏览)

这一节我们的目标

根据你从网页上获取到的图片URL,下载图片

java_16">从最基础开始,我首先假设你什么都不会,只会一点点的C语言和java编程



  • 第一步: 创建java工程,并且在main函数中用string字符串存入你即将要下载的URL,以及图片存储的路径,并创建URL和文件对象
java">	public class Main {
		public static void main(String[] args) throws IOException {
			// TODO Auto-generated method stub
			
		//图片URL
		String imgUrlString = "https://http://www.baidu.com/img/bd_logo1.png";

		//存储路径
		String pathString = "D:\\logo.png";

		// 构造URL和文件对象
		URL url = new URL(imgUrlString);
		File file = new File(pathString);
		}
	}
  • 图片存放的路径可以是你已经建立的任意文件夹,然后需要你在我的电脑中找到那个文件夹,然后如下图所示复制文件夹路径,并且在路径后面加上你为这张图片取得名字,然后以“.jpg”或者“.png”形式结尾
    在这里插入图片描述
  • 在第一弹中已经解释过什么是URL,以及“网络页面是一种网络资源”,而我们要下载的网络上的图片同样也是一种网络资源,我们需要通过URL获取网络上的各种资源
  • 获取图片URL的两种方式之第一种 如下图所示:在HTML网页中,每一个大于号“<”和小于号“>”及中间的内容称之为标签,我们想要获取图片的URL只需要找到名为“<img>”的标签即可找到图片的URL。
  • 下面这张图是在第一弹中下载到的百度首页,在第五行有这样一个标签:**<img hidefocus=true src=//www.baidu.com/img/bd_logo1.png width=270 height=129>**这个标签里面的"//www.baidu.com/img/bd_logo1.png"就是百度logo图片在百度网站上的地址,在我们定义的时候要注意在前面加上表示“http:”的协议。

在这里插入图片描述

  • 获取图片URL的两种方式之第二种 在随便一个浏览器中打开百度首页"www.baidu.com";右击网页空白地方,单击查看网页源代码,你看到的应该是如下图1这样子的一个界面,向下使劲翻,我们能找到类似于图二这样子的"<img>"标签,src后面的URL就是我们要找的图片的URL。
    在这里插入图片描述
    在这里插入图片描述


  • 第二步: 创建数据流
    代码按照顺序粘贴在main函数中即可
java">	
	// 连接到URL
	HttpURLConnection httpURLConnection = (HttpURLConnection) url.openConnection();
	
	// 创建数据流
	// 获取数据,并以字节的形式放在缓冲区输入流
	InputStream inputStream = httpURLConnection.getInputStream();
	// 创建字节输出流
	ByteArrayOutputStream byteArrayOutputStream = new ByteArrayOutputStream();
	// 创建文件输出流
	FileOutputStream fileOutputStream = new FileOutputStream(file);
  • 关于字节输入流,我们要理解的是:所有的电脑上的文件最终都是以二进制byte数据存储在电脑中的,而且"FileOutputStream"只接受byte类型的数据,因此我们需要一个字节输出流"ByteArrayOutputStream"来完成从"InputStream"到"FIleOutputStream"的转换


  • **第三步:**将字节流转换为byte字节流再转换为文件流并且输出为图片
    代码按照顺序粘贴在main函数中即可
java">	// 将字节流转换为byte流
	byte[] byteArray = new byte[1024];
	int length;
	// 从输入流中读取数据并按字节放在byte数组中,完成输入流到byte数组的转换
	while ((length = inputStream.read(byteArray)) != -1) {
		// 完成从byte数组到字节输出流的转换
		byteArrayOutputStream.write(byteArray,0,length);
	}
	// 通过传入的文件路径进行写文件的操作
	FileOutputStream fileOutputStream = new FileOutputStream(file);
	// 将字节输出流数据写入文件输出流
	fileOutputStream.write(byteArrayOutputStream.toByteArray());
  • "while ((length = inputStream.read(byteArray)) != -1)"中的"while (inputStream.read(byteArray)"意思并不是从“byteArray”中读取数据,而是 "从(来源) 输入流(inputStream)中读取数据的下一个字节 到 (byteArray) 中去" ,运行一次只读取一个字节,以“-1”为结束标志。


全部代码

java">import java.io.BufferedReader;
import java.io.ByteArrayOutputStream;
import java.io.File;
import java.io.FileOutputStream;
import java.io.IOException;
import java.io.InputStream;
import java.io.InputStreamReader;
import java.net.HttpURLConnection;
import java.net.MalformedURLException;
import java.net.URL;

import javax.imageio.stream.FileImageOutputStream;

public class Main {

	public static void main(String[] args) throws IOException {
		// TODO Auto-generated method stub
		
		//图片URL
		String imgUrlString = "http://www.baidu.com/img/bd_logo1.png";
		
		//存储路径
		String pathString = "D:\\logo.png";

		// 构造URL和文件对象
		URL url = new URL(imgUrlString);
		File file = new File(pathString);

		// 连接到URL
		HttpURLConnection httpURLConnection = (HttpURLConnection) url.openConnection();

		// 创建数据流
		// 获取数据,并以字节的形式放在缓冲区输入流
		InputStream inputStream = httpURLConnection.getInputStream();
		// 创建字节输出流
		ByteArrayOutputStream byteArrayOutputStream = new ByteArrayOutputStream();
		// 将字节流转换为byte流
		byte[] byteArray = new byte[1024];
		int length;
		// 从输入流中读取数据并按字节放在byte数组中,完成输入流到byte数组的转换
		while ((length = inputStream.read(byteArray)) != -1) {
			// 完成从byte数组到字节输出流的转换
			byteArrayOutputStream.write(byteArray,0,length);
		}
		// 通过传入的文件路径进行写文件的操作
		FileOutputStream fileOutputStream = new FileOutputStream(file);
		// 将字节输出流数据写入文件输出流
		fileOutputStream.write(byteArrayOutputStream.toByteArray());
	}

}

http://www.niftyadmin.cn/n/917660.html

相关文章

mysql metadata lock(三)

前言 MDL锁主要用来保护Mysql内部对象的元数据&#xff0c;通过MDL机制保证DDL与DML以及SELECT查询操作的并发。MySQL Meta Lock(一)和MySQL Meta Lock(二)已经讲了一些关于MDL知识&#xff0c;本文将会对MDL进行一个补充&#xff0c;并解释查询堵塞和mysqldump获取一致性备份的…

java爬虫入门第三弹——正则表达式简单应用(抓取豆瓣读书信息并以文本文件输出)

简单介绍一下&#xff1a; 老王是个新人&#xff0c;心血来潮想用java试试写爬虫&#xff0c;完全零基础&#xff0c;搜了很多教程&#xff0c;往往因为作者水平太高&#xff0c;不能一下子理解大佬代码中的深意&#xff0c;并且有些看似很简单的东西&#xff0c;对于我这种菜…

Java学习基础知识

J2SEJava的标准开发平台。是J2EE和J2ME的基础,Core Java开发基于该平台 J2EEJava的企业己开发平台,Java的主要应用方向,大型系统的开发都是在该平台的完成,Web开发也属于其中的一部分 J2MEJava的微系统开发平台,是一个正在成长的平台,主要用于资源有限的设备上的Java的…

为Windows 7的winsxs目录瘦身,谨慎。

刚使用Win7 系统不久&#xff0c;前段时间在清理系统垃圾时发现&#xff0c;win7系统的windows文件夹下的winsxs 文件夹占用空间很大&#xff0c;想清理之&#xff0c;却提示无权限无法清理。随即在网上查了个到底&#xff0c;原来winsxs是一个超大的文件仓库&#xff0c;系统所…

Java 反射基础

语言对自身的一个检验实现: import java.lang.reflect.Method;import java.util.Stack; public class HelloWord

codevs1145

题目描述 Description 给定A、B、C三根足够长的细柱&#xff0c;在A柱上放有2n个中间有孔的圆盘&#xff0c;共有n个不同的尺寸&#xff0c;每个尺寸都有两个相同的圆盘&#xff0c;注意这两个圆盘是不加区分的&#xff08;下图为n3的情…

Java format date to String or String to date

参考类: java.text 类 DateFormat java.lang.Objectjava.text.Formatjava.text.DateFormat所有已实现的接口: Serializable, Cloneable 直接已知子类: SimpleDateFormat 构造方法摘要protected DateFormat() 创建一个新的 DateFormat。

TRUNCATE TABLE (Transact-SQL)

删除表中的所有行&#xff0c;而不记录单个行删除操作。 TRUNCATE TABLE 与没有 WHERE 子句的 DELETE 语句类似&#xff1b;但是&#xff0c;TRUNCATE TABLE 速度更快&#xff0c;使用的系统资源和事务日志资源更少。 与 DELETE 语句相比&#xff0c;TRUNCATE TABLE 具有以下优…