前言

之前写过一篇文章校园网上网认证,是讲我在校园里通过python实现子的那个上网登录，后来我在这个基础上增加了账号密码存储功能。到这里可能大家又会想到这是上一篇的延续，实际上并不是。在那篇文章里面，我在尝试了几种网络模块之后选择了Requests，它基于urllib3，隐式的在内部实现了很多特性。

在Selenium模拟测试教务数据这篇文章中，我说过，

提起map和reduce想必大家并不陌生，Google公司2003年提出了一个名为MapReduce的编程模型，用于处理大规模海量数据，并在之后广泛的应用于Google的各项应用中，2006年Apache的Hadoop项目正式将MapReduce纳入到项目中。

好吧，闲话少说，今天要介绍的是Python函数式编程中的另外两个内建函数map()和reduce()，而不是Google的MapReduce。

前言

当前业界的硬件描述语言中主要有VHDL 和Verilog HDL。根据当前ASIC/FPGA设计现有的特点、现状，Verilog HDL 语言已经成为决定的主导语言，使用Verilog HDL，可以统一ASIC/FPGA设计平台，简化流程。

设计方法学

数字电路设计方法

当前的数字电路设计从层次上分可分成以下几个层次：

1. 算法级设计：利用高级语言如C语言及其他一些系统分析工具（如MATLAB）对设计从系统的算法级方式进行描述。算法级不需要包含时序信息。

2. RTL级设计：用数据流在寄存器间传输的模式来对设计进行描述。

3. 门级：用逻辑级的与、或、非门等门级之间的连接对设计进行描述。

4. 开关级：用晶体管和寄存器及他们之间的连线关系来对设计进行描述。

Scrapy是一个为了爬取网站数据，提取结构性数据而编写的应用框架。 可以应用在包括数据挖掘，信息处理或存储历史数据等一系列的程序中。

其最初是为了 页面抓取 (更确切来说, 网络抓取 )所设计的， 也可以应用在获取API所返回的数据(例如 Amazon Associates Web Services ) 或者通用的网络爬虫。

本文档将通过介绍Scrapy背后的概念使您对其工作原理有所了解， 并确定Scrapy是否是您所需要的。

当您准备好开始您的项目后，您可以参考 入门教程 。

这几天晕晕乎乎的，什么都不想干，窝在房间里面看电影。可是呢，这些年已经把太多好评如潮的电影塞进脑子里，又不想一个个的翻豆瓣、烂番茄再看每个影人的电影评分，这时候呢，需求是我码代码的推动力:)爬虫试试呗

接着上一篇相关文章，还是说伯乐在线这个网站上有一个面向对象栏目。这次呢，不看妹子要求男生的身高问题，来瞧一瞧妹子在这个栏目上发帖子寻找soul mate的时间：）

原理

实际上实现的原理相当简单，python可以通过os模块的system函数执行相应平台提供的系统API函数，在win平台下，有很多cmd命令行可供我们调用，有两种方式实现:

1. 通过at指令在指定时间为系统天剑一项作业

2. 计算指定时间与当前时间的差值，然后暂歇等待执行

经过测试，at指令在某些环境下面并不能够正常执行，所以我选择了方法2.

• 使用requests包来爬取页面。

• 使用正则表达式分析一级页面，使用Xpath来分析二级页面。

• 将得到的标题和链接，保存为本地文件。

只是一个闲来无事的小练手：