读取文件不再使用 With Open

有时我们需要把数据永久存储起来，随时使用随时读取。例如，我们通过程序建立的列表、字典等数据，当程序结束时，需要把这些数据存储到文件中，当程序再次启动时，可以把这些数据读入到程序中，避免这些数据的重新录入。,在Python语言中，负责文件操作的称为文件对象，文件对象不仅可以访问存储在磁盘中的文件，也可以访问网络文件。文件对象通过open函数得到，获取文件对象后，就可以使用文件对象提供的方法来读写文件。,但open函数在处理某些问题是并不是很理想，有没有其他比open函数更加适合读取某些特定文件呢？下面我们就一起来看看！,对文件操作使用最频繁对函数，open()打开一个文件对象，使用Python内置的open()函数，传入文件名和模式。,使用时常通过with open()方法读写文件。,以前在Python中操作文件路径，更多的时候是使用os模块。Python3的系统标准库pathlib模块的Path对路径的操作会更简单。,pathlib的一些基本操作，如文件名操作、路径操作、文件操作等等并不在本文讨论范围。本此介绍使用率非常高的文件操作，其文件读写方法。,在pathlib里如果要打开一个文件十分的简单。,打开路径指向的文件，就像内置的open()函数所做的一样。,对于简单的文件读写，在pathlib模块中有几个简便的方法：,更多详情可参见pathlib模块[1]。,如果你只想读取一个文件，使用open()。如果需要实现文件列表的批量循环操作，不妨使用本模块。,input是fileinput模块的初始接口，其使用也是较简单。,若input()不传任何参数时，fileinput 默认会以 stdin 作为输入源。,运行stdinput.py后，在编译器中输入内容，程序会自动读取并再打印一次。,输出,由于 info.txt 和 info.txt 的内容被整合成一个文件对象 file ，因此 fileinput.lineno() 只有在读取一个文件时，才是原文件中真实的行号。如果想要在读取多个文件的时候，也能读取原文件的真实行号，可以使用 fileinput.filelineno() 方法。,以上几个常用对方法解释如下。,与批量读取文件一样，只需要在参数files中传人一个文件即可。,输出,glob是python自带的一个操作文件的相关模块，可以对文件夹下所有文件进行遍历，并将符合匹配模式的文件名保存为一个list列表。,返回匹配 pathname 的可能为空的路径名列表，其中的元素必须为包含路径信息的字符串。,pathname 可以是绝对路径 (如 /usr/src/Tools/sub/1.gif) 或相对路径 (如 ../../Tools/*/*.gif)，并且可包含 shell 风格的通配符。,实例,一个包含以下内容的目录：文件 1.gif, 2.txt, card.gif 以及一个子目录 sub 其中只包含一个文件 3.txt。glob()将产生如下结果。请注意路径的任何开头部分都将被保留。,fileinput与glob配合使用,输出,更多使用方法请参见 fileinput模块[2]。,常用open方法操作文件，写入str类型，不管字符串是什么编码方式，此时一般不会出现什么问题。但有时候我们爬虫或者其他方式得到一些数据写入文件时会有编码不统一的问题，或在自然语言处理过程中，使用open方法操作文件会经常出现报错，通常是编码错误。,此时如若想继续使用 open 方式打开，就需要先将输入文件decode，统一转为unicode ，再encode到目标编码方式，如gbk、utf-8等等。即,幸运的是，可以使用 codecs.open() 代替这一繁琐操作。这种方法可以指定一个编码打开文件，读取返回的将是unicode。,使用给定的 mode 打开已编码的文件并返回一个 StreamReaderWriter 的实例，提供透明的编码/解码。,mode参数可以是内置 open()函数所接受的任意二进制模式，默认的文件模式为 'r'，表示以读取模式打开文件。'b' 会被自动添加。,encoding指定文件所要使用的编码格式。允许任何编码为字节串或从字节串解码的编码格式，而文件方法所支持的数据类型则取决于所使用的编解码器。,写入时，如果参数是unicode，则使用open()时指定的编码进行编码后写入；如果是str，则先根据源代码文件声明的字符编码，解码成unicode后再进行前述操作。,相对内置的open()来说，这个方法比较不容易在编码上出现问题，并且在速度不变的同时，还兼容open()函数所有操作命令。,将未知编码方式的csv文件转为utf-8格式文件。,更多相关方法可参见**codecs模块[3]**。,CSV[4] (Comma Separated Values)，即逗号分隔值（也称字符分隔值，因为分隔符可以不是逗号），是一种常用的文本格式，用以存储表格数据，包括数字或者字符。很多程序在处理数据时都会碰到csv这种格式的文件。,python内置了csv模块。常用的有四个方法：,返回一个reader对象，该对象将逐行遍历csvfile 。,svfile可以是任何对象，文件对象和列表对象均适用。如果 csvfile 是文件对象，则打开它时应使用 newline=''。,dialect用于不同的 CSV 变种的特定参数组。,fmtparams可以覆写当前变种格式中的单个格式设置。有关变种和格式设置参数的完整详细信息，请参见 变种与格式参数[5] 。,输出,以上用到的变种与格式参数解释如下。,delimiter一个用于分隔字段的单字符，默认为 ' , '。,quotechar一个单字符，用于包住含有特殊字符的字段，特殊字符如 定界符 或 引号字符 或 换行符。默认为 ' " '。,由于使用 open()来读取 CSV 文件，因此默认情况下，将使用系统默认编码来解码文件并转换为unicode，要使用其他编码来解码文件，可使用open的encoding参数:,返回一个 writer 对象，该对象将用户的数据在给定的文件类对象上转换为带分隔符的字符串。None 值会写入为空字符串。,写入前，所有非字符串数据都先用 str() 转化为字符串再写入。,csvfile 可以是具有 write() 方法的任何对象。,应用案例,输出csv文件打开如下,参数quoting说明：控制 writer 何时生成引号，以及 reader 何时识别引号。该属性可以等于任何 QUOTE_* 常量，默认为QUOTE_MINIMAL。,QUOTE_\* 常量包括：,csv.QUOTE_ALL指示writer 对象给所有字段加上引号。,csv.QUOTE_MINIMAL指示writer 对象仅为包含特殊字符（例如定界符、引号字符或行结束符中的任何字符）的字段加上引号。,csv.QUOTE_NONNUMERIC指示writer 对象为所有非数字字段加上引号。指示reader 将所有未用引号引出的字段转换为float 类型。,csv.QUOTE_NONE指示writer 对象不使用引号引出字段。当定界符出现在输出数据中时，其前面应该有转义符。如果未设置转义符，则遇到任何需要转义的字符时，writer 都会抛出 Error 异常。指示reader 不对引号字符进行特殊处理。,创建一个对象，该对象在操作上类似于常规 reader，但是将每行中的信息映射到一个 dict，该 dict 的键由 fieldnames 可选参数给出。,fieldnames参数是一个 sequence。如果省略 **fieldnames**，则文件 f 第一行中的值将用作字段名。无论字段名是如何确定的，字典都将保留其原始顺序。,如果某一行中的字段多于字段名，则剩余数据会被放入一个列表，并与 restkey 所指定的字段名 (默认为 None) 一起保存。如果某个非空白行的字段少于字段名，则缺失的值会使用 restval 的值来填充 (默认为 None)。,注意：,在 3.6 版更改: 返回的行现在的类型是 OrderedDict。在 3.8 版更改: 现在，返回的行是 dict类型。,python 3.6/3.7输出：,python 3.8输出,Reader 对象的一些方法,csvreader.line_num源迭代器已经读取了的行数。它与返回的记录数不同，因为记录可能跨越多行。,csvreader.fieldnames字段名称。如果在创建对象时未传入字段名称，则首次访问时或从文件中读取第一条记录时会初始化此属性。,输出,创建一个对象，该对象在操作上类似常规 writer，但会将字典映射到输出行。,fieldnames 参数是由键组成的 sequence，它指定字典中值的顺序，这些值会按指定顺序传递给 writerow() 方法并写入文件 f 。,如果字典缺少 fieldnames 中的键，则可选参数 restval 用于指定要写入的值。,如果传递给 writerow() 方法的字典的某些键在 fieldnames 中找不到，则可选参数 extrasaction 用于指定要执行的操作。如果将其设置为默认值 'raise'，则会引发 ValueError。如果将其设置为 'ignore'，则字典中的其他键值将被忽略。,应用案例,写入的csv文件打开结果如下,Writer 对象的一些方法,DictWriter.writeheader()在 writer 的文件对象中，写入一行字段名称（字段名称在构造函数中指定），并根据当前设置的变种进行格式化。,csvwriter.writerow(row)将参数 row 写入 writer 的文件对象。,csvwriter.writerows(rows)将 rows (即能迭代出多个上述 row 对象的迭代器）中的所有元素写入 writer 的文件对象,更多相关方法可参见csv模块[6]。,另外还有专门针对Word文件、Excel文件及PDF文件的模块，这里只简单介绍下。,比较常用的Excel操作模块有如下三种。,xlrd,xlrd不能创建和保存Excel文件,xlwings,xlwings 直接对接的是 Excel 应用程序，然后才是工作簿 books 和工作表 sheets，xlwings 需要安装有 Excel 应用程序的环境xlwings 可以读取 .xls 和 .xlsx 文件。,openpyxl,openpyxl 可以读取 .xlsx 文件，如果读取.xls 文件会报错。,另外还有很强大的pandas模块，具体可参见Python数据分析实战之数据获取三大招，本文不在赘述。,[1]pathlib模块: https://docs.python.org/zh-cn/3/library/pathlib.html,[2]fileinput模块: https://docs.python.org/zh-cn/3/library/fileinput.html,[3]codecs模块: https://docs.python.org/zh-cn/3/library/codecs.html,[4]CSV: http://zh.wikipedia.org/zh-cn/逗号分隔值,[5]变种与格式参数: https://docs.python.org/zh-cn/3/library/csv.html#csv-fmt-params,[6]csv模块: https://docs.python.org/zh-cn/3/library/csv.html#index-0