python高级编程技巧,如何设置文件的缓冲

实际案例

将文件内容写入到硬件设备时,使用系统调用,这类I/O操作的时间很长。为了减少I/O操作的次数,文件通常使用缓冲区,当有足够多的数据时才进行系统调用。文件的缓冲行为,分为全缓冲、行缓冲和无缓冲。

那么如何设置Python中文件对象的缓冲行为?

解决方案:

  • 全缓冲:open函数的buffering设置为大于1的整数n,n为缓冲区大小
  • 行缓冲:open函数的buffering设置为1
  • 无缓冲:open函数的buffering设置为0

全缓冲代码如下:

# -*- coding: utf-8 -*-# 全缓冲f = open('demo_1.txt', 'w', buffering=1024)f.write

注:此处不能调用close(),因为一旦调用该方法,我们不能对文件进行读写操作,进而缓冲区中的数据会在文件读写权限关闭之前将数据写入文件,致使我们设置文件的缓冲的目的失败。

运行上述代码,我们打开demo_1.txt文件查看是否写入数据。不出意外,我们打开该文件是看不到“abc”的这三个字母的。为了验证我们的缓冲区是否设置成功,我们在上述代码的基础上添加如下代码:

f.write("*" * 1021)

我们再运行一下,打开demo_1.txt文件发现仍旧是空文件。我们再来看看代码,现在我们使用了1024B,这时我们只要再写入一个字符,之前缓冲区中的数据就会写入文件。不妨尝试一下,我们继续添加如下代码:

f.write

运行程序并打开demo_1.txt文件,我们发现其内容如下:

abc*************************************************************************************************************************************************************************************************************************************************************************************************************************************************************************************************************************************************************************************************************************************************************************************************************************************************************************************************************************************************************************************************************************************************************************************************************************************************************************************************************************************************************

这时,我们可以发现在文件内容中并没有我们最后添加的“+”。因此,我们可以断定当我们输入的数据大于缓冲区n的大小时,Python会将缓冲区n大小的数据写入文件中,为后面我们输入的数据腾出空间进行缓存。

行缓冲代码如下:

# 行缓冲f = open('demo_2.txt', 'w', buffering=1)f.writef.write

运行上述代码并打开demo_2.txt文件发现该文件为空文件。既然是行缓冲,我们猜想是不是要换行才会将缓冲区的数据写入文件。因此,我们添加如下代码:

f.write

这时,我们打开demo_2.txt文件就可以看到我们输入的数据了。

注:行缓冲一般用于“交互式”文本文件,在Windows系统本人未成功实现行缓冲代码功能,但在Linux系统下成功实现行缓冲代码功能。

无缓冲代码如下:

# 无缓冲f = open('demo_3.txt', 'w', buffering=0)f.write

运行程序并打开demo_3.txt文件发现数据已经写入到文件中。

一. 如何读写文本文件

实际案例:

  1. 某文本文件编码格式已知(如UTF-8,GBK,BIG5),在Python2.x
    和Python3.x 中分别如何读取该文件?
    Python2.x与3.x中字符串的语义的变化:
    Python2 python3


    str -> bytes
    unicode -> str
解决方案:
  1. python2.x:写入文件前对unicode编码,读入文件后对二进制字符串解码,
  2. python3.x:open函数指定‘t’的文本模式,encoding指定编码格式。
代码示例:
# _*_ coding:utf-8 _*_
# @Author   : TianYu
# @Time     : 2017/10/16 13:28
# @File     : 如何读写文本文件.py

#(1)python 2.x:写入前对Unicode编码,读入文件后对二进制字符串解码
#该段代码请在Python2.x的环境下运行
f =open('py2.txt', 'w') #只写
s = u'你好' #Python2中字符串前加一个 'u' 才代表Unicode字符串
f.write(s.encode('gbk')) #编码
f.close()
f = open('py2.txt', 'r') #只读
t = f.read() #一次性读出来
print(t.decode('gbk')) #以相同的编码格式进行解码

#####################################################

#python 3.x:open函数指定't'的文本模式,encoding指定编码格式
f = open('py3.txt','wt',encoding='utf8') #'t'不写的话默认也是文本模式
f.write('你好,我爱编程.')
f.close()
f = open('py3.txt', 'rt', encoding='utf8') #自动完成编解码
s = f.read()
print(s)

二. 如何处理二进制文件

实际案例:

  1. wav是一种音频文件的格式,音频文件为二进制文件。wav文件由头部信息和音频采样数据构成。前44个字节为头部信息,包括声道数,采样频率,PCM位宽等,后面是音频采样数据。
    使用Python,分析一个wav文件头部信息,处理音频数据。
解决方案:
  1. open函数想以二进制模式打开文件,指定mode参数为‘b’
  2. 二进制数据可以用readinto,读入到提前分配好的buffer中,便于数据处理。
  3. 解析二进制数据及恶意使用标准库中的struct模块的unpack方法。

发表评论

电子邮件地址不会被公开。 必填项已用*标注