Pyton IO编程

文章目录

• • • IO编程简介
    • 文件读写
    • StringIO和BytestIO
    • 操作文件和目录
    • 序列化

IO编程简介

• IO指input/output，也就是输入和输出
• 同步IO：同步，等第一件事情干完再干其他事情
• 异步IO：异步，当第一件事情需要等待时，一边等待一边干另一件事

文件读写

详见http://www.runoob.com/python/python-files-io.html

• 读写文件是最常见的IO操作
• 读写文件原理
  • 操作系统不允许普通程序直接操作磁盘
  • 所以读写文件就是请求操作系统打开一个文件对象（文件描述符）
  • 然后通过操作系统提供的接口从这个文件对象中读取数据（读文件），或者把数据写入这个文件对象（写文件）
• 读文件
  • 使用open()函数，传入文件名和标识符，可以打开文件
    • f = open(’/users/test.txt’,‘r’)
    • 标识符’r’表示读
    • 标识符可不填，默认为r
  • 如果文件不存在，open()函数会抛出IOError的错误
  • 如果文件打开成功，调用read()方法可以一次读取文件的全部内容，python把文件读到内存，用一个str对象表示
    • f.read()
  • 最后一步是调用close()方法关闭文件
    • 文件使用完必须关闭，因为文件对象会占用操作系统的资源，并且同一时间打开的文件数量是有限的
    • f.close()
    • 由于文件读写时有可能产生IOError，一旦出错后面的f.close()不会被调用，所以可以使用try…finally实现无论是否出错都关闭文件

    • 但是每次都这样写太繁琐，所以python引入了with语句来自动调用close()方法

      with open(’/path/to/file’, ‘r’) as f:

      print(f.read())

      不必再调用f.close()方法

  • 读文件方法比较

    read()方法，一次读取所有内容

    read(size)方法，每次最多读取size个字节的内容

    readline()方法，可以每次读取一行内容

    readlines()方法，一次读取所有内容，并按行返回list

• file-like Object
  • 像open()函数返回的这种有个read()方法的对象，在Python中统称为file-like Object
  • 除了file外，还可以是内存的字节流，网络流，自定义流等等
  • file-like Object不要求从特定类继承，只要写个read()方法就行
  • StringIO就是在内存中创建的file-like Object，常用作临时缓冲
• 二进制文件

  • 默认读取的是以UTF-8编码的文本文件，如果要读取二进制文件，需要使用’rb’模式打开文件

    f.open(’/users/test.jpg’, ‘rb’)

    f.read() #返回十六进制表示的字节

• 字符编码

  • 读取非utf-8编码的文本文件，需要给open()函数传入encoding参数

    f = open(’/Users/michael/gbk.txt’, ‘r’, encoding=‘gbk’)

  • 编码不规范的文件会报UnicodeDecodeError，因为文件中可能加载了一些非法编码的字符，open()函数，还解说errors参数，表示遇到编码错误的处理方式

    f = open(’/Users/michael/gbk.txt’, ‘r’, encoding=‘gbk’, errors=‘ignore’)#ignore表示忽略

• 写文件

  • 和读文件类型，不过传入的标识符为’w’或者’wb’表示写文本文件或者写二进制文件

    f = open(’/Users/michael/test.txt’, ‘w’)

  • 然后调用write()方法进行写入

    f.write(‘Hello, world!’)

  • 可以反复调用write()写入文件，但是必须要调用f.close()来关闭文件

    写入文件时，系统不是立刻写入磁盘，而是放到内存缓存起来，空闲的时候再慢慢写入

    只有调用close()方法时，才会全部写入

  • 要写入特定编码的文本文件，请给open()函数传入encoding参数，将字符串自动转换成指定编码
  • 以’w’模式写入文件时，如果文件已存在，会直接覆盖（相当于删掉后新写入一个文件）。如果我们希望追加到文件末尾可以传入’a’以追加（append）模式写入

    

StringIO和BytestIO

• StringIO

  • 数据读写不一定是文件，也可以在内存中读写

    StringIO就是在内存中读写str

  • 把str写入StringIO，需要先创建一个StringIO，然后像文件一样写入即可

    from io import StringIO

    f = StringIO()#创建StringIO对象

    f.write(‘nihao’)#写入

    print(f.getvalue())#获取写入的str

  • 读取StringIO，可以先初始化StringIO，然后像读文件一样读取

    from io import StringIO

    f = StringIO(‘Hello!\nHi!\nGoodbye!’)#初始化StringIO

    print(f.read())

• BytesIO
  • StringIO操作的只能是str，如果要操作二进制数据，就需要使用BytesIO
  • 写入的不是str，而是经过UTF-8编码的bytes
  • 使用方法和和StringIO类似

操作文件和目录

• 详见http://www.runoob.com/python/os-file-methods.html
• https://www.liaoxuefeng.com/wiki/0014316089557264a6b348958f449949df42a6d3a2e542c000/001431925324119bac1bc7979664b4fa9843c0e5fcdcf1e000
• Python的os模块封装了操作系统的目录和文件操作，要注意这些函数有的在os模块中，有的在os.path模块中。

序列化

• 简介
  • 在程序运行的过程中，所有的变量都是在内存中，一旦程序结束，变量所占用的内存就被操作系统全部回收。
  • 我们把变量从内存中变成可存储或传输的过程称之为序列化，在Python中叫pickling
  • 序列化之后，就可以把序列化后的内容写入磁盘，或者通过网络传输到别的机器上。
  • 反过来，把变量内容从序列化的对象重新读到内存里称之为反序列化，即unpickling。
• Python提供了pickle模块来实现序列化
  • pickle.dumps()方法把任意对象序列化成一个bytes，然后，就可以把这个bytes写入文件。
  • 或者用另一个方法pickle.dump()直接把对象序列化后写入一个file-like Object：
  • 用pickle.loads()方法反序列化出对象，也可以直接用pickle.load()方法从一个file-like Object中直接反序列化出对象
• json
  • 如果我们要在不同的编程语言之间传递对象，就必须把对象序列化为标准格式，比如XML，但更好的方法是序列化为JSON，因为JSON表示出来就是一个字符串，可以被所有语言读取，也可以方便地存储到磁盘或者通过网络传输。JSON不仅是标准格式，并且比XML更快，而且可以直接在Web页面中读取，非常方便。

  • Python内置的json模块提供了非常完善的Python对象到JSON格式的转换

    dumps()方法返回一个str，内容就是标准的JSON。类似的，dump()方法可以直接把JSON写入一个file-like Object

    用loads()或者对应的load()方法，前者把JSON的字符串反序列化，后者从file-like Object中读取字符串并反序列化

• 小结
  • Python语言特定的序列化模块是pickle，但如果要把序列化搞得更通用、更符合Web标准，就可以使用json模块。
  • json模块的dumps()和loads()函数是定义得非常好的接口的典范。当我们使用时，只需要传入一个必须的参数。但是，当默认的序列化或反序列机制不满足我们的要求时，我们又可以传入更多的参数来定制序列化或反序列化的规则，既做到了接口简单易用，又做到了充分的扩展性和灵活性。